Bisakah Anda menjelaskan estimasi kepadatan jendela Parzen (kernel) dalam istilah awam?

Estimasi kepadatan jendela parzen dijelaskan sebagai

di mana adalah sejumlah elemen dalam vektor, x adalah vektor, p ( x ) adalah kerapatan probabilitas x , $n$$x$$p(x)$$x$$h$ adalah dimensi Jendela Parzen, dan adalah fungsi jendela.$\phi$

Pertanyaan saya adalah:

1. Apa perbedaan mendasar antara Fungsi Jendela Parzen dan fungsi kepadatan lainnya seperti Fungsi Gaussian dan sebagainya?

2. Apa peran Fungsi Jendela ( ) dalam menemukan kerapatan x ?$\phi$$x$

3. Mengapa kita bisa menyambungkan fungsi kepadatan lain di tempat Fungsi Window?

4. Apa peran dalam menemukan kerapatan x ?$h$$x$

Estimasi kepadatan jendela parzen adalah nama lain untuk estimasi kerapatan kernel . Ini adalah metode nonparametrik untuk memperkirakan fungsi kepadatan kontinu dari data.

Bayangkan bahwa Anda memiliki beberapa titik data $x_1,\dots,x_n$ yang berasal dari distribusi yang tidak diketahui, mungkin terus menerus, $f$ . Anda tertarik untuk memperkirakan distribusi yang diberikan data Anda. Satu hal yang dapat Anda lakukan hanyalah melihat distribusi empiris dan memperlakukannya sebagai sampel yang setara dengan distribusi sebenarnya. Namun jika data Anda kontinu, maka kemungkinan besar Anda akan melihat setiap $x_i$titik hanya muncul satu kali dalam dataset, jadi berdasarkan ini, Anda akan menyimpulkan bahwa data Anda berasal dari distribusi yang seragam karena masing-masing nilai memiliki probabilitas yang sama. Semoga Anda bisa melakukan yang lebih baik dari ini: Anda bisa mengemas data Anda dalam sejumlah interval dengan jarak yang sama dan menghitung nilai-nilai yang termasuk dalam setiap interval. Metode ini akan didasarkan pada estimasi histogram . Sayangnya, dengan histogram Anda berakhir dengan sejumlah tempat sampah, bukan dengan distribusi kontinu, jadi itu hanya perkiraan kasar.

Estimasi kepadatan kernel adalah alternatif ketiga. Ide utamanya adalah bahwa Anda memperkirakan $f$ dengan campuran distribusi kontinu $K$ (menggunakan notasi Anda $\phi$ ), yang disebut kernel , yang berpusat pada titik data $x_i$ dan memiliki skala ( bandwidth ) yang sama dengan $h$ :

Ini diilustrasikan pada gambar di bawah ini, di mana distribusi normal digunakan sebagai kernel $K$ dan nilai yang berbeda untuk bandwidth $h$ digunakan untuk memperkirakan distribusi mengingat tujuh titik data (ditandai dengan garis warna-warni di bagian atas plot). Kepadatan warna-warni pada plot adalah kernel berpusat di $x_i$ poin. Perhatikan bahwa $h$ adalah parameter relatif , nilainya selalu dipilih tergantung pada data Anda dan nilai $h$ mungkin tidak memberikan hasil yang serupa untuk kumpulan data yang berbeda.

Kernel $K$ dapat dianggap sebagai fungsi densitas probabilitas, dan perlu diintegrasikan ke kesatuan. Itu juga harus simetris sehingga $K(x) = K(-x)$ dan, yang berikutnya, berpusat pada nol. Artikel Wikipedia tentang kernel mencantumkan banyak kernel populer, seperti Gaussian (distribusi normal), Epanechnikov, persegi panjang (distribusi seragam), dll. Pada dasarnya setiap distribusi yang memenuhi persyaratan tersebut dapat digunakan sebagai kernel.

Jelas, perkiraan akhir akan tergantung pada pilihan kernel Anda (tetapi tidak sebanyak itu) dan pada parameter bandwidth $h$ . Utas berikut Bagaimana menginterpretasikan nilai bandwidth dalam estimasi kepadatan kernel? menjelaskan penggunaan parameter bandwidth secara lebih rinci.

Mengatakan ini dalam bahasa Inggris, apa yang Anda asumsikan di sini adalah bahwa titik-titik yang diamati $x_i$ hanya sampel dan mengikuti beberapa distribusi $f$ untuk diperkirakan. Karena distribusi kontinu, kita asumsikan bahwa ada beberapa diketahui, tetapi kepadatan nol di sekitar lingkungan dekat dari $x_i$ poin (lingkungan didefinisikan oleh parameter $h$ ) dan kami menggunakan kernel $K$ ke akun untuk itu. Semakin banyak titik di beberapa lingkungan, semakin banyak kepadatan yang terakumulasi di sekitar wilayah ini dan karenanya, semakin tinggi kepadatan keseluruhan $\hat{f_h}$ . Fungsi yang dihasilkan $\hat{f_h}$ sekarang dapat dievaluasi untuk apa sajatitik $x$ .(tanpa subskrip) untuk mendapatkan estimasi kepadatan untuknya, ini adalah bagaimana kami memperoleh fungsi $\hat{f_h}(x)$ yang merupakan perkiraan fungsi kepadatan tidak diketahui $f(x)$

Hal yang menyenangkan tentang kepadatan kernel adalah bahwa, tidak seperti histogram, mereka adalah fungsi kontinu dan bahwa mereka sendiri adalah kepadatan probabilitas yang valid karena merupakan campuran dari kepadatan probabilitas yang valid. Dalam banyak kasus ini sedekat mungkin dengan mendekati $f$ .

Perbedaan antara kepadatan kernel dan kepadatan lainnya, seperti distribusi normal, adalah bahwa kepadatan "biasa" adalah fungsi matematika, sedangkan kepadatan kernel adalah perkiraan dari kepadatan sebenarnya yang diperkirakan menggunakan data Anda, sehingga mereka bukan distribusi "mandiri".

Saya akan merekomendasikan Anda dua buku pengantar yang bagus tentang hal ini oleh Silverman (1986) dan Wand and Jones (1995).

Silverman, BW (1986). Estimasi kepadatan untuk statistik dan analisis data. CRC / Chapman & Hall.

Wand, MP dan Jones, MC (1995). Penghalusan Kernel. London: Chapman & Hall / CRC.

1) Pemahaman saya adalah bahwa pengguna memiliki pilihan fungsi untuk digunakan $\phi$, dan bahwa fungsi Gaussian adalah pilihan yang sangat umum.

2) Kepadatan di $x$ adalah nilai rata - rata dari $\phi_h(x_i - x)$ di $x$. Misalnya, Anda mungkin memilikinya$x_1=1$, $x_2 = 2$, dan distribusi Gaussian dengan $\sigma=1$ untuk $\phi_h$. Dalam hal ini, kepadatan di$x$ akan menjadi $\frac{\mathcal{N}_{1, 1}(x) + \mathcal{N}_{2, 1}(x)}{2}$.

3) Anda dapat menyambungkan fungsi kepadatan apa pun yang Anda suka sebagai fungsi jendela Anda.

4) $h$ menentukan lebar fungsi jendela yang Anda pilih.