Keluarga Eksponensial: Statistik yang Memadai vs. yang Diharapkan

Pertanyaan saya muncul dari membaca bacaan Minka "Memperkirakan Distribusi Dirichlet" , yang menyatakan berikut tanpa bukti dalam konteks memperoleh penduga kemungkinan maksimum untuk distribusi Dirichlet berdasarkan pengamatan vektor acak:

Seperti biasa dengan keluarga eksponensial, ketika gradien adalah nol, statistik yang diharapkan cukup sama dengan statistik yang diamati cukup.

Saya belum melihat estimasi kemungkinan maksimum dalam keluarga eksponensial yang disajikan dengan cara ini, saya juga tidak menemukan penjelasan yang sesuai dalam pencarian saya. Dapatkah seseorang menawarkan wawasan tentang hubungan antara statistik yang diamati dan yang diharapkan cukup, dan mungkin membantu untuk memahami estimasi kemungkinan maksimum sebagai meminimalkan perbedaan mereka?

Ini adalah pernyataan biasa tentang keluarga eksponensial, tetapi menurut pendapat saya, sebagian besar waktu dinyatakan dengan cara yang dapat membingungkan pembaca yang kurang berpengalaman. Karena, diambil dari nilai nominal, dapat diartikan sebagai mengatakan "jika variabel acak kami mengikuti distribusi dalam keluarga eksponensial, maka jika kita mengambil sampel dan memasukkannya ke dalam statistik yang cukup, kita akan mendapatkan nilai yang diharapkan dari statistik. ". Kalau saja begitu ... Lebih dari itu tidak memperhitungkan ukuran sampel, yang dapat menyebabkan kebingungan lebih lanjut.

Fungsi kerapatan eksponensial adalah

$$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$$

di mana adalah statistik yang cukup.$T(x)$

Karena ini adalah kepadatan, ia harus berintegrasi ke kesatuan, jadi ( adalah dukungan )$S_x$$X$

$$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$$

Eq. berlaku untuk semua sehingga kita dapat membedakan kedua belah pihak sehubungan dengan itu:$(2)$$\theta$

$$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$$

Saling menukar urutan diferensiasi dan integrasi, kami memperoleh

$$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$$

Melaksanakan diferensiasi yang kita miliki

$$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$$

Memasukkan ke kita dapatkan$(5)$$(4)$

$$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$$

$$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$$

Sekarang kami bertanya: sisi kiri adalah bilangan real. Jadi, sisi kanan juga harus berupa bilangan real, dan bukan fungsi . Oleh karena itu harus dievaluasi pada tertentu , dan itu harus menjadi "true" , jika tidak di sisi kiri kita tidak akan memiliki nilai yang diharapkan dari . Untuk menekankan ini, kami menyatakan nilai sebenarnya oleh , dan kami menulis ulang sebagai$(6)$$\theta$$\theta$$T(X)$$\theta_0$$(6)$

$$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$$

Kami beralih ke estimasi kemungkinan maksimum . Log-kemungkinan untuk sampel ukuran adalah$n$

$$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$$

Dengan menetapkan turunannya terhadap sama dengan kami memperoleh MLE$\theta$$0$

$$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$$

Bandingkan dengan . Sisi kanan tidak sama, karena kami tidak dapat berdebat bahwa penaksir MLE mengenai nilai sebenarnya. Begitu juga sisi kiri. Tapi ingat persamaan itu. berlaku untuk semua dan juga untuk . Jadi langkah-langkah dalam persamaan. dapat diambil sehubungan dengan sehingga kita dapat menulis eq. untuk :$(7)$$(6a)$$2$ $\theta$$\hat \theta$$3,4,5,6$$\hat \theta$$6a$$\hat \theta$

$$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$$

yang, dikombinasikan dengan , membawa kita ke hubungan yang valid$(7)$

$$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$$

itulah yang benar-benar dikatakan oleh pernyataan yang sedang diperiksa: nilai yang diharapkan dari statistik yang cukup di bawah MLE untuk parameter yang tidak diketahui (dengan kata lain, nilai momen mentah pertama dari distribusi yang akan kita peroleh jika kita menggunakan sebagai pengganti ), sama dengan (dan tidak hanya didekati oleh) rata - rata statistik yang cukup seperti yang dihitung dari sampel . $\hat \theta(x)$$\theta$$\mathbf x$

Selain itu, hanya jika ukuran sampel adalah maka kita dapat secara akurat mengatakan, "nilai yang diharapkan dari statistik yang cukup di bawah MLE sama dengan statistik yang cukup".$n=1$