Distribusi mana yang memiliki solusi bentuk tertutup untuk estimasi kemungkinan maksimum?

Distribusi mana yang memiliki solusi bentuk tertutup untuk perkiraan kemungkinan maksimum dari parameter dari sampel pengamatan independen?

Tanpa kehilangan umum yang cukup berarti kita dapat mengasumsikan bahwa kerapatan probabilitas (atau massa) untuk setiap pengamatan x i (dari n pengamatan) adalah sangat positif, memungkinkan kita untuk menuliskannya sebagai eksponensial$f(x_i)$$x_i$$n$

$$f(x_i) = \exp{(g(x_i,\theta))}$$

untuk vektor parameter .$\theta = (\theta_j)$

Menyamakan gradien fungsi kemungkinan log ke nol (yang menemukan titik stasioner kemungkinan, di antaranya akan menjadi semua interior global maxima jika ada) memberikan seperangkat persamaan bentuk

$$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$$

satu untuk setiap . Untuk salah satu dari ini untuk memiliki solusi siap, kami ingin dapat memisahkan x i istilah dari θ istilah . (Segala sesuatu mengalir dari ide kunci ini, dimotivasi oleh Prinsip Kematian Matematika : lakukan sesedikit mungkin pekerjaan; pikirkan dulu sebelum menghitung; mengatasi versi mudah dari masalah sulit terlebih dahulu.) Cara paling umum untuk melakukan ini adalah dengan persamaan yang harus diambil formulir$j$$x_i$$\theta$

$$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$$

untuk fungsi yang diketahui , τ j , dan α j , untuk itu solusinya diperoleh dengan menyelesaikan persamaan simultan$\eta_j$$\tau_j$$\alpha_j$

$$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$$

untuk . Secara umum ini akan sulit untuk dipecahkan, tetapi memberikan himpunan nilai ( n α j ( θ $\theta$memberikan informasi lengkap tentangθ, kita bisa menggunakan vektor inisebagai gantiθitu sendiri (dengan demikian agak menggeneralisasi ide solusi "bentuk tertutup", tetapi dengan cara yang sangat produktif). Dalam kasus seperti itu, mengintegrasikan sehubungan denganhasilθ$\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$$\theta$ $\theta$$\theta_j$

$$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$$

(di mana berarti semua komponen θ kecuali θ j ). Karena sisi kiri secara fungsional independen dari θ j , kita harus memiliki itu τ j ( x ) = T ( x ) untuk beberapa fungsi tetap T ; bahwa B tidak boleh bergantung pada θ sama sekali; dan η j adalah turunan dari beberapa fungsi H ( θ ) dan α j adalah turunan dari beberapa fungsi lainnya $\theta_j'$$\theta$$\theta_j$$\theta_j$$\tau_j(x)=T(x)$$T$$B$$\theta$$\eta_j$$H(\theta)$$\alpha_j$ , keduanya berfungsi secara independen dari data. Dari mana$A(\theta)$

$$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$$

Kepadatan yang dapat ditulis dalam bentuk ini membentuk keluarga Koopman-Pitman-Darmois yang terkenal , atau keluarga eksponensial . Ini terdiri dari keluarga parametrik penting, baik kontinu dan diskrit, termasuk Gamma, Normal, Chi-squared, Poisson, Multinomial, dan banyak lainnya .

Saya tidak tahu apakah saya bisa mendaftar semuanya. Eksponensial, normal dan binomial muncul di pikiran dan mereka semua termasuk dalam kelas keluarga eksponensial. Keluarga eksponensial memiliki statistik yang cukup dalam eksponen dan mle sering merupakan fungsi yang baik dari statistik yang cukup ini.