Estimasi kemungkinan maksimum untuk distribusi terpotong

28

Pertimbangkan sampel independen diperoleh dari variabel acak yang diasumsikan mengikuti distribusi terpotong (mis. Distribusi terpotong ) dari nilai minimum dan maksimum yang diketahui (hingga) dan tetapi dari parameter yang tidak diketahui dan . Jika mengikuti distribusi non-terpotong, estimator kemungkinan maksimum dan untuk dan dari akan menjadi rata-rata sampelS XNSXb μ σ 2 X μ σ 2 μ σ 2 S μ = 1abμσ2Xμ^σ^2μσ2Sμ^=1NiSidan varians sampel . Namun, untuk distribusi terpotong, varians sampel yang didefinisikan dengan cara ini dibatasi oleh sehingga tidak selalu merupakan penduga yang konsisten: untuk , ia tidak dapat konvergen dalam probabilitas untuk saat menuju tak terhingga. Jadi tampaknya dan bukan penduga kemungkinan maksimum dari dan untuk distribusi terpotong. Tentu saja, ini diharapkan sejak dan(b-a)2σ2>(b-a)2σ2N μ σ 2μσ2μσ2σ^2=1Ni(Siμ^)2(ba)2σ2>(ba)2σ2Nμ^σ^2μσ2μσ2 parameter dari distribusi normal terpotong bukan berarti dan variansnya.

Jadi, apa yang merupakan penduga kemungkinan maksimum dari parameter dan dari distribusi terpotong dari nilai minimum dan maksimum yang diketahui?σμσ

a3nm
sumber
Apakah Anda yakin dengan analisis Anda? Saya pikir Anda membuat asumsi yang tidak valid: untuk situasi terpotong, MLE dari tidak lagi varians sampel (dan, secara umum, MLE dari bukan lagi berarti sampel)! μσ2μ
Whuber
whuber: Saya tahu, inilah pertanyaan saya: apa MLE dari dan dalam kasus terpotong? Menambahkan kalimat untuk menegaskan hal ini. μσ2μ
a3nm
1
Tidak ada solusi bentuk tertutup. Yang dapat Anda lakukan adalah meminimalkan kemungkinan log secara numerik. Tapi ini secara kualitatif tidak berbeda dari banyak model lain, seperti regresi logistik, yang juga tidak memiliki solusi bentuk tertutup.
whuber
whuber: Jika ini benar, ini cukup mengecewakan. Apakah Anda memiliki referensi tentang kurangnya solusi formulir tertutup? Apakah ada penduga bentuk tertutup yang kemungkinan tidak maksimum tetapi setidaknya konsisten (dan opsional tidak bias?).
a3nm
1
@whuber: Bisakah Anda setidaknya menyederhanakan sampel Anda menjadi statistik yang cukup sehingga minimalisasi cepat?
Neil G

Jawaban:

29

Pertimbangkan setiap keluarga lokasi skala ditentukan oleh "standar" distribusi ,F

ΩF={F(μ,σ):xF(xμσ)σ>0}.

Dengan asumsi dibedakan kami dengan mudah menemukan bahwa PDF adalah 1F.1σf((xμ)/σ)dx

Memotong distribusi ini untuk membatasi dukungan mereka antara dan b , a < b , berarti bahwa PDF diganti olehaba<b

f(μ,σ;a,b)(x)=f(xμσ)dxσC(μ,σ,a,b),axb

(dan nol untuk semua nilai ) di mana C ( μ , σ , a , b ) = F ( μ , σ ) ( b ) - F ( μ , σ ) ( a ) adalah faktor normalisasi yang diperlukan untuk memastikan bahwa f ( μ , σ ; a , b ) berintegrasi menjadi satu. (Perhatikan bahwa C identik 1xC(μ,σ,a,b)=F(μ,σ)(b)F(μ,σ)(a)f(μ,σ;Sebuah,b)C1karena tidak adanya pemotongan.) Karena itu kemungkinan log untuk data iid adalahxsaya

Λ(μ,σ)=i[logf(xiμσ)logσlogC(μ,σ,a,b)].

Poin kritis (termasuk global minimum) ditemukan di mana (kasus khusus yang akan saya abaikan di sini) atau gradiennya hilang. Menggunakan subskrip untuk menunjukkan turunan, kita dapat secara formal menghitung gradien dan menuliskan persamaan kemungkinan sebagaiσ=0

0=Λμ=i[fμ(xiμσ)f(xiμσ)-Cμ(μ,σ,Sebuah,b)C(μ,σ,Sebuah,b)]0=Λσ=saya[-fσ(xsaya-μσ)σ2f(xsaya-μσ)-1σ-Cσ(μ,σ,Sebuah,b)C(μ,σ,Sebuah,b)]

Karena dan b telah diperbaiki, lepaskan dari notasi dan tulis n C μ ( μ , σ , a , b ) / C ( μ , σ , a , b ) sebagai A ( μ , σ ) dan n C σ ( μ , σ , a , b ) / C ( μ , σ , aSebuahbnCμ(μ,σ,Sebuah,b)/C(μ,σ,Sebuah,b)SEBUAH(μ,σ) sebagai B ( μ , σ ) . (Tanpa pemotongan, kedua fungsi akan sama dengan nol.) Memisahkan istilah yang melibatkan data dari yang lainnya berikannCσ(μ,σ,Sebuah,b)/C(μ,σ,Sebuah,b)B(μ,σ)

A(μ,σ)=ifμ(xiμσ)f(xiμσ)σ2B(μ,σ)nσ=ifσ(xiμσ)f(xiμσ)

Dengan membandingkan ini dengan situasi tanpa pemotongan jelaslah

  • Statistik yang cukup untuk masalah awal cukup untuk masalah terpotong (karena sisi kanan tidak berubah).

  • Kemampuan kita untuk mencari solusi bentuk tertutup bergantung pada tractability dari dan B . Jika ini tidak melibatkan μ dan σ dengan cara sederhana, kami tidak bisa berharap untuk mendapatkan solusi bentuk tertutup secara umum.ABμσ

Untuk kasus keluarga normal, tentu saja diberikan oleh PDF normal kumulatif, yang merupakan perbedaan fungsi kesalahan: tidak ada kemungkinan solusi bentuk-tertutup dapat diperoleh dalam umum. Namun, hanya ada dua statistik yang cukup (rata-rata sampel dan varians akan dilakukan) dan CDF semulus mungkin, sehingga solusi numerik akan relatif mudah diperoleh.C(μ,σ,a,b)

whuber
sumber
Terima kasih banyak atas jawaban yang sangat terperinci ini! Saya tidak yakin mendapatkan apa , f σ , C μ , dan C σ , bisakah Anda mendefinisikannya? Juga, itu jelas tetapi lebih tepatnya mungkin Anda bisa mengatakan bahwa ekspresi Anda untuk pdf adalah untuk x [ a , b ] (dan pdf adalah nol di luar itu). Terima kasih lagi! fμfσCμCσx[a,b]
a3nm
1
Notasi yang lebih panjang biasanya adalah , dll: seperti yang diumumkan, ini adalah turunan. Saya akan melakukan perubahan kedua yang Anda sarankan karena ini merupakan klarifikasi penting, terima kasih. Cμ=μC(μ,σ,a,b)
Whuber
Juga, karena jawaban Anda lebih umum daripada yang saya harapkan, saya mengedit pertanyaan saya agar tidak terlalu menekankan pada kasus distribusi normal. Sekali lagi terima kasih atas usaha Anda.
a3nm
1
Lebih mudah dijelaskan pada tingkat umum ini dibandingkan dengan berfokus pada distribusi Normal! Menghitung derivatif dan menunjukkan bentuk tepat CDF adalah gangguan yang tidak perlu (meskipun berguna ketika Anda mulai benar-benar mengkode solusi numerik).
whuber
1
Terima kasih telah memperbaikinya! Anda melewatkan salah satu dari mereka; bisakah Anda meninjau hasil edit saya?
a3nm