Contoh penaksir kemungkinan maksimum yang tidak konsisten

13

Saya membaca komentar di kertas, dan penulis menyatakan bahwa kadang-kadang, meskipun estimator (ditemukan oleh ML atau quasilikelihood maksimum) mungkin tidak konsisten, kekuatan rasio kemungkinan atau uji rasio kuasi-kemungkinan masih dapat menyatu dengan 1 karena jumlah data yang diamati cenderung tidak terbatas (uji konsistensi). Bagaimana dan kapan ini terjadi? Apakah Anda tahu beberapa daftar pustaka?

Seorang lelaki tua di laut.
sumber
Apa itu LR & QLR?
gung - Reinstate Monica
Rasio kemungkinan dan uji rasio quasilikelihood;)
Seorang lelaki tua di laut.
Kekuasaan harus pergi ke 1 di mana saja kecuali pada satu titik. Apa yang tidak akan Anda miliki adalah tingkat kesalahan tipe 1 nominal.
Glen_b -Reinstate Monica
@Glen_b, bisakah Anda menjelaskan lebih lanjut tentang komentar Anda? Terima kasih;)
Seorang lelaki tua di laut.
@ Glen_b, sayangnya tidak, dan wiki tampaknya tidak memiliki entri di atasnya ...
Seorang lelaki tua di laut.

Jawaban:

10

[Saya pikir ini bisa menjadi contoh situasi yang sedang dibahas dalam pertanyaan Anda.]

Ada banyak contoh penduga ML yang tidak konsisten. Inkonsistensi umumnya terlihat dengan berbagai masalah campuran yang sedikit rumit dan masalah sensor.

[Konsistensi tes pada dasarnya hanya bahwa kekuatan tes untuk hipotesis palsu (tetap) meningkat menjadi satu sebagai .]n

Radford Neal memberikan contoh dalam entri blognya pada 2008-08-09 Estimasi Kemungkinan Maksimum yang Tidak Konsisten: Contoh “Biasa” . Ini melibatkan estimasi parameter di:θ

X | θ    (1/2)N(0,1) + (1/2)N(θ,exp(1/θ2)2)

(Neal menggunakan mana saya memiliki ) di mana estimasi ML dari akan cenderung sebagai (dan memang kemungkinan bisa jauh lebih tinggi di puncak dekat 0 daripada pada nilai sebenarnya untuk sampel yang cukup sederhana ukuran). Namun demikian ada kasus bahwa ada puncak di dekat nilai sebenarnya , itu hanya lebih kecil daripada yang dekat 0.θ θ 0 n θtθθ0nθ

Bayangkan sekarang dua kasus yang berkaitan dengan situasi ini:

a) melakukan uji rasio kemungkinan terhadap alternatif ;H 1 : θ < θ 0H0:θ=θ0H1:θ<θ0

b) melakukan uji rasio kemungkinan terhadap alternatif .H0:θ=θ0H1:θθ0

Dalam kasus (a), bayangkan bahwa benar (sehingga alternatifnya benar dan adalah sisi lain dari true ). Maka terlepas dari kenyataan bahwa kemungkinan sangat dekat dengan 0 akan melebihi bahwa pada , kemungkinan di tetap melebihi kemungkinan di bahkan dalam sampel kecil, dan rasio akan terus tumbuh lebih besar seperti , sedemikian rupa untuk membuat probabilitas penolakan dalam uji rasio kemungkinan menuju ke 1.θ<θ00θθθθ0n

Memang, bahkan dalam kasus (b), selama adalah tetap dan dibatasi dari , itu juga harus menjadi kasus bahwa rasio kemungkinan akan tumbuh sedemikian rupa untuk membuat probabilitas penolakan dalam uji rasio kemungkinan juga pendekatan 1.θ00

Jadi ini tampaknya akan menjadi contoh estimasi ML yang tidak konsisten, di mana kekuatan LRT tetap harus pergi ke 1 (kecuali ketika ).θ0=0

[Perhatikan bahwa sebenarnya tidak ada yang belum ada dalam jawaban whuber, yang saya pikir merupakan contoh kejelasan, dan jauh lebih sederhana untuk memahami perbedaan antara konsistensi tes dan konsistensi estimator. Fakta bahwa penaksir tidak konsisten dalam contoh spesifik bukan ML tidak terlalu penting sejauh memahami perbedaan itu - dan membawa penaksir tidak konsisten yang secara khusus ML - seperti yang saya coba lakukan di sini - tidak benar-benar mengubah penjelasan dengan cara substantif. Satu-satunya poin nyata dari contoh di sini adalah bahwa saya pikir ini membahas masalah Anda tentang menggunakan estimator ML.]

Glen_b -Reinstate Monica
sumber
Terima kasih Glen atas jawaban Anda. Saya masih punya satu pertanyaan. Masalahnya adalah bahwa biasanya dalam bukti untuk membatasi distribusi LRT menjadi chi-kuadrat, diasumsikan bahwa estimator ML konsisten. Dalam kasus Anda, bagaimana Anda membenarkan bahwa rasio kemungkinan yang tumbuh akan membuat probabilitas penolakan menjadi 1, ketika distribusi terbatas tidak diketahui? Atau apakah itu diketahui?
Seorang pria tua di laut.
Yang Anda perlukan untuk statistik uji rasio kemungkinan untuk tumbuh tanpa batas adalah bahwa kemungkinan pada nilai dalam pembilang untuk tumbuh lebih cepat daripada yang ada di penyebut. Pemahaman saya dari diskusi terkait adalah bahwa Neal menyiratkan hal itu, tetapi saya belum melakukan pengecekan yang sebenarnya atas rinciannya. Saya tidak berpikir ada alasan bagus untuk menegaskan tes akan memiliki distribusi chi-square; asumsi saya dari sedikit informasi yang Anda berikan dalam pertanyaan adalah bahwa tes yang dijelaskan sedang dilakukan seolah-olah asimtotik chi-square, tapi ... ( θ
ctd
(ctd) ... Anda harus bertanya kepada penulis komentar yang Anda jelaskan apakah itu yang mereka maksud.
Glen_b -Reinstate Monica
Sebenarnya, apa yang saya katakan tidak tepat, karena mungkin pembilangnya tumbuh lebih cepat daripada penyebutnya tetapi rasio untuk tidak tumbuh tanpa terikat (dalam arti bahwa rasio keduanya dapat tumbuh tetapi terikat). Saya seharusnya mengatakan sesuatu seperti "cukup cepat".
Glen_b -Reinstate Monica
8

Biarkan ditarik iid dari distribusi Normal ( μ , 1 ) . Pertimbangkan estimator(Xn)(μ,1)

T(x1,,xn)=1+x¯=1+1ni=1nxn.

Distribusi adalah Normal ( μ + 1 , 1 / T(X1,,Xn)=1+X¯. Konvergen menjadiμ+1μ, menunjukkan tidak konsisten.(μ+1,1/n)μ+1μ

Dalam membandingkan null hipotesis untuk alternatif sederhana, mengatakan μ = μ A , rasio log kemungkinan akan persis sama dengan LLR berdasarkan ˉ X bukan T . (Akibatnya, T berguna untuk membandingkan hipotesis nol μ + 1 = μ 0 + 1 dengan hipotesis alternatif μ + 1 = μ A + 1. ) Karena tes berdasarkan rata-rata memiliki daya konvergen ke 1 untuk ukuran tes apa pun αμ=μ0μ=μAX¯TTμ+1=μ0+1μ+1=μA+11 dan ukuran efek apa pun, kekuatan tes menggunakan T itu sendiri juga menyatu dengan 1 .α>0T1

whuber
sumber
terima kasih atas minat Anda pada pertanyaan ini. Bagaimana kita bisa dalam pengaturan yang lebih umum, memastikan konsistensi tes? Saya mencari jawaban yang lebih umum, dan bukan kasus khusus. Dan juga beberapa daftar pustaka jika tersedia. Terima kasih;)
Seorang lelaki tua di laut.
Juga, saya mungkin salah, tetapi penduga T tampaknya bukan penaksir ML. Pertanyaannya adalah «kapan kita memiliki konsistensi pengujian, ketika estimator ML, atau estimator quasilikelihood maksimum tidak konsisten?»
Seorang pria tua di laut.
Saya mengedit pertanyaan, karena mungkin tidak jelas apa yang saya inginkan. Maaf;)
Seorang lelaki tua di laut.