Apakah MLE

10

Misalkan (X,Y) memiliki pdf

fθ(x,y)=e(x/θ+θy)1x>0,y>0,θ>0

Karenanya kepadatan sampel (X,Y)=(Xi,Yi)1in diambil dari populasi ini

gθ(x,y)=i=1nfθ(xi,yi)=exp[i=1n(xiθ+θyi)]1x1,,xn,y1,,yn>0=exp[nx¯θθny¯]1x(1),y(1)>0,θ>0

Estimasi kemungkinan maksimum θ dapat diturunkan sebagai

θ^(X,Y)=X¯Y¯

Saya ingin tahu apakah distribusi terbatas MLE ini normal atau tidak.

Jelas bahwa statistik yang cukup untuk θ berdasarkan sampel adalah (X¯,Y¯) .

Sekarang saya akan mengatakan bahwa MLE normal asimptotik tanpa keraguan apakah itu adalah anggota dari keluarga eksponensial satu-parameter biasa. Saya tidak berpikir itu yang terjadi, sebagian karena kami memiliki statistik dua dimensi yang cukup untuk parameter satu dimensi (seperti dalam distribusi N(θ,θ2) , misalnya).

Menggunakan fakta bahwa X dan Y sebenarnya variabel eksponensial independen, saya dapat menunjukkan bahwa distribusi yang tepat dari θ adalah sedemikian rupa sehinggaθ^

θ^θ=dF, where FF2n,2n

Saya tidak mungkin melanjutkan untuk menemukan distribusi terbatas dari sini.

Sebaliknya saya bisa berdebat dengan WLLN bahwa X¯Pθ dan Y¯P1/θ , sehingga θθ^Pθ .

Ini memberitahu saya bahwa θ konvergen dalam distribusi ke θ . Tapi ini tidak datang sebagai kejutan, karena θ adalah 'baik' estimator θ . Dan hasil ini tidak cukup kuat untuk menyimpulkan apakah sesuatu seperti θ^θθ^θn(θ^θ)adalah asimtotik normal atau tidak. Saya tidak bisa membuat argumen yang masuk akal menggunakan CLT juga.

Jadi pertanyaannya adalah apakah distribusi induk di sini memenuhi kondisi keteraturan agar distribusi MLE terbatas menjadi normal.

StubbornAtom
sumber
θ1
Normalitas asimtotik MLE tidak ada hubungannya dengan keluarga eksponensial. Secara intuitif, untuk menahan normalitas asimptotik, Anda hanya perlu memastikan tidak ada kemungkinan bahwa solusinya akan mendekati batas ruang parameter.
whuber
@whuber Sejauh yang saya tahu, pdf yang merupakan anggota keluarga eksponensial kanonik hampir selalu memiliki MLE yang asimtotik normal (bukan karena keluarga exp). Itulah koneksi yang saya coba tunjukkan.
StubbornAtom
1
Benar: tetapi koneksi satu arah. Hasil asimptotik untuk MLE jauh lebih umum dan karena itu saya mencoba untuk menyarankan bahwa melihat ke arah umum, daripada berfokus pada sifat-sifat keluarga eksponensial, mungkin penyelidikan yang lebih bermanfaat.
whuber
Bukti menggunakan metode multivarian CLT dan delta juga dimungkinkan seperti yang dilakukan di sini .
StubbornAtom

Jawaban:

3

Bukti langsung untuk normalitas asimptotik:

Kemungkinan log di sini adalah

L=nx¯θθny¯

Derivatif pertama dan kedua adalah

Lθ=nx¯θ2ny¯,2Lθ2=2nx¯θ3

θ^n

L(θ^n)θ=0

θ0

L(θ^n)θ=L(θ0)θ+2L(θ~n)θ2(θ^nθ0)=0

θ~nθ^nθ0

(θ^nθ0)=(2L(θ~n)θ2)1L(θ0)θ

Tetapi dalam kasus parameter tunggal kami, kebalikannya hanya kebalikannya, jadi, memasukkan juga ekspresi spesifik turunannya,

(θ^nθ0)=θ~n32nx¯(nx¯θ02ny¯)

n(θ^nθ0)=θ~n32x¯θ02n(x¯θ02y¯)

n(θ^nθ0)=θ~n32x¯θ02(n1/2i=1n(xiθ02yi))

Varian dari jumlah tersebut adalah

Var(i=1n(xiθ02yi))=2nθ02

Sn

n(θ^nθ0)=(θ~n32x¯θ0)i=1n(xiθ02yi)n2θ0

n(θ^nθ0)=(θ~n32x¯θ0)SnVar(Sn)

E(xiθ02yi)=0E(Sn)=0

SnVar(Sn)dN(0,1)

Karena konsistensi estimator, kami juga punya

(θ~n32x¯θ0)pθ02

dan oleh Slutsky's Teorem kita sampai

n(θ^nθ0)dN(0,θ02/2)

θ0

θ0

Alecos Papadopoulos
sumber
Maaf atas jawaban yang terlambat. Selama ini saya merenungkan apakah ini adalah keluarga eksponensial melengkung sehingga MLE mungkin berperilaku berbeda.
StubbornAtom
1
@StubbornAtom Normalitas asimptotik tentu hilang ketika parameter yang diestimasi berada pada batas parameter (hasil yang cukup intuitif jika Anda memikirkannya).
Alecos Papadopoulos