Misalkan kita memiliki sampel acak dari distribusi normal bivariat yang memiliki nol sebagai mean dan varians, sehingga satu-satunya parameter yang tidak diketahui adalah kovarians. Apa MLE dari kovarian? Saya tahu itu harus seperti tapi bagaimana kita tahu ini?
10
Jawaban:
Estimator untuk koefisien korelasi (yang dalam kasus standar normal bivariat sama dengan kovarians)
adalah estimator Method-of-Moments, kovarian sampel. Mari kita lihat apakah itu bertepatan dengan estimator kemungkinan maksimum, .ρ^
Sendi kepadatan standar bivariat normal dengan koefisien korelasi yaituρ
dan jadi log-kemungkinan sampel iid ukuran adalahn
(Di sini asumsi awal adalah sehubungan dengan masing-masing menarik dari populasi dua dimensi tentu saja)
Mengambil turunan sehubungan dengan dan pengaturan sama dengan nol memberikan 3d derajat polinomial dalam :ρ ρ
Bahwa perhitungannya benar dapat diverifikasi jika seseorang mengambil nilai yang diharapkan dari derivatif dievaluasi pada koefisien sebenarnya akan sama dengan nol.ρ
Untuk kekompakan, write , yang merupakan jumlah dari sampel varians dari dan . Jika kita membagi ekspresi turunan-pertama dengan penduga MoM akan muncul, secara khusus(1/n)∑ni=1(x2i+y2i)=(1/n)S2 X Y n
Melakukan aljabar, tidak sulit untuk menyimpulkan bahwa kita akan memperoleh if, dan hanya jika, , yaitu hanya jika demikian halnya jumlah varians sampel sama dengan jumlah varian sejati. Jadi secara umumρ^=r~ (1/n)S2=2
Jadi apa yang terjadi di sini? Seseorang yang lebih bijak akan menjelaskannya, untuk saat ini, mari kita coba simulasi: Saya membuat sampel iid dari dua normals standar dengan koefisien korelasi . Ukuran sampel adalah . Nilai sampel adalahρ=0.6 n=1.000
Estimasi Method-of-Moments memberi kita
Apa yang terjadi dengan kemungkinan log? Secara visual, sudah
Secara numerik, sudah
dan kita melihat bahwa log-likelihood memiliki tad maksimum sebelum mana juga turunan pertama menjadi nol . Tidak ada kejutan untuk nilai-nilai tidak ditampilkan. Juga, turunan 1 tidak memiliki root lainnya.ρ=0.56 (ρ^=0.558985) ρ
Jadi simulasi ini sesuai dengan hasil bahwa penaksir kemungkinan maksimum tidak sama dengan metode penaksir momen (yang merupakan kovarians sampel antara dua rv).
Tetapi tampaknya "semua orang" mengatakan bahwa itu harus ... jadi seseorang harus memberikan penjelasan.
MEMPERBARUI
Referensi yang membuktikan bahwa MLE adalah penaksir Metode-of-Moments: Anderson, TW, & Olkin, I. (1985). Estimasi kemungkinan maksimum dari parameter distribusi normal multivarian. Aljabar linier dan penerapannya, 70, 147-171.
Apakah penting bahwa di sini semua cara dan varian bebas untuk bervariasi dan tidak diperbaiki?
... Mungkin ya, karena komentar @ guy dalam jawaban lain (sekarang dihapus) mengatakan bahwa, dengan parameter mean dan varians yang diberikan , bivariat normal menjadi anggota keluarga eksponensial melengkung (dan karenanya beberapa hasil dan properti berubah) ... yang tampaknya menjadi satu-satunya cara yang dapat merekonsiliasi dua hasil.
sumber
Di bawah kondisi yang dinyatakan ( dan ), fungsi kemungkinan untuk sampel acak ukuran adalahμX=μY=0 σX=σY=1 n
Sekarang temukan kemungkinan log dan ambil turunannya sehubungan dengan . Selanjutnya, atur sama dengan 0, pecahkan untuk . Tentu saja Anda harus melakukan tes yang tepat untuk menunjukkan apa yang Anda temukan sebenarnya adalah global maksimum.ρρ ρ^
sumber