Berapakah estimasi kemungkinan maksimum dari kovarians data normal bivariat ketika mean dan varians diketahui?

10

Misalkan kita memiliki sampel acak dari distribusi normal bivariat yang memiliki nol sebagai mean dan varians, sehingga satu-satunya parameter yang tidak diketahui adalah kovarians. Apa MLE dari kovarian? Saya tahu itu harus seperti tapi bagaimana kita tahu ini?1nj=1nxjyj

Stacy
sumber
1
Sebagai pemula, bukankah menurut Anda agak tidak pantas untuk memperkirakan nilai dengan dan padahal sebenarnya kita tahu bahwa itu adalah 0 dan 0? x¯y¯
Wolfgang
Sangat tidak pandai, perbaiki. Masih tidak melihat bagaimana ini bisa dengan mudah diikuti. Ini analog dengan varians sampel tetapi mengapa MLE (kecuali jika tidak dan saya membuat kesalahan lain)
Stacy
Sudahkah Anda menghapus ? Mengambil rumus ini tidak berarti Anda menganggap dan sebagai taksiran rata-rata. 1ni=1n(xix¯)(yiy¯)x¯y¯
Stéphane Laurent
@ StéphaneLaurent Ya, di posting awal, rumus diberikan seperti yang Anda tulis.
Wolfgang

Jawaban:

11

Estimator untuk koefisien korelasi (yang dalam kasus standar normal bivariat sama dengan kovarians)

r~=1ni=1nxiyi

adalah estimator Method-of-Moments, kovarian sampel. Mari kita lihat apakah itu bertepatan dengan estimator kemungkinan maksimum, .ρ^

Sendi kepadatan standar bivariat normal dengan koefisien korelasi yaituρ

f(x,y)=12π1ρ2exp{x2+y22ρxy2(1ρ2)}

dan jadi log-kemungkinan sampel iid ukuran adalahn

lnL=nln(2π)n2ln(1ρ2)12(1ρ2)i=1n(xi2+yi22ρxiyi)

(Di sini asumsi awal adalah sehubungan dengan masing-masing menarik dari populasi dua dimensi tentu saja)

Mengambil turunan sehubungan dengan dan pengaturan sama dengan nol memberikan 3d derajat polinomial dalam :ρρ

ρ^:nρ^3(i=1nxiyi)ρ^2(11ni=1n(xi2+yi2))nρ^i=1nxiyi=0

Bahwa perhitungannya benar dapat diverifikasi jika seseorang mengambil nilai yang diharapkan dari derivatif dievaluasi pada koefisien sebenarnya akan sama dengan nol.ρ

Untuk kekompakan, write , yang merupakan jumlah dari sampel varians dari dan . Jika kita membagi ekspresi turunan-pertama dengan penduga MoM akan muncul, secara khusus(1/n)i=1n(xi2+yi2)=(1/n)S2XYn

ρ^:ρ^3r~ρ^2+[(1/n)S21]ρ^r~=0

ρ^(ρ^2r~ρ^+[(1/n)S21])=r~

Melakukan aljabar, tidak sulit untuk menyimpulkan bahwa kita akan memperoleh if, dan hanya jika, , yaitu hanya jika demikian halnya jumlah varians sampel sama dengan jumlah varian sejati. Jadi secara umumρ^=r~(1/n)S2=2

ρ^r~

Jadi apa yang terjadi di sini? Seseorang yang lebih bijak akan menjelaskannya, untuk saat ini, mari kita coba simulasi: Saya membuat sampel iid dari dua normals standar dengan koefisien korelasi . Ukuran sampel adalah . Nilai sampel adalahρ=0.6n=1.000

i=1nxiyi=522.05,S2=1913.28

Estimasi Method-of-Moments memberi kita

r~=522.051000=0.522

Apa yang terjadi dengan kemungkinan log? Secara visual, sudah

masukkan deskripsi gambar di sini

Secara numerik, sudah

ρ1st derivlnL0.570.92783.650.5159.41782.470.5247.7781.480.5335.78780.680.5423.64780.10.5511.29779.750.561.29779.640.5714.1779.810.5827.15780.270.5940.44781.050.653.98782.18

dan kita melihat bahwa log-likelihood memiliki tad maksimum sebelum mana juga turunan pertama menjadi nol . Tidak ada kejutan untuk nilai-nilai tidak ditampilkan. Juga, turunan 1 tidak memiliki root lainnya.ρ=0.56(ρ^=0.558985)ρ

Jadi simulasi ini sesuai dengan hasil bahwa penaksir kemungkinan maksimum tidak sama dengan metode penaksir momen (yang merupakan kovarians sampel antara dua rv).

Tetapi tampaknya "semua orang" mengatakan bahwa itu harus ... jadi seseorang harus memberikan penjelasan.

MEMPERBARUI

Referensi yang membuktikan bahwa MLE adalah penaksir Metode-of-Moments: Anderson, TW, & Olkin, I. (1985). Estimasi kemungkinan maksimum dari parameter distribusi normal multivarian. Aljabar linier dan penerapannya, 70, 147-171.
Apakah penting bahwa di sini semua cara dan varian bebas untuk bervariasi dan tidak diperbaiki?

... Mungkin ya, karena komentar @ guy dalam jawaban lain (sekarang dihapus) mengatakan bahwa, dengan parameter mean dan varians yang diberikan , bivariat normal menjadi anggota keluarga eksponensial melengkung (dan karenanya beberapa hasil dan properti berubah) ... yang tampaknya menjadi satu-satunya cara yang dapat merekonsiliasi dua hasil.

Alecos Papadopoulos
sumber
1
Ini sedikit mengejutkan, tetapi setelah beberapa refleksi itu harus diharapkan. Masalahnya dapat diulangi sebagai estimasi koefisien regresi dalam model mana . Ini bukan model linier, jadi tidak ada alasan untuk mengharapkan MLE menjadi produk titik sederhana. Logika yang sama menunjukkan (saya pikir!) Bahwa jika kita hanya tahu maka MLE adalah , dan jika kita hanya tahu . Jika kami juga tidak tahu, kami mendapatkan penaksir IBU Anda. ρY=ρX+ϵϵN(0,1ρ22)Var(X)xy/xxxy/yyVar(Y)
pria
1
@ guy: Sangat menarik. Saya pikir argumen ini, jika sedikit diperluas, sepenuhnya pantas diposting sebagai jawaban terpisah!
amoeba
@ guy Saya tidak berpikir formulasi ini setara, karena, log-kemungkinan dalam pengaturan regresi berisi kuadrat . The koefisien melekat tidak hadir dalam perumusan kepadatan bivariat. ϵ2=(yρx)2=y22ρxy+ρ2x2ρ2x2
Alecos Papadopoulos
Dugaan saya adalah . Bayangkan dan , maka perkiraan diharapkan. 1ni=1n(xix¯)(yiy¯)n=2y1=y20
Stéphane Laurent
1
@AlecosPapadopoulos . Istilah dibatalkan oleh penyebut , jadi satu-satunya istilah dari data yang berkontribusi dalam kemungkinan log asli Anda adalah . Tapi ini juga langsung dari faktorisasi , . Klaim saya yang lain salah, karena saya lalai memasukkan istilah di dalamnya. x2+y22ρxy=(1ρ2)x2+(yρx)2(1ρ2)x2(1ρ2)(yρx)2/(1ρ2)XN(μX,σX2)[Y|X]N(μY+ρXσYσX(XμX),σY|X21ρ22)σY/σX
pria
2

Di bawah kondisi yang dinyatakan ( dan ), fungsi kemungkinan untuk sampel acak ukuran adalahμX=μY=0σX=σY=1n

L(ρ|X,Y)=1(2π[1ρ2])n/2exp[12(1ρ2)(XX2ρXY+YY)].

Sekarang temukan kemungkinan log dan ambil turunannya sehubungan dengan . Selanjutnya, atur sama dengan 0, pecahkan untuk . Tentu saja Anda harus melakukan tes yang tepat untuk menunjukkan apa yang Anda temukan sebenarnya adalah global maksimum.ρρρ^

Dennis
sumber