Misalkan saya mengamati vektor variabel independen dan dan variabel dependen . Saya ingin mencocokkan model formulir: mana adalah beberapa fungsi bernilai positif yang dapat dua kali, adalah parameter penskalaan yang tidak diketahui, dan adalah variabel rata-rata, varians unit Gaussian variabel acak (diasumsikan independen dari dan ). Ini pada dasarnya adalah pengaturan uji Koenker tentang heteroskedastisitas (setidaknya sejauh yang saya mengerti).→ z yy= → x ⊤ → β 1 +σg( → z ⊤ → β 2 )ϵ,gσϵ → x → z →
Saya memiliki pengamatan dan , dan saya ingin memperkirakan dan . Saya punya beberapa masalah:→ x , → z y → β 1 → β 2
- Saya tidak yakin bagaimana mengajukan masalah estimasi sebagai sesuatu seperti kuadrat terkecil (saya berasumsi ada trik terkenal). Tebakan pertama saya adalah kira-kira seperti
tapi saya Saya tidak yakin bagaimana menyelesaikannya secara numerik (mungkin metode kuasi-Newton berulang mungkin dilakukan).
- Dengan asumsi saya dapat mengajukan masalah dengan cara yang waras dan menemukan beberapa perkiraan , saya ingin mengetahui distribusi perkiraan sehingga misalnya saya dapat melakukan tes hipotesis. Saya akan baik-baik saja dengan menguji dua koefisien koefisien secara terpisah, tetapi akan lebih memilih beberapa cara untuk menguji, misalnya H_0: \ vec {w_1} ^ {\ top} \ vec {\ beta_1} + \ vec {w_2} ^ {\ top} \ vec {\ beta_2} \ le c untuk diberikan \ vec {w_1}, \ vec {w_2}, c .
Jawaban:
Dalam konteks yang sedikit lebih umum dengan sebuah dimensi vektor pengamatan (tanggapan, atau variabel dependen), dan matriks pengamatan (kovariat, atau variabel dependen) dan parameter sedemikian sehingga maka kemungkinan minus-log-kemungkinan adalah Dalam pertanyaan OP, adalah diagonal denganY n y X n×p x θ=(β1,β2,σ) Y∼N(Xβ1,Σ(β2,σ))
Saran terakhir menarik bagi saya karena itu dibangun di atas solusi yang sudah saya ketahui dengan baik. Selain itu, iterasi pertama adalah sesuatu yang saya akan pertimbangkan untuk dilakukan. Yaitu, pertama hitung estimasi awal dengan kuadrat terkecil biasa yang mengabaikan potensi heteroskedastisitas, lalu paskan gamma glm ke residu kuadrat untuk mendapatkan perkiraan awal hanya untuk memeriksa apakah model yang lebih rumit tampaknya bermanfaat. Iterasi menggabungkan heteroskedastisitas ke dalam solusi kuadrat terkecil karena bobot kemudian dapat meningkat pada estimasi.β 2 -β1 β2 −
Mengenai bagian kedua dari pertanyaan, saya mungkin akan mempertimbangkan menghitung interval kepercayaan untuk kombinasi linear baik dengan menggunakan asimptotik MLE standar (memeriksa dengan simulasi bahwa asimptotik bekerja) atau dengan bootstrap.wT1β1+wT2β2
Sunting: Dengan asimptotik MLE standar yang saya maksud menggunakan perkiraan normal multivariat untuk distribusi MLE dengan matriks kovarians informasi invers Fisher. Informasi Fisher adalah definisi matriks kovarians dari gradien . Secara umum tergantung pada parameter. Jika Anda dapat menemukan ekspresi analitik untuk jumlah ini, Anda dapat mencoba mencolokkan MLE. Sebagai alternatif, Anda dapat memperkirakan informasi Fisher dengan informasi Fisher yang diamati , yang merupakan Hessian dari di MLE. Parameter yang Anda minati adalah kombinasi linear dari parameter dalam dual β ( y i , x i , z i )l l β -vektor, maka dari normal multivariat aproksimasi dari MLE Anda dapat menemukan perkiraan normal dari penduga penduga seperti yang dijelaskan di sini . Ini memberi Anda perkiraan kesalahan standar dan Anda dapat menghitung interval kepercayaan. Ini dijelaskan dengan baik di banyak buku statistik (matematis), tetapi presentasi yang cukup mudah diakses yang bisa saya rekomendasikan adalah Dalam Semua Kemungkinan oleh Yudi Pawitan. Bagaimanapun, derivasi formal dari teori asimptotik cukup rumit dan bergantung pada sejumlah kondisi keteraturan, dan itu hanya memberikan asimptotik yang validdistribusi. Oleh karena itu, jika ragu saya akan selalu melakukan beberapa simulasi dengan model baru untuk memeriksa apakah saya dapat mempercayai hasil untuk parameter realistis dan ukuran sampel. Bootstrap sederhana dan non-parametrik tempat Anda mencicipi tiga kali lipat dari kumpulan data yang diamati dengan penggantian dapat menjadi alternatif yang bermanfaat jika prosedur pemasangan tidak terlalu memakan waktu.(yi,xi,zi)
sumber