Ide dan intuisi di balik estimasi kemungkinan semu maksimum (QMLE)

Pertanyaan: Apa gagasan dan intuisi di balik estimasi kemungkinan maksimum kuasi (QMLE; juga dikenal sebagai estimasi kemungkinan maksimum semu, PMLE)? Apa yang membuat estimator berfungsi ketika distribusi kesalahan yang sebenarnya tidak cocok dengan distribusi kesalahan yang diasumsikan?

Situs Wikipedia untuk QMLE baik-baik saja (singkat, intuitif, to the point), tetapi saya dapat menggunakan beberapa intuisi dan detail, mungkin juga ilustrasi. Referensi lain dipersilahkan. (Saya ingat membaca beberapa buku pelajaran ekonometrik yang mencari materi di QMLE, dan yang mengejutkan saya, QMLE hanya dibahas dalam satu atau dua di antaranya, misalnya Wooldridge "Analisis Ekonometrik dari Penampang dan Data Panel" (2010), Bab 13 Bagian 11, hlm. 502-517.)

"Apa yang membuat estimator berfungsi ketika distribusi kesalahan yang sebenarnya tidak cocok dengan distribusi kesalahan yang diasumsikan?"

Pada prinsipnya QMPLE tidak "berfungsi", dalam arti menjadi penaksir "baik". Teori yang dikembangkan di sekitar QMLE bermanfaat karena telah menyebabkan tes spesifikasi yang salah.

Yang pasti dilakukan QMLE adalah secara konsisten memperkirakan vektor parameter yang meminimalkan Kullback-Leiber Divergence antara distribusi sebenarnya dan yang ditentukan. Ini kedengarannya bagus, tetapi meminimalkan jarak ini tidak berarti jarak yang diperkecil tidak akan terlalu besar.

Namun, kita membaca bahwa ada banyak situasi dimana QMLE adalah penduga yang konsisten untuk vektor parameter sebenarnya . Ini harus dinilai kasus per kasus, tetapi izinkan saya memberikan satu situasi yang sangat umum, yang menunjukkan bahwa tidak ada yang melekat pada QMLE yang membuatnya konsisten untuk vektor yang sebenarnya ...

... Alih-alih itu adalah kenyataan bahwa itu bertepatan dengan estimator lain yang selalu konsisten (mempertahankan asumsi sampel stasioner ergodik): estimator kuno, Method of Moments.

Dengan kata lain, ketika ragu tentang distribusi, strategi yang harus dipertimbangkan adalah "selalu tentukan distribusi yang penaksir Kemungkinan Maksimum untuk parameter yang diminati bertepatan dengan penaksir Metode Momen" : dengan cara ini tidak peduli bagaimana melenceng. adalah asumsi distribusi Anda, penaksir setidaknya akan konsisten.

Anda dapat mengambil strategi ini ke ekstrem konyol: asumsikan bahwa Anda memiliki sampel iid yang sangat besar dari variabel acak, di mana semua nilai positif. Lanjutkan dan asumsikan bahwa variabel acak terdistribusi normal dan terapkan kemungkinan maksimum untuk mean dan varians: QMLE Anda akan konsisten untuk nilai-nilai sebenarnya.

Tentu saja ini menimbulkan pertanyaan, mengapa berpura-pura menerapkan MLE karena apa yang kita lakukan pada dasarnya adalah mengandalkan dan bersembunyi di balik kekuatan Metode Momen (yang juga menjamin normalitas asimptotik)?

Dalam kasus lain yang lebih disempurnakan, QMLE dapat terbukti konsisten untuk parameter yang diminati jika kita dapat mengatakan bahwa kita telah menentukan dengan benar fungsi rata-rata bersyarat tetapi bukan distribusi (ini misalnya kasus untuk Pooled Poisson QMLE - lihat Wooldridge) .

Menariknya, bagaimanapun, formulasi ini mendengarkan penduga tipe metode-of-saat di mana orang hanya bisa mengurutkan "mengatur hal yang ingin mereka perkirakan" dalam RHS dari ekspresi yang diurung, dan percaya bahwa ungkapan itu akan menyatu dengan "yang menarik benda". Itu adalah bentuk proto dari memperkirakan persamaan.

Memperkirakan persamaan bukanlah konsep baru. Bahkan, upaya sejauh tahun 1870-an dan awal 1900-an untuk menyajikan EE dengan benar membatasi teorema EE menggunakan ekspansi Taylor, tetapi kurangnya koneksi ke model probabilistik adalah penyebab pertikaian di antara pengulas kritis.

Wedderburn menunjukkan beberapa hasil yang sangat penting: bahwa menggunakan tampilan pertama dalam kerangka umum tempat persamaan skor $S$dapat diganti dengan quasiscore, tidak sesuai dengan model probabilistik, melainkan menjawab pertanyaan yang menarik, menghasilkan estimasi yang meyakinkan secara statistik. Membalikkan transformasi skor umum menghasilkan qMLE umum yang berasal dari kemungkinan yang benar hingga konstanta proporsional. Konstanta proporsional itu disebut "dispersi". Hasil yang bermanfaat dari Wedderburn adalah bahwa penyimpangan yang kuat dari asumsi probabilitas dapat menghasilkan dispersi besar atau kecil.

Namun, berbeda dengan jawaban di atas, quasilikelihood telah digunakan secara luas. Satu diskusi yang sangat bagus di McCullogh dan Nelder berkaitan dengan pemodelan populasi kepiting tapal kuda. Tidak seperti manusia, kebiasaan kawin mereka benar-benar aneh: di mana banyak laki-laki dapat berbondong-bondong ke satu perempuan di "kelompok" yang tidak terukur. Dari sudut pandang ekologis, sebenarnya mengamati gugus-gugus ini jauh di luar lingkup pekerjaan mereka, tetapi meskipun demikian, meramalkan ukuran populasi dari tangkapan-dan-pelepasan merupakan tantangan yang signifikan. Ternyata pola perkawinan ini menghasilkan model Poisson dengan dispersi yang signifikan, artinya varians proporsional, tetapi tidak sama dengan rata-rata.

Dispersi dianggap sebagai parameter gangguan dalam arti bahwa kita umumnya tidak mendasarkan inferensi tentang nilainya, dan bersama-sama memperkirakannya dalam satu kemungkinan menghasilkan hasil yang sangat tidak teratur. Quasilikelihood adalah bidang statistik yang sangat berguna, terutama mengingat penelitian selanjutnya tentang persamaan estimasi umum .

Saya punya pertanyaan serupa dengan yang asli diposting di sini dari Richard Hardy. Kebingungan saya adalah bahwa parameter yang diperkirakan dari kuasi-ML mungkin tidak ada dalam distribusi "benar" yang tidak diketahui. Dalam hal ini, apa sebenarnya arti "konsistensi"? Apa yang parameter konvergen konvergen?

Setelah memeriksa beberapa referensi ( White (1982) harus menjadi salah satu artikel asli tetapi terjaga keamanannya. Eksposisi bermanfaat yang saya temukan adalah http://homepage.ntu.edu.tw/~ckuan/pdf/et01/ch9.pdf ), Pemikiran saya dalam bahasa Inggris adalah sebagai berikut: setelah mengakui bahwa distribusi yang kami asumsikan hanyalah perkiraan terhadap yang tidak diketahui yang benar, hal praktis yang dapat kami lakukan adalah menemukan nilai parameter untuk meminimalkan jaraknya (jarak Kullback-Leibler tepatnya). Keindahan teori ini adalah bahwa, tanpa perlu mengetahui distribusi yang sebenarnya, parameter yang diperkirakan dari kuasi-ML menyatu dengan parameter yang meminimalkan jarak ini (tentu saja, ada hasil lain yang berguna dari teori seperti distribusi asimptotik dari perkiraan parameter dll tetapi mereka bukan fokus pertanyaan saya di sini).

Seperti yang Alecos Papadopolous katakan dalam jawabannya di atas, jarak yang diminimalkan masih bisa besar. Jadi distribusi yang kita asumsikan bisa menjadi perkiraan yang buruk untuk yang benar. Yang dapat dilakukan oleh kuasi-ML adalah membuat distribusi asumsi kami sedekat mungkin dengan yang tidak diketahui. Semoga pengalaman saya yang dibagikan di sini dapat bermanfaat bagi orang lain yang memiliki kebingungan serupa.