Dalam makalah yang terkenal tahun 1938 (" Distribusi sampel-besar dari rasio kemungkinan untuk menguji hipotesis komposit ", Annals of Mathematical Statistics, 9: 60-62), Samuel Wilks memperoleh distribusi asimtotik dari (log likelihood ratio) untuk hipotesis bersarang, dengan asumsi bahwa hipotesis yang lebih besar ditentukan dengan benar. Distribusi pembatas adalah (chi-squared) dengan derajat kebebasan , di mana adalah jumlah parameter dalam hipotesis yang lebih besar danχ 2 h - m h madalah jumlah parameter gratis dalam hipotesis bersarang. Namun, seharusnya diketahui bahwa hasil ini tidak berlaku ketika hipotesis salah ditentukan (yaitu, ketika hipotesis yang lebih besar bukanlah distribusi yang sebenarnya untuk data sampel).
Adakah yang bisa menjelaskan mengapa? Menurut saya bukti Wilks masih harus bekerja dengan modifikasi kecil. Ini bergantung pada normalitas asimptotik dari estimasi kemungkinan maksimum (MLE), yang masih berlaku dengan model yang salah ditentukan. Satu-satunya perbedaan adalah matriks kovarians dari multivariat normal yang membatasi: untuk model yang ditentukan dengan benar, kita dapat memperkirakan matriks kovarians dengan matriks informasi Fisher terbalik , dengan kesalahan spesifikasi, kita dapat menggunakan estimasi sandwich dari matriks kovarians ( ). Yang terakhir mengurangi ke kebalikan dari matriks informasi Fisher ketika model ditentukan dengan benar (karena J - 1 K J - 1 J = K c - 1). AFAICT, bukti Wilks tidak peduli dari mana perkiraan matriks kovarians berasal, asalkan kita memiliki matriks kovarians asimptotik yang tidak dapat dibalik dari normal multivariat untuk MLEs ( dalam makalah Wilks).
Jawaban:
RV Foutz dan RC Srivastava telah memeriksa masalah ini secara rinci. Makalah 1977 mereka "Kinerja uji rasio kemungkinan ketika model tidak benar" berisi pernyataan hasil distribusi dalam kasus kesalahan spesifikasi di samping sketsa bukti yang sangat singkat, sedangkan makalah mereka 1978 " Makalah asimtotik dari rasio kemungkinan ketika modelnya salah " berisi buktinya - tetapi yang terakhir diketikkan dengan tipe penulis lama (kedua makalah tersebut menggunakan notasi yang sama, sehingga Anda dapat menggabungkannya dalam membaca). Juga, untuk beberapa langkah pembuktian mereka merujuk pada sebuah makalah oleh KP Roy "Sebuah catatan tentang distribusi asimtotik rasio kemungkinan" dari tahun 1957 yang tampaknya tidak tersedia secara online, bahkan terjaga keamanannya.
Dalam hal kesalahan spesifikasi distribusi, jika MLE masih konsisten dan asimptotik normal (yang tidak selalu terjadi), statistik LR mengikuti secara asimptotik kombinasi linear chi-square independen (masing-masing satu derajat kebebasan)
dimana . Kita dapat melihat "kesamaan": alih-alih satu chi-square dengan h - m derajat kebebasan, kita memiliki h - m chi-square masing-masing dengan satu derajat kebebasan. Tetapi "analogi" berhenti di situ, karena kombinasi linear chi-square tidak memiliki kepadatan bentuk tertutup. Setiap chi-square yang diskalakan adalah gamma, tetapi dengan parameter c i berbeda yang mengarah ke parameter skala berbeda untuk gamma -dan jumlah gammas tersebut bukan bentuk-tertutup, walaupun nilainya dapat dihitung.r = h - m h - m h - m csaya
Untuk konstanta , kita memiliki c 1 ≥ c 2 ≥ . . . c r ≥ 0 , dan mereka adalah nilai eigen dari sebuah matriks ... matriks mana? Nah, menggunakan notasi penulis, atur Λ menjadi Hessian dari log-likelihood dan C menjadi produk luar dari gradien log-likelihood (dalam istilah harapan). Jadi V = Λ - 1 C ( Λ ′ ) - 1 adalah matriks varians-kovarians asimptotik dari MLE.ci c1≥c2≥...cr≥0 Λ C V=Λ−1C(Λ′)−1
Kemudian mengatur menjadi r × r atas blok diagonal V .M r×r V
Juga tulis dalam bentuk blokΛ
dan atur ( W adalah negatif dari Komplemen Schur dari Λ ).W=−Λr×r+Λ′2Λ−13Λ2 W Λ
Maka adalah nilai eigen dari matriks M W yang dievaluasi pada nilai sebenarnya dari parameter.ci MW
TAMBAHKAN[9] [9] di mana kita melihat bahwa statistik rasio kemungkinan, jika spesifikasinya benar, hanyalah jumlah dari kuadrat standar variabel acak normal, dan mereka didistribusikan sebagai satu chi-square dengan derajat kebebasan h - m : (notasi generik )h−m h−m
Menanggapi komentar OP yang sah dalam komentar (kadang-kadang, memang, pertanyaan menjadi batu loncatan untuk berbagi hasil yang lebih umum, dan diri mereka sendiri mungkin diabaikan dalam proses), di sini adalah bagaimana bukti Wilks berlangsung: Wilks mulai dengan gabungan distribusi MLE yang normal, dan hasil untuk memperoleh ekspresi fungsional dari Rasio Kemungkinan. Hingga dan termasuk persamaannya. , buktinya dapat bergerak maju bahkan jika kita berasumsi bahwa kita memiliki kesalahan spesifikasi distribusi: seperti yang dicatat OP, syarat-syarat matriks varians kovarians akan berbeda dalam skenario kesalahan spesifikasi, tetapi semua yang dilakukan Wilks adalah mengambil turunan, dan mengidentifikasi istilah yang dapat diabaikan secara asimptotik. Dan dia tiba di tempat. [ 9 ]
Tetapi jika kita memiliki kesalahan spesifikasi, maka istilah yang digunakan untuk skala MLE terpusat dan diperbesar tidak lagi istilah yang akan membuat varians dari setiap elemen sama untuk persatuan, dan mengubah setiap istilah menjadi rv standar normal dan jumlahnya menjadi chi-square. Dan mereka tidak, karena istilah-istilah ini melibatkan nilai yangdiharapkandari turunan kedua dari kemungkinan log ... tetapi nilai yang diharapkan hanya dapat diambil sehubungan dengan distribusi yang sebenarnya, karena MLE adalah fungsi dari data dan data mengikuti distribusi sebenarnya, sedangkan turunan kedua dari log-likelihood dihitung berdasarkan asumsi kepadatan yang salah.n−−√(θ^−θ)
Jadi di bawah kesalahan spesifikasi kita memiliki sesuatu seperti dan yang terbaik yang bisa kita lakukan adalah memanipulasinya
yang merupakan jumlah dari skala chi-square rv, tidak lagi didistribusikan sebagai satu chi-square rv dengan derajat kebebasan . Referensi yang diberikan oleh OP memang merupakan paparan yang sangat jelas dari kasus yang lebih umum ini yang memasukkan hasil Wilks sebagai kasus khusus.h−m
sumber
sumber