Ok, ini pertanyaan yang cukup mendasar, tapi saya agak bingung. Dalam tesis saya, saya menulis:
Kesalahan standar dapat ditemukan dengan menghitung kebalikan dari akar kuadrat dari elemen diagonal dari (Informasi) matriks Informasi Fisher:
Sejak perintah optimasi di meminimalkan R-logLyang (diamati) Informasi Fisher matriks dapat ditemukan dengan menghitung kebalikan dari Hessian: I(μ,σ2)=H-1
Pertanyaan utama saya: Apakah ini benar yang saya katakan ?
Saya sedikit bingung, karena dalam sumber ini pada halaman 7 dikatakan:
Matriks informasi adalah negatif dari nilai yang diharapkan dari matriks Hessian
(Jadi tidak ada kebalikan dari Goni.)
Sedangkan dalam sumber ini di halaman 7 (catatan kaki 5) dikatakan:
Informasi Fisher yang diamati sama dengan .
(Jadi di sini adalah kebalikannya.)
Saya mengetahui tanda minus dan kapan harus menggunakannya dan kapan tidak, tapi mengapa ada perbedaan dalam mengambil invers atau tidak?
sumber
Jawaban:
Yudi Pawitan menulis dalam bukunya In All Likelihood bahwa turunan kedua dari log-likelihood yang dievaluasi pada perkiraan kemungkinan maksimum (MLE) adalah informasi Fisher yang diamati (lihat juga dokumen ini , halaman 2). Ini adalah apa yang paling optimasi algoritma seperti
optim
diR
kembali: Hessian dievaluasi pada MLE. Ketika negatiflog-kemungkinan diminimalkan, Goni negatif dikembalikan. Seperti yang Anda tunjukkan dengan benar, estimasi kesalahan standar MLE adalah akar kuadrat dari elemen diagonal dari kebalikan dari matriks informasi Fisher yang diamati. Dengan kata lain: Akar kuadrat dari elemen diagonal dari kebalikan dari Hessian (atau Hessian negatif) adalah perkiraan kesalahan standar.Ringkasan
Secara formal
sumber
Memperkirakan fungsi kemungkinan mensyaratkan proses dua langkah.
Pertama, kita mendeklarasikan fungsi log-likelihood. kemudian satu mengoptimalkan fungsi log-likelihood. Tidak apa-apa.
sumber