Dalam R, diberi output dari optim dengan matriks hessian, bagaimana cara menghitung interval kepercayaan parameter menggunakan matriks hessian?

22

Diberikan keluaran dari optim dengan matriks hessian, bagaimana cara menghitung interval kepercayaan parameter menggunakan matriks hessian?

fit<-optim(..., hessian=T)

hessian<-fit$hessian

Saya sebagian besar tertarik pada konteks analisis kemungkinan maksimum, tetapi saya ingin tahu apakah metode ini dapat diperluas.

Etienne Low-Décarie
sumber
2
Pertanyaan ini terlalu kabur. Interval kepercayaan seperti apa? Model seperti apa yang Anda minati? Pertimbangkan untuk melihat literatur sebelum memposting 3 pertanyaan berturut-turut.
Metode harus independen dari interval dan model.
Etienne Low-Décarie
Fungsi apa yang Anda optimalkan?
Stéphane Laurent
Saya diberitahu bahwa saya harus dapat melakukan ini terlepas dari model yang saya gunakan.
Etienne Low-Décarie
Corey Chivers memberikan jawabannya.
Etienne Low-Décarie

Jawaban:

32

Jika Anda memaksimalkan kemungkinan maka matriks kovarians dari estimasi adalah (tanpa gejala) kebalikan dari negatif dari Hessian. Kesalahan standar adalah akar kuadrat dari elemen diagonal kovarians ( dari tempat lain di web!, Dari Prof. Thomas Lumley dan Spencer Graves, Eng.).

Untuk interval kepercayaan 95%

fit<-optim(pars,li_func,control=list("fnscale"=-1),hessian=TRUE,...)
fisher_info<-solve(-fit$hessian)
prop_sigma<-sqrt(diag(fisher_info))
prop_sigma<-diag(prop_sigma)
upper<-fit$par+1.96*prop_sigma
lower<-fit$par-1.96*prop_sigma
interval<-data.frame(value=fit$par, upper=upper, lower=lower)

Perhatikan bahwa:

  • Jika Anda memaksimalkan log (kemungkinan), maka NEGATIF ​​hessian adalah "informasi yang diamati" (seperti di sini).
  • Jika Anda MEMINIMASI "penyimpangan" = (-2) * log (kemungkinan), maka SETENGAH goni adalah informasi yang diamati.
  • Jika Anda memaksimalkan kemungkinan itu sendiri, Anda perlu membagi negatif dari hessian dengan kemungkinan mendapatkan informasi yang diamati.

Lihat ini untuk batasan lebih lanjut karena optimasi rutin yang digunakan.

Etienne Low-Décarie
sumber
Corey Chivers memberikan jawabannya.
Etienne Low-Décarie
2
(+1) Kebalikan dari hessian negatif adalah penaksir dari matriks kovarians asimptotik - Saya tahu ini muncul dalam kode Anda tetapi saya pikir ini penting untuk ditunjukkan.
Makro
1
Jawaban luar biasa, haruskah batas atas dan bawah dibaca upper<-fit$par+1.96*(prop_sigma/sqrt(n)) lower<-fit$par-1.96*(prop_sigma/sqrt(n))? Terima kasih
peramal
3
Mengapa tidak menghapus baris 4?
Jason
2
Apakah termasuk garis prop_sigma<-diag(prop_sigma)kesalahan?
Mark Miller