Mengapa matriks Fisher Information semidefinite positif?

18

Biarkan . Matriks Informasi Fisher didefinisikan sebagai:θRn

I(θ)i,j=E[2log(f(X|θ))θiθj|θ]

Bagaimana saya bisa membuktikan Matriks Informasi Fisher adalah semidefinit positif?

madprob
sumber
7
Bukankah itu nilai yang diharapkan dari produk luar skor itu sendiri?
Neil G

Jawaban:

19

Lihat ini: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

Dari definisi yang kita miliki

Iij=Eθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))],
i , j = 1 , , k i = /θ i I i j untuk , di mana . Ekspresi Anda untuk mengikuti dari ini dalam kondisi keteraturan.i,j=1,,ki=/θiIij

Untuk vektor nonnull , ini mengikuti dari linearitas harapan yang u=(u1,,uk)Rn

i,j=1kuiIijuj=i,j=1k(uiEθ[(ilogfXΘ(Xθ))(jlogfXΘ(Xθ))]uj)=Eθ[(i=1kuiilogfXΘ(Xθ))(j=1kujjlogfXΘ(Xθ))]=Eθ[(i=1kuiilogfXΘ(Xθ))2]0.

Jika notasi bijak komponen ini terlalu jelek, perhatikan bahwa matriks Informasi Fisher dapat ditulis sebagai , di mana vektor skor didefinisikan sebagai H=(Iij)H=Eθ[SS]S

S=(1logfXΘ(Xθ),,klogfXΘ(Xθ)).

Karenanya, kita memiliki satu-liner

uHu=uEθ[SS]u=Eθ[uSSu]=Eθ[||Su||2]0.

Zen
sumber
3
(+1) Jawaban yang bagus dan selamat datang kembali, Zen. Saya menjadi khawatir kami mungkin telah kehilangan Anda secara permanen mengingat lamanya waktu istirahat Anda. Itu akan sangat memalukan!
kardinal
5

PERINGATAN: bukan jawaban umum!

Jika sesuai dengan keluarga eksponensial peringkat penuh, maka Hessian negatif dari log-likelihood adalah matriks kovarians dari statistik yang cukup. Matriks kovarian selalu semi positif. Karena informasi Fisher adalah kombinasi cembung dari matriks semi-pasti positif, maka itu juga harus semi positif pasti.f(X|θ)

Gusl
sumber