Biarkan . Matriks Informasi Fisher didefinisikan sebagai:
Bagaimana saya bisa membuktikan Matriks Informasi Fisher adalah semidefinit positif?
Biarkan . Matriks Informasi Fisher didefinisikan sebagai:
Bagaimana saya bisa membuktikan Matriks Informasi Fisher adalah semidefinit positif?
Jawaban:
Lihat ini: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form
Dari definisi yang kita miliki
Untuk vektor nonnull , ini mengikuti dari linearitas harapan yangu = ( kamu1, ... , kamuk)⊤∈ Rn ∑i,j=1kuiIijuj=∑i,j=1k(uiEθ[(∂ilogfX∣Θ(X∣θ))(∂jlogfX∣Θ(X∣θ))]uj)=Eθ[(∑i=1kui∂ilogfX∣Θ(X∣θ))(∑j=1kuj∂jlogfX∣Θ(X∣θ))]=Eθ⎡⎣(∑i=1kui∂ilogfX∣Θ(X∣θ))2⎤⎦≥0.
Jika notasi bijak komponen ini terlalu jelek, perhatikan bahwa matriks Informasi Fisher dapat ditulis sebagai , di mana vektor skor didefinisikan sebagaiH=(Iij) H=Eθ[SS⊤] S S=(∂1logfX∣Θ(X∣θ),…,∂klogfX∣Θ(X∣θ))⊤.
Karenanya, kita memiliki satu-lineru⊤Hu=u⊤Eθ[SS⊤]u=Eθ[u⊤SS⊤u]=Eθ[||S⊤u||2]≥0.
sumber
PERINGATAN: bukan jawaban umum!
Jika sesuai dengan keluarga eksponensial peringkat penuh, maka Hessian negatif dari log-likelihood adalah matriks kovarians dari statistik yang cukup. Matriks kovarian selalu semi positif. Karena informasi Fisher adalah kombinasi cembung dari matriks semi-pasti positif, maka itu juga harus semi positif pasti.f(X|θ)
sumber