Hubungan antara Matriks Hessian dan Matriks Kovarian

Sementara saya mempelajari Estimasi Kemungkinan Maksimum, untuk melakukan inferensi pada Estimasi Kemungkinan Maksimum, kita perlu mengetahui variansnya. Untuk mengetahui perbedaannya, saya perlu mengetahui Cramer's Rao Lower Bound, yang terlihat seperti Hessian Matrix dengan Second Deriviation pada kelengkungan. Saya agak bingung untuk mendefinisikan hubungan antara matriks kovarians dan matriks hessian. Berharap untuk mendengar beberapa penjelasan tentang pertanyaan itu. Contoh sederhana akan dihargai.

Pertama-tama Anda harus memeriksa pertanyaan Dasar ini tentang matriks Informasi Fisher dan hubungannya dengan kesalahan standar dan Hessian

$\{f_{\theta}: \theta \in \Theta\}$$dim(\Theta) = d$$\theta = (\theta_1, \dots, \theta_d)^T$

$$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$$

$I_{i,j}$$\theta$$X$

$$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$$

$\theta$

$\psi(\theta)$$T(X) = (T_1(X), \dots, T_d(X))$

$$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$$

$T(X)$$cov_{\theta}(T(X))$

$$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$$

$A \ge B$$A - B$$\frac{\partial\psi(\theta)}{\partial\theta}$$J_{i,j}(\psi)$$\theta$$\psi(\theta) = \theta$

$$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$$

Tapi apa sebenarnya yang dikatakannya kepada kita? Misalnya, ingat itu

$$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$$

$A$

$$\forall_i\ A_{i,i} \ge 0$$

$B(\theta)$

$$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$$

Jadi CRLB tidak memberi tahu kami varians penaksir kami, tetapi apakah penaksir kami optimal atau tidak , yaitu jika memiliki kovarians terendah di antara semua penaksir yang tidak bias.