Penentu matriks informasi Fisher untuk model overparameter

Pertimbangkan variabel acak Bernoulli dengan parameter (probabilitas keberhasilan). Fungsi kemungkinan dan informasi Fisher ( matriks ) adalah:$X\in\{0,1\}$$\theta$$1 \times 1$

$$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$$

Sekarang pertimbangkan versi "over-parameterized" dengan dua parameter: probabilitas keberhasilan $\theta_1$ dan probabilitas kegagalan $\theta_0$ . (Perhatikan bahwa $\theta_1+\theta_0=1$ , dan batasan ini menyiratkan bahwa salah satu parameternya berlebihan.) Dalam hal ini fungsi kemungkinan dan matriks informasi Fisher (FIM) adalah:

$$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$$

Perhatikan bahwa penentu kedua FIM ini identik. Selain itu, properti ini meluas ke kasus model kategori yang lebih umum (yaitu lebih dari dua negara). Tampaknya juga meluas ke model log-linear dengan berbagai himpunan bagian dari parameter dibatasi menjadi nol; dalam hal ini, parameter ekstra "redundan" sesuai dengan fungsi partisi log, dan ekuivalensi dari dua determinan FIM dapat ditunjukkan berdasarkan pada komplemen Schur dari FIM yang lebih besar. (Sebenarnya, untuk model log-linear FIM yang lebih kecil hanyalah pelengkap Schur dari FIM yang lebih besar.)

Dapatkah seseorang menjelaskan apakah properti ini meluas ke set model parametrik yang lebih besar (misalnya untuk semua keluarga eksponensial), memungkinkan opsi untuk menurunkan determinan FIM berdasarkan pada set parameter yang "diperluas"? Yaitu mengasumsikan setiap model statistik yang diberikan dengan parameter yang terletak pada manifold dimensi yang tertanam dalam ruang dimensi . Sekarang, jika kita memperluas set parameter untuk memasukkan satu dimensi lagi (yang benar-benar dibatasi berdasarkan yang lain) dan menghitung FIM berdasarkan parameter tersebut , akankah kita selalu mendapatkan determinan yang sama dengan yang didasarkan pada aslinya parameter (independen)? Juga, bagaimana kedua FIM ini terkait?$n$$n$$(n+1)$$(n+1)$$n$

Alasan saya mengajukan pertanyaan ini adalah bahwa FIM dengan parameter tambahan seringkali tampak lebih sederhana. Pikiran pertama saya adalah bahwa ini seharusnya tidak berfungsi secara umum. FIM melibatkan penghitungan sebagian turunan dari log log kemungkinan setiap parameter. Derivatif parsial ini mengasumsikan bahwa, sementara parameter dalam pertanyaan berubah, semua parameter lainnya tetap konstan, yang tidak benar setelah kami melibatkan parameter tambahan (dibatasi). Dalam kasus ini, menurut saya turunan parsial tidak lagi valid karena kita tidak dapat mengasumsikan parameter lainnya konstan; Namun, saya belum menemukan bukti bahwa ini sebenarnya masalah. (Jika turunan parsial bermasalah dalam kasus dengan parameter dependen, adalah total turunan$(n+1) \times (n+1)$dibutuhkan bukan? Saya belum melihat contoh menghitung FIM dengan total turunan, tapi mungkin itu solusinya ...)

Satu-satunya contoh yang dapat saya temukan secara online yang menghitung FIM berdasarkan pada set parameter yang "diperluas" adalah sebagai berikut: catatan ini berisi contoh untuk distribusi kategori, menghitung turunan parsial yang diperlukan seperti biasa (yaitu seolah-olah setiap parameter independen , meskipun ada kendala di antara parameter).

Untuk normal , matriks informasi adalah Untuk normalJadi, pengamatan Anda bahwa determinan yang setara itu tidak universal, tetapi itu bukan keseluruhan cerita.$X\sim N(\mu,\sigma^2)$

$$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$$ $X\sim N(\mu,\mu^2)$ $$\mathcal{I}_2=\frac{3}{\mu^2}.$$

Secara umum, jika adalah matriks informasi di bawah reparametrization maka, tidak sulit untuk melihat bahwa matriks informasi untuk parameter asli adalah mana adalah Jacobian dari transformasi .$\mathcal{I}_g$

$$g(\theta)=(g_1(\theta),...,g_k(\theta))',$$ $$I(\theta)=G'I_g(g(\theta))G$$ $G$$g=g(\theta)$

Sebagai contoh Bernoulli dan . Jadi, Jacobian adalah dan karenanya $(\theta_0,\theta_1)=(p,1-p)$$g(p)=(p,1-p)$$(1,-1)'$

$$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$$

Untuk contoh normal melengkung,

$$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$$

Saya pikir sekarang Anda dapat dengan mudah menghubungkan faktor-faktor penentu.

Tindak lanjut setelah komentar

Jika saya mengerti Anda dengan benar, FIM valid selama Anda memperluas parameter dengan cara yang berarti: kemungkinan di bawah parametrization baru harus menjadi kepadatan yang valid. Karenanya, saya menyebut contoh Bernoulli sebagai contoh yang tidak menguntungkan.

Saya pikir tautan yang Anda berikan memiliki kelemahan serius dalam derivasi FIM untuk variabel kategori, karena kami memiliki dan . Ekspektasi Hessian negatif memberi , tetapi tidak untuk kovarians vektor skor. Jika Anda mengabaikan kendala, kesetaraan matriks informasi tidak berlaku. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$$E(x_ix_j)=\theta_i\theta_j\neq 0$$\mathrm{diag}\{1/\theta_i\}$

Tampaknya hasilnya berlaku untuk jenis hubungan tertentu antara parameter.

Tanpa mengklaim generalitas penuh untuk hasil di bawah ini, saya tetap berpegang pada kasus "parameter satu ke dua". Mendenotasikan persamaan implisit yang mengungkapkan hubungan yang harus terus antara dua parameter. Kemudian log "kemungkinan diperluas", "dua parameter" (bukan apa yang dihitung OP - kami akan tiba di sana)$g(\theta_0,\theta_1) =0$

$$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$$ setara dengan kemungkinan , karena , ( adalah a pengali) dan kita dapat memperlakukan dua parameter sebagai independen, sementara kita membedakan.$L$$g(\theta_0,\theta_1)=0$$\lambda$

Menggunakan subskrip untuk menunjukkan turunan sehubungan dengan parameter (satu turunan pertama subskrip, dua turunan subskrip kedua), penentu Hessian dari kemungkinan log yang diperluas yang benar akan menjadi

$$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$$

Apa yang dilakukan OP?

Dia menganggap kemungkinan salah "mengabaikan" hubungan antara dua parameter, dan tanpa memperhitungkan kendala . Dia kemudian melanjutkan dengan diferensiasi dan memperoleh$L^*(\theta_0,\theta_1)$$g(\theta_0,\theta_1)$

$$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$$

Jelaslah bahwa secara umum tidak sama dengan .$(2)$$(1)$

Tetapi jika , maka$g_{00}=g_{11}=g_{00}=0$

$$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$$

Jadi jika hubungan antara parameter aktual dan parameter redundan sedemikian rupa sehingga turunan parsial kedua dari fungsi implisit yang menghubungkan mereka semua nol , maka pendekatan yang secara fundamental salah, berakhir "benar".

Untuk kasus Bernoulli, memang kami punya

$$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$$

ADDENDUM
Untuk menanggapi pertanyaan @Khashaa dan menunjukkan mekanika di sini, kami mempertimbangkan kemungkinan yang ditentukan dengan parameter redundan, tetapi juga di bawah kendala yang menghubungkan parameter redundan dengan yang sebenarnya. Apa yang kami lakukan dengan kemungkinan log adalah memaksimalkannya - jadi di sini kami memiliki kasus maksimalisasi terbatas. Asumsikan sebuah sampel berukuran ,:$n$

$$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$$

Masalah ini memiliki Langrangean (apa yang secara informal saya sebut "kemungkinan diperluas yang benar" di atas),

$$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$$

Kondisi orde pertama untuk maksimum adalah

$$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$$

untuk itu kita memperoleh relasi

$$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$$

menggunakan batasan di mana yang di atas valid, kita peroleh$\theta_1 = 1-\theta_0$

$$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$$

$$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$$

seperti yang seharusnya.

Selain itu, karena batasannya linier di semua parameter, turunan keduanya akan menjadi nol. Ini tercermin dalam fakta bahwa dalam turunan pertama lagrangean, pengali "berdiri sendiri" dan itu akan dihilangkan ketika kita akan mengambil turunan kedua dari lagrangean. Yang pada gilirannya akan membawa kita ke Hessian yang determinannya akan sama dengan turunan kedua (satu dimensi) dari kemungkinan log satu-parameter, setelah memaksakan juga kendala (yang dilakukan OP). Kemudian mengambil negatif dari nilai yang diharapkan dalam kedua kasus, tidak mengubah kesetaraan matematika ini, dan kita sampai pada hubungan "Informasi Fisher satu dimensi = penentu Informasi Fisher dua dimensi". Sekarang$\lambda$mengingat bahwa kendala adalah linier dalam semua parameter, OP mendapatkan hasil yang sama (pada tingkat turunan kedua) tanpa memperkenalkan kendala dengan pengali fungsi yang akan dimaksimalkan, karena pada tingkat turunan kedua, keberadaan / efek dari kendala menghilang dalam kasus seperti itu.

Semua ini berkaitan dengan kalkulus, bukan dengan konsep statistik.