Matriks informasi Fisher yang diharapkan untuk distribusi-t Student?

Saya mengalami kesulitan menemukan sumber daya online yang mendapatkan Matriks Informasi Fisher yang diharapkan untuk distribusi-t Student yang unik. Apakah ada yang tahu sumber daya seperti itu?

Dengan tidak adanya sumber daya yang ada yang mendapatkan matriks informasi Fisher yang diharapkan untuk distribusi-t, saya mencoba untuk mendapatkannya sendiri tetapi saya mandek. Inilah pekerjaan saya sejauh ini:

$y_i \sim t(\mu, \sigma^2, v)$ di mana adalah derajat kebebasan (df) parameter (diasumsikan tetap). Kemudian: $v$

\begin{aligned} f (y_{i}) & = \frac{Γ (\frac{v + 1}{2})}{Γ (\frac{v}{2}) \sqrt{π v σ^{2}}} (1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2})^{\frac{- (v + 1)}{2}} \end{aligned}

$\begin{align*} f(y_i) &= \frac{\Gamma(\frac{v+1}{2})}{\Gamma(\frac{v}{2})\sqrt{\pi v \sigma^2}}\big(1+\frac{1}{v\sigma^2}(y_i-\mu)^2\big)^{\frac{-(v+1)}{2}} \end{align*}$

Dengan demikian kita memiliki fungsi log-likelihood berikut :

\begin{aligned} l Hai g f (y_{saya}) = l Hai g Γ (\frac{v + 1}{2}) - l Hai g Γ (\frac{v}{2}) - \frac{1}{2} l Hai g (π v σ^{2}) + \frac{- (v + 1)}{2} l Hai g [1 + \frac{1}{v σ^{2}} (y_{saya} - μ)^{2}] \end{aligned}

$\begin{align*} log f(y_i)=log\Gamma(\frac{v+1}{2})-log\Gamma(\frac{v}{2})-\frac{1}{2}log(\pi v \sigma^2)+ \frac{-(v+1)}{2}log\big[1+\frac{1}{v\sigma^2}(y_i-\mu)^2\big] \end{align*}$

Di sini persamaan turunan pertama :

\begin{aligned} \frac{\partial}{\partial μ} l Hai g f (y_{saya}) = \frac{v + 1}{2} \frac{\frac{2}{v σ^{2}} (y_{saya} - μ)}{1 + \frac{1}{v σ^{2}} (y_{saya} - μ)^{2}} \\ \frac{\partial}{\partial σ^{2}} l Hai g f (y_{saya}) = \frac{- 1}{2 σ^{2}} - \frac{(v + 1)}{2} \frac{\frac{- 1}{v σ^{4}} (y_{saya} - μ)^{2}}{1 + \frac{1}{v σ^{2}} (y_{saya} - μ)^{2}} \end{aligned}

$\begin{align*} &\frac{\partial}{\partial \mu}logf(y_i)=\frac{v+1}{2}\frac{\frac{2}{v\sigma^2}(y_i-\mu)}{1+\frac{1}{v\sigma^2}(y_i-\mu)^2} \\ & \frac{\partial}{\partial \sigma^2}logf(y_i)= \frac{-1}{2\sigma^2}-\frac{(v+1)}{2} \frac{\frac{-1}{v\sigma^4}(y_i-\mu)^2}{1+\frac{1}{v\sigma^2}(y_i-\mu)^2} \end{align*}$

Dan inilah persamaan turunan ke - 2:

\begin{aligned} \frac{\partial}{\partial μ^{2}} l o g f (y_{i}) = \frac{v + 1}{2} \frac{\frac{- 2}{v σ^{2}} + \frac{2}{d v^{2} σ^{4}} (y_{i} - μ)^{2}}{(1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2})^{2}} \\ \frac{\partial}{\partial μ \partial σ^{2}} l o g f (y_{i}) = \frac{v + 1}{2} {[\frac{2}{v σ^{2}} - \frac{4}{v^{2} σ^{6}} (y_{i} - μ)^{2}] [1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2}]^{2} - [\frac{- 2}{v σ^{2}} + \frac{2}{v^{2} σ^{4}} (y_{i} - μ)^{2}] * 2 [1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2}] [\frac{- 1}{v σ^{4}} (y_{i} - μ)^{2}]} / {[1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2}]^{4}} . . . . . really messy! \\ \frac{\partial}{\partial (σ^{2})^{2}} l o g f (y_{i}) = \frac{1}{2 σ^{4}} - \frac{(v + 1)}{2} \frac{\frac{1}{v σ^{6}} (y_{i} - μ)^{2}}{[1 + \frac{1}{v σ^{2}} (y_{i} - μ)^{2}]^{2}} \end{aligned}

$\begin{align*} &\frac{\partial}{\partial \mu^2}logf(y_i)=\frac{v+1}{2}\frac{\frac{-2}{v\sigma^2}+\frac{2}{dv^2\sigma^4}(y_i-\mu)^2}{\big(1+\frac{1}{v\sigma^2}(y_i-\mu)^2\big)^2} \\ & \frac{\partial}{\partial \mu \partial \sigma^2}logf(y_i) =\frac{v+1}{2} \Big\{[\frac{2}{v\sigma^2}-\frac{4}{v^2\sigma^6}(y_i-\mu)^2][1+\frac{1}{v\sigma^2}(y_i-\mu)^2]^2-[\frac{-2}{v\sigma^2}+\frac{2}{v^2\sigma^4}(y_i-\mu)^2]*2[1+\frac{1}{v\sigma^2}(y_i-\mu)^2][\frac{-1}{v\sigma^4}(y_i-\mu)^2]\Big\}/\Big\{ [1+\frac{1}{v\sigma^2}(y_i-\mu)^2]^4\Big\}.....\text{really messy!} \\ &\frac{\partial}{\partial (\sigma^2)^2}logf(y_i)=\frac{1}{2\sigma^4}-\frac{(v+1)}{2}\frac{\frac{1}{v\sigma^6}(y_i-\mu)^2}{[1+\frac{1}{v\sigma^2}(y_i-\mu)^2]^2} \end{align*}$

Akhirnya, matriks informasi nelayan yang diharapkan dihitung sebagai berikut:

\begin{aligned} I = - E ([\begin{matrix} \frac{\partial^{2}}{\partial μ^{2}} l o g f (y_{i}) & \frac{\partial}{\partial μ \partial σ^{2}} l o g f (y_{i}) \\ \frac{\partial}{\partial μ \partial σ^{2}} l o g f (y_{i}) & \frac{\partial^{2}}{\partial (σ^{2})^{2}} l o g f (y_{i}) \end{matrix}]) \end{aligned}

$\begin{align*} \boldsymbol{I}= -\mathbb{E}\Big(\begin{bmatrix} \frac{\partial^2}{\partial \mu^2}logf(y_i) & \frac{\partial}{\partial \mu \partial \sigma^2}logf(y_i) \\ \frac{\partial}{\partial \mu \partial \sigma^2}logf(y_i) & \frac{\partial^2}{\partial (\sigma^2)^2}logf(y_i) \end{bmatrix}\Big) \end{align*}$

Namun, saya tidak tahu bagaimana menghitung harapan ini. Adakah yang mengetahui sumber daya yang telah melakukan ini? Jujur, satu-satunya jumlah yang saya tertarik adalah: , akankah seseorang setidaknya dapat membantu saya menghitung ini? $-\mathbb{E}\big[\frac{\partial^2}{\partial (\sigma^2)^2}logf(y_i)\big]$

probability t-distribution fisher-information bayes003
sumber

Jawaban:

Saya mendapat perhatian bahwa Lange et al 1989 memperoleh informasi Fisher yang diharapkan untuk distribusi t multivariat di Lampiran B. Oleh karena itu, saya mendapatkan jawaban yang saya inginkan, Anda dapat menganggap pertanyaan ini sebagai jawaban!

Secara khusus, dengan menggunakan hasil Lange et al, saya memperoleh Matriks Informasi Fisher berikut untuk distribusi t univariat (dengan parameter kebebasan derajat tetap ): $v$

\begin{aligned} I = [\begin{matrix} \frac{v + 1}{(v + 3) σ^{2}} & 0 \\ 0 & \frac{v}{2 (v + 3) σ^{4}} \end{matrix}] \end{aligned}

$\begin{align*} \boldsymbol{I}=\begin{bmatrix} \frac{v+1}{(v+3)\sigma^2} & 0 \\ 0 & \frac{v}{2(v+3)\sigma^4} \end{bmatrix} \end{align*}$

bayes003
sumber

Adakah referensi di mana Matriks Informasi Fisher telah diturunkan untuk variabel derajat kebebasan parameter, yaitu Matriks Informasi Fisher 3 Dimensi di mana skala, lokasi, dan derajat kebebasan semuanya disediakan?

uday

Saya punya pertanyaan yang sama. Apakah kita memiliki matriks Fisher 3x3 yang menyertakan parameter nu?

Riemann1337

Hasil di atas dikonfirmasi benar dengan FisherInformationfungsi dimathStatica

serigala

Itu tidak sulit (tapi agak membosankan) dengan menggunakan rumus Pertama, amati bahwa dengan perubahan variabel dalam setiap integral yang terlibat, orang dapat mengambil dalam perhitungan.

saya (μ, σ^{2}) = E [(\begin{matrix} {(\frac{\partial}{\partial μ} catatan f (Y))}^{2} & (\frac{\partial}{\partial μ} catatan f (Y)) (\frac{\partial}{\partial σ} catatan f (Y)) \\ (\frac{\partial}{\partial μ} catatan f (Y)) (\frac{\partial}{\partial σ} catatan f (Y)) & {(\frac{\partial}{\partial σ^{2}} catatan f (Y))}^{2} \end{matrix})] .

$\mathcal{I}(\mu, \sigma^2) = \mathbb{E}\left[\begin{pmatrix}{\left(\frac{\partial}{\partial\mu} \log f(Y)\right)}^2 & \left(\frac{\partial}{\partial\mu} \log f(Y)\right)\left(\frac{\partial}{\partial\sigma} \log f(Y)\right) \\ \left(\frac{\partial}{\partial\mu} \log f(Y)\right)\left(\frac{\partial}{\partial\sigma} \log f(Y)\right) & {\left(\frac{\partial}{\partial\sigma^2} \log f(Y)\right)}^2 \end{pmatrix} \right].$

y \mapsto y - μ

$y \mapsto y-\mu$

μ = 0

$\mu=0$

Perhitungan bergantung pada integral berikut: Kesetaraan ini diperoleh dengan mengubah variabel dan dengan bantuan kepadatan distribusi Beta prime .

saya (λ, Sebuah, b) : = \int_{0}^{\infty} y^{2 Sebuah - 1} {(1 + \frac{1}{λ} y^{2})}^{- \frac{2 Sebuah + b}{2}} d y = \frac{λ^{Sebuah}}{2} B (Sebuah, \frac{b}{2}) .

$I(\lambda, a, b) := \int_0^\infty y^{2a-1}\left(1+\frac{1}{\lambda}y^2\right)^{-\frac{2a+b}{2}} \textrm{d}y = \frac{\lambda^a}{2} B\left(a, \frac{b}{2}\right).$

y \mapsto y^{2}

$y \mapsto y^2$

Perhatikan bahwa integand adalah fungsi genap ketika adalah bilangan bulat genap, maka $2a-1$

J (λ, Sebuah, b) : = \int_{- \infty}^{+ \infty} y^{2 Sebuah - 1} {(1 + \frac{1}{λ} y^{2})}^{- \frac{hal + 1 + b}{2}} d y = 2 saya (λ, Sebuah, b) = λ^{Sebuah} B (Sebuah, \frac{b}{2}) .

$J(\lambda, a, b) := \int_{-\infty}^{+\infty} y^{2a-1}\left(1+\frac{1}{\lambda}y^2\right)^{-\frac{p+1+b}{2}} \textrm{d}y = 2 I(\lambda, a, b) = \lambda^a B\left(a, \frac{b}{2}\right).$

Saya hanya akan merinci perhitungan pertama. Set konstanta normalisasi kerapatan.

K (ν, σ) = \frac{1}{B (\frac{1}{2}, \frac{ν}{2})} \frac{1}{\sqrt{ν σ^{2}}},

$K(\nu, \sigma)=\frac{1}{B\left(\frac12,\frac{\nu}{2}\right)}\frac{1}{\sqrt{\nu \sigma^2}},$

Seseorang telah Sejak , kita menemukan Perhitungan kedua mudah:

\begin{aligned} E [{(\frac{\partial}{\partial μ} catatan f (Y))}^{2}] = K (ν, σ) {(\frac{ν + 1}{ν σ^{2}})}^{2} J (ν σ^{2}, \frac{3}{2}, ν + 2) . \end{aligned}

$\begin{align} \mathbb{E}\left[{\left(\frac{\partial}{\partial\mu} \log f(Y)\right)}^2 \right] = K(\nu, \sigma){\left(\frac{\nu+1}{\nu\sigma^2}\right)}^2 J\left(\nu\sigma^2, \frac{3}{2}, \nu+2\right). \end{align}$

\frac{B (\frac{1}{2}, \frac{ν}{2})}{B (\frac{3}{2}, \frac{ν + 2}{2})} = \frac{B (\frac{1}{2}, \frac{ν}{2})}{B (\frac{3}{2}, \frac{ν}{2})} \frac{B (\frac{3}{2}, \frac{ν}{2})}{B (\frac{3}{2}, \frac{ν + 2}{2})} = \frac{(ν + 1)}{1} \frac{(ν + 3)}{ν}

$\frac{B\left(\frac12,\frac{\nu}{2}\right)}{B\left(\frac{3}{2},\frac{\nu+2}{2}\right)} = \frac{B\left(\frac12,\frac{\nu}{2}\right)}{B\left(\frac{3}{2},\frac{\nu}{2}\right)}\frac{B\left(\frac{3}{2},\frac{\nu}{2}\right)}{B\left(\frac{3}{2},\frac{\nu+2}{2}\right)} = \frac{(\nu+1)}{1}\frac{(\nu+3)}{\nu}$

E [{(\frac{\partial}{\partial μ} catatan f (Y))}^{2}] = \frac{ν}{ν + 3} (ν + 1) {(ν σ^{2})}^{- 1 / 2 - 2 + 3 / 2} = \frac{ν + 1}{(ν + 3) σ^{2}} .

$\mathbb{E}\left[{\left(\frac{\partial}{\partial\mu} \log f(Y)\right)}^2 \right] = \frac{\nu}{\nu+3}(\nu+1){(\nu\sigma^2)}^{-1/2-2+3/2} = \frac{\nu+1}{(\nu+3)\sigma^2}.$

E [(\frac{\partial}{\partial μ} catatan f (Y)) (\frac{\partial}{\partial σ} catatan f (Y))] = 0

$\mathbb{E}\left[ \left(\frac{\partial}{\partial\mu} \log f(Y)\right)\left(\frac{\partial}{\partial\sigma} \log f(Y)\right)\right] = 0$ karena hanya melibatkan integral fungsi aneh.

Akhirnya perhitungan semakin membosankan dan Saya melewatkannya. Perhitungannya melibatkan integral dengan bilangan bulat , yang nilainya diberikan di atas.

E [{(\frac{\partial}{\partial σ^{2}} catatan f (Y))}^{2}]

$\mathbb{E}\left[{\left(\frac{\partial}{\partial\sigma^2} \log f(Y)\right)}^2 \right]$

J (ν σ^{2}, a, b)

$J(\nu\sigma^2, a, b)$

2 a - 1

$2a-1$

Saya telah melakukan perhitungan dan saya telah menemukan dan ini menyederhanakan menjadi

\frac{{(ν + 1)}^{2}}{4 {(ν σ^{4})}^{2}} K (ν, σ^{2}) J (ν σ^{2}, \frac{5}{2}, ν) - \frac{ν + 1}{2 ν σ^{6}} K (ν, σ^{2}) J (ν σ^{2}, \frac{3}{2}, ν) + \frac{1}{4 σ^{4}}

$\frac{{(\nu+1)}^2}{4{(\nu\sigma^4)}^2} K(\nu, \sigma^2) J\left(\nu\sigma^2, \frac{5}{2},\nu\right) - \frac{\nu+1}{2\nu\sigma^6} K(\nu, \sigma^2) J\left(\nu\sigma^2, \frac{3}{2},\nu\right) + \frac{1}{4\sigma^4}$

\frac{ν}{2 (ν + 3) σ^{4}} .

$\frac{\nu}{2(\nu+3)\sigma^4}.$

Stéphane Laurent
sumber