Apakah MLE

Misalkan $(X,Y)$ memiliki pdf

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

Karenanya kepadatan sampel $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$ diambil dari populasi ini

\begin{aligned} g_{θ} (x, y) & = \prod_{i = 1}^{n} f_{θ} (x_{i}, y_{i}) \\ = \exp [- \sum_{i = 1}^{n} (\frac{x_{i}}{θ} + θ y_{i})] 1_{x_{1}, \dots, x_{n}, y_{1}, \dots, y_{n} > 0} \\ = \exp [- \frac{n \bar{x}}{θ} - θ n \bar{y}] 1_{x_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

Estimasi kemungkinan maksimum $\theta$ dapat diturunkan sebagai

\hat{θ} (X, Y) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

Saya ingin tahu apakah distribusi terbatas MLE ini normal atau tidak.

Jelas bahwa statistik yang cukup untuk $\theta$ berdasarkan sampel adalah $(\overline X,\overline Y)$ .

Sekarang saya akan mengatakan bahwa MLE normal asimptotik tanpa keraguan apakah itu adalah anggota dari keluarga eksponensial satu-parameter biasa. Saya tidak berpikir itu yang terjadi, sebagian karena kami memiliki statistik dua dimensi yang cukup untuk parameter satu dimensi (seperti dalam distribusi $N(\theta,\theta^2)$ , misalnya).

Menggunakan fakta bahwa $X$ dan $Y$ sebenarnya variabel eksponensial independen, saya dapat menunjukkan bahwa distribusi yang tepat dari adalah sedemikian rupa sehingga $\hat\theta$

\frac{\hat{θ}}{θ} \overset{d}{=} \sqrt{F}, where F \sim F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

Saya tidak mungkin melanjutkan untuk menemukan distribusi terbatas dari sini.

Sebaliknya saya bisa berdebat dengan WLLN bahwa $\overline X\stackrel{P}\longrightarrow\theta$ dan $\overline Y\stackrel{P}\longrightarrow 1/\theta$ , sehingga $\hat\theta\stackrel{P}\longrightarrow\theta$ .

Ini memberitahu saya bahwa konvergen dalam distribusi ke . Tapi ini tidak datang sebagai kejutan, karena adalah 'baik' estimator . Dan hasil ini tidak cukup kuat untuk menyimpulkan apakah sesuatu seperti $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$ adalah asimtotik normal atau tidak. Saya tidak bisa membuat argumen yang masuk akal menggunakan CLT juga.

Jadi pertanyaannya adalah apakah distribusi induk di sini memenuhi kondisi keteraturan agar distribusi MLE terbatas menjadi normal.

maximum-likelihood convergence exponential asymptotics central-limit-theorem StubbornAtom
sumber

θ

$\theta$

1

$1$

Normalitas asimtotik MLE tidak ada hubungannya dengan keluarga eksponensial. Secara intuitif, untuk menahan normalitas asimptotik, Anda hanya perlu memastikan tidak ada kemungkinan bahwa solusinya akan mendekati batas ruang parameter.

whuber

@whuber Sejauh yang saya tahu, pdf yang merupakan anggota keluarga eksponensial kanonik hampir selalu memiliki MLE yang asimtotik normal (bukan karena keluarga exp). Itulah koneksi yang saya coba tunjukkan.

StubbornAtom

Benar: tetapi koneksi satu arah. Hasil asimptotik untuk MLE jauh lebih umum dan karena itu saya mencoba untuk menyarankan bahwa melihat ke arah umum, daripada berfokus pada sifat-sifat keluarga eksponensial, mungkin penyelidikan yang lebih bermanfaat.

whuber

Bukti menggunakan metode multivarian CLT dan delta juga dimungkinkan seperti yang dilakukan di sini .

StubbornAtom

Jawaban:

Bukti langsung untuk normalitas asimptotik:

Kemungkinan log di sini adalah

L = - \frac{n \bar{x}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

Derivatif pertama dan kedua adalah

\frac{\partial L}{\partial θ} = \frac{n \bar{x}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{x}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

$\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

$\theta_0$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

$\tilde \theta_n$ $\hat \theta_n$ $\theta_0$

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

Tetapi dalam kasus parameter tunggal kami, kebalikannya hanya kebalikannya, jadi, memasukkan juga ekspresi spesifik turunannya,

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{x}} (\frac{n \bar{x}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \sqrt{n} \cdot (\bar{x} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \cdot (n^{- 1 / 2} \sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

Varian dari jumlah tersebut adalah

Var (\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

$S_n$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

$E(x_i-\theta_0^2 y_i) = 0$ $E(S_n)=0$

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{d} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

Karena konsistensi estimator, kami juga punya

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

dan oleh Slutsky's Teorem kita sampai

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{d} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

$\theta_0$

Alecos Papadopoulos
sumber

Maaf atas jawaban yang terlambat. Selama ini saya merenungkan apakah ini adalah keluarga eksponensial melengkung sehingga MLE mungkin berperilaku berbeda.

StubbornAtom

@StubbornAtom Normalitas asimptotik tentu hilang ketika parameter yang diestimasi berada pada batas parameter (hasil yang cukup intuitif jika Anda memikirkannya).

Alecos Papadopoulos