Untuk model apa bias MLE jatuh lebih cepat dari varians?

$\hat\theta$ $\theta^*$ $n$ $\lVert\hat\theta-\theta^*\rVert$ $O(1/\sqrt n)$ $\lVert \mathbb E\hat\theta - \theta^*\rVert$ $\lVert \mathbb E\hat\theta - \hat\theta\rVert$ $O(1/\sqrt{n})$

Saya tertarik pada model yang memiliki bias yang menyusut lebih cepat dari $O(1/\sqrt n)$ , tetapi di mana kesalahan tidak menyusut pada tingkat yang lebih cepat ini karena penyimpangan masih menyusut sebagai $O(1/\sqrt n)$ . Secara khusus, saya ingin mengetahui kondisi yang cukup untuk bias model menyusut pada tingkat $O(1/n)$ .

variance estimation maximum-likelihood bias Mike Izbicki
sumber

Apakah

‖ \hat{θ} - θ^{*} ‖ = (\hat{θ} - θ^{*})^{2}

$\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$ ? Atau?

Alecos Papadopoulos

Saya secara khusus bertanya tentang norma L2, ya. Tetapi saya juga tertarik pada norma-norma lain jika itu membuat pertanyaan lebih mudah dijawab.

Mike Izbicki

(\hat{θ} - θ^{*})^{2}

$(\hat \theta -\theta^*)^2$ adalah

O_{p} (1 / n)

$O_p(1/n)$ .

Alecos Papadopoulos

Maaf, saya salah membaca komentar Anda. Untuk norma L2 dalam dimensi , , dan konvergensi berada pada tingkat . Saya setuju bahwa jika kita kuadratkan maka itu akan menyatu sebagai .

d

$d$

‖ a - b ‖ = \sqrt{\sum_{i = 1}^{d} (a_{i} - b_{i})^{2}}

$\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$

O (1 / \sqrt{n})

$O(1/\sqrt n)$

O (1 / n)

$O(1/n)$

Mike Izbicki

Pernahkah Anda melihat kertas regresi ridge (Hoerl & Kennard 1970)? Saya percaya ini memberikan kondisi pada desain matriks + penalti di mana ini diharapkan benar.

dcl

Jawaban:

Secara umum, Anda memerlukan model di mana MLE tidak normal asimptotik tetapi menyatu ke beberapa distribusi lain (dan melakukannya pada kecepatan yang lebih cepat). Ini biasanya terjadi ketika parameter yang diestimasi berada pada batas ruang parameter. Secara intuitif, ini berarti bahwa MLE akan mendekati parameter "hanya dari satu sisi", sehingga "meningkatkan kecepatan konvergensi" karena tidak "terganggu" dengan "bolak-balik" di sekitar parameter.

Contoh standar, adalah MLE untuk dalam sampel iid dari seragam rv. MLE di sini adalah statistik urutan maksimum, $\theta$ $U(0,\theta)$

{\hat{θ}}_{n} = u_{(n)}

$\hat \theta_n = u_{(n)}$

Distribusi sampelnya terbatas

F_{{\hat{θ}}_{n}} = \frac{({\hat{θ}}_{n})^{n}}{θ^{n}}, f_{\hat{θ}} = n \frac{({\hat{θ}}_{n})^{n - 1}}{θ^{n}}

$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$

E ({\hat{θ}}_{n}) = \frac{n}{n + 1} θ ⟹ B (\hat{θ}) = - \frac{1}{n + 1} θ

$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$

Jadi . Tetapi tingkat kenaikan yang sama akan berlaku juga untuk varians. $B(\hat \theta_n) = O(1/n)$

Kita juga dapat memverifikasi bahwa untuk mendapatkan distribusi terbatas, kita perlu melihat variabel , (yaitu kita perlu menskala dengan ) karena $n(\theta - \hat \theta_n)$ $n$

P [n (θ - {\hat{θ}}_{n}) \leq z] = 1 - P [{\hat{θ}}_{n} \leq θ - (z / n)]

$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$

= 1 - \frac{1}{θ^{n}} \cdot {(θ + \frac{- z}{n})}^{n} = 1 - \frac{θ^{n}}{θ^{n}} \cdot {(1 + \frac{- z / θ}{n})}^{n}

$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$

\to 1 - e^{- z / θ}

$\to 1- e^{-z/\theta}$

yang merupakan CDF dari distribusi Eksponensial.

Saya harap ini memberikan arahan.

Alecos Papadopoulos
sumber

Ini semakin dekat, tapi saya secara khusus tertarik pada situasi di mana bias menyusut lebih cepat daripada varians.

Mike Izbicki

@MikeIzbicki Hmm ... konvergensi bias tergantung pada momen pertama dari distribusi, dan varians (akar kuadrat dari) varians juga besarnya "urutan pertama". Saya tidak yakin kemudian bahwa ini mungkin terjadi, karena tampaknya itu akan menyiratkan bahwa saat-saat distribusi terbatas "muncul" pada tingkat konvergensi yang tidak kompatibel satu sama lain ... Saya akan memikirkannya.

Alecos Papadopoulos

Mengikuti komentar dalam jawaban saya yang lain (dan melihat kembali judul pertanyaan OP!), Berikut ini adalah eksplorasi teoretis yang tidak terlalu ketat tentang masalah ini.

Kami ingin menentukan apakah Bias mungkin memiliki tingkat konvergensi yang berbeda dari akar kuadrat dari Variance, $B(\hat \theta_n) = E(\hat \theta_n) - \theta$

B ({\hat{θ}}_{n}) = O (1 / n^{δ}), \sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}), γ \neq δ ? ? ?

$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$

Kita punya

B ({\hat{θ}}_{n}) = O (1 / n^{δ}) ⟹ lim n^{δ} E ({\hat{θ}}_{n}) < K ⟹ lim n^{2 δ} [E ({\hat{θ}}_{n})]^{2} < K^{'}

$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$

\begin{matrix} (1) & ⟹ [E ({\hat{θ}}_{n})]^{2} = O (1 / n^{2 δ}) \end{matrix}

$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$

sementara

\sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}) ⟹ lim n^{γ} \sqrt{E ({\hat{θ}}_{n}^{2}) - [E ({\hat{θ}}_{n})]^{2}} < M

$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim \sqrt{n^{2 γ} E ({\hat{θ}}_{n}^{2}) - n^{2 γ} [E ({\hat{θ}}_{n})]^{2}} < M

$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$

\begin{matrix} (2) & ⟹ lim n^{2 γ} E ({\hat{θ}}_{n}^{2}) - lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} < M^{'} \end{matrix}

$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$

Kami melihat bahwa mungkin terjadi jika $(2)$

A) kedua komponennya adalah , dalam hal ini kita hanya dapat memiliki . $O(1/n^{2\gamma})$ $\gamma = \delta$

B) Tetapi mungkin juga berlaku jika

\begin{matrix} (3) & lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} \to 0 ⟹ [E ({\hat{θ}}_{n})]^{2} = o (1 / n^{2 γ}) \end{matrix}

$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$

Agar kompatibel dengan , kita harus memilikinya $(3)$ $(1)$

\begin{matrix} (4) & n^{2 γ} < n^{2 δ} ⟹ δ > γ \end{matrix}

$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$

Jadi tampaknya pada prinsipnya dimungkinkan untuk memiliki Bias yang konvergen pada laju yang lebih cepat daripada akar kuadrat varians. Tetapi kita tidak bisa memiliki akar kuadrat dari varians yang konvergen pada laju yang lebih cepat daripada Bias.

Alecos Papadopoulos
sumber

Bagaimana Anda mendamaikan ini dengan keberadaan estimator yang tidak bias seperti kuadrat biasa? Dalam hal ini, , tetapi .

B (\hat{θ}) = 0

$B(\hat\theta)=0$

\sqrt{V a r (\hat{θ})} = O (1 / \sqrt{n})

$\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$

Mike Izbicki

@MikeIzbicki Apakah konsep konvergensi / big-O berlaku dalam kasus ini? Karena di sini bukan " -apa pun" untuk memulai.

B (\hat{θ})

$B(\hat \theta)$

O ()

$O()$

Alecos Papadopoulos

Dalam hal ini, , jadi .

E \hat{θ} = θ^{*}

$\mathbb E\hat\theta=\theta^*$

B (\hat{θ}) = ‖ E \hat{θ} - θ^{*} ‖ = 0 = O (1) = O (1 / n^{0})

$B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$

Mike Izbicki

@MikeIzbicki Tetapi juga atau atau yang lain yang ingin Anda tuliskan. Jadi yang mana tingkat konvergensi di sini?

B (\hat{θ}) = O (n)

$B(\hat \theta) = O(n)$

B (\hat{θ}) = O (1 / \sqrt{n})

$B(\hat \theta) =O(1/\sqrt{n})$

Alecos Papadopoulos

@MikeIzbicki Saya telah mengoreksi jawaban saya untuk menunjukkan bahwa mungkin pada prinsipnya untuk memiliki Bias lebih cepat, walaupun saya masih berpikir contoh "nol-bias" bermasalah.

Alecos Papadopoulos