Konsistensi asimptotik dengan varian asimptotik yang tidak nol - apa yang diwakilinya?

Masalah ini telah muncul sebelumnya, tetapi saya ingin mengajukan pertanyaan spesifik yang akan berusaha mendapatkan jawaban yang akan mengklarifikasi (dan mengklasifikasikan):

Dalam "Poor Man's Asymptotics", seseorang menyimpan perbedaan yang jelas di antara keduanya

(A) urutan variabel acak yang konvergen dalam probabilitas ke konstan

berbeda dengan

(B) urutan variabel acak yang konvergen dalam probabilitas ke variabel acak (dan karenanya dalam distribusi untuk itu).

Tetapi dalam "Asimtotik Wise Man", kita juga dapat memiliki kasus ini

(C) urutan variabel acak yang konvergen dalam probabilitas ke konstan sambil mempertahankan varian non-nol pada batas.

Pertanyaan saya adalah (mencuri dari jawaban eksplorasi saya sendiri di bawah):

Bagaimana kita dapat memahami estimator yang konsisten asimptotik tetapi juga memiliki varian terbatas yang tidak nol? Apa yang dicerminkan oleh varian ini? Bagaimana perilakunya berbeda dari penaksir konsisten "biasa"?

Utas terkait dengan fenomena yang dijelaskan dalam (c) (lihat juga di komentar):

mathematical-statistics variance convergence asymptotics consistency Alecos Papadopoulos
sumber

Cara Anda menggunakan huruf kapital "Asimtotik Orang Miskin" membuat saya berpikir saya pasti kehilangan pengetahuan tentang suatu referensi (atau mungkin telah melihatnya tetapi melupakannya, yang sama saja dengan hal yang sama); baik buku atau kertas yang sebenarnya, atau bahkan mungkin hanya referensi budaya. Saya tahu "Augmentasi Data Orang Miskin" (Tanner dan Wei), tapi saya tidak berpikir ini terhubung dengan apa yang Anda maksud. Apa yang saya lewatkan?

Glen_b -Reinstate Monica

@Glen_B Anda tidak ketinggalan apa pun - Saya hanya membuat istilah untuk membandingkan tingkat pengetahuan (= akses intelektual ke) Teori Asimtotik yang dimiliki orang-orang seperti saya, menentang, katakanlah, bahwa orang-orang seperti kardinal. Kapitalisasi adalah taktik pemasaran.

Alecos Papadopoulos

Jawaban:

27-10-2014: Sayangnya (bagi saya itu), belum ada yang menyumbangkan jawaban di sini - mungkin karena itu terlihat seperti masalah teoretis "patologis" yang aneh dan tidak lebih?

Baiklah mengutip komentar untuk pengguna Cardinal (yang selanjutnya akan saya jelajahi)

"Ini adalah contoh yang masuk akal, tetapi sederhana. Idenya adalah untuk menggambarkan dengan tepat apa yang bisa salah dan mengapa. Itu memang memiliki aplikasi praktis (penekanan saya). Contoh: Pertimbangkan model iid khas dengan momen kedua yang terbatas. Biarkan mana tidak tergantung dari dan masing masing dengan probabilitas dan nol jika tidak, dengan sewenang-wenang. Kemudian tidak bias, memiliki varians terikat di bawah oleh , dan hampir pasti (ini sangat konsisten). Saya meninggalkan sebagai latihan kasus tentang bias ". $\hat θ_n=\bar X_n+Z_n$ $Z_n$ $\bar X_n$ $Z_n=\pm an$ $1/n^2$ $a>0$ $\hat θ_n$ $a^2$ $\hat θ_n→\mu$

Variabel acak maverick di sini adalah , jadi mari kita lihat apa yang bisa kita katakan tentangnya. Variabel memiliki dukungan dengan probabilitas yang sesuai . Itu simetris di sekitar nol, jadi kami punya $Z_n$
$\{-an,0,an\}$ $\{1/n^2,1-2/n^2,1/n^2\}$

E (Z_{n}) = 0, Var (Z_{n}) = \frac{(- a n)^{2}}{n^{2}} + 0 + \frac{(a n)^{2}}{n^{2}} = 2 a^{2}

$E(Z_n) = 0,\;\; \text{Var}(Z_n) = \frac {(-an)^2}{n^2} + 0 + \frac {(an)^2}{n^2} = 2a^2$

Momen-momen ini tidak bergantung pada jadi saya kira kita boleh menulis sepele $n$

lim_{n \to \infty} E (Z_{n}) = 0, lim_{n \to \infty} Var (Z_{n}) = 2 a^{2}

$\lim_{n\rightarrow \infty} E(Z_n) = 0,\;\;\lim_{n\rightarrow \infty}\text{Var}(Z_n) = 2a^2$

Dalam Asymptotic Poor Man, kita mengetahui suatu kondisi untuk batas momen untuk menyamakan momen distribusi terbatas. Jika momen dari distribusi kasus hingga konvergen ke konstan (seperti halnya kasus kami), maka, jika lagi, $r$

\exists δ > 0 : lim sup E (| Z_{n} |^{r + δ}) < \infty

$\exists \delta >0 :\lim \sup E(|Z_n|^{r+\delta}) < \infty$

batas momen ke- akan menjadi momen ke- dari distribusi terbatas. Dalam kasus kami $r$ $r$

E (| Z_{n} |^{r + δ}) = \frac{| - a n |^{r + δ}}{n^{2}} + 0 + \frac{| a n |^{r + δ}}{n^{2}} = 2 a^{r + δ} \cdot n^{r + δ - 2}

$E(|Z_n|^{r+\delta}) = \frac {|-an|^{r+\delta}}{n^2} + 0 + \frac {|an|^{r+\delta}}{n^2} = 2a^{r+\delta}\cdot n^{r+\delta-2}$

Untuk ini menyimpang untuk , jadi kondisi yang cukup ini tidak berlaku untuk varians (itu berlaku untuk rata-rata). Ambil cara lain: Apa distribusi asimtotik ? Apakah CDF dari konvergen ke CDF non-degenerasi pada batasnya? $r\geq2$ $\delta >0$
$Z_n$ $Z_n$

Tampaknya tidak seperti itu: dukungan yang membatasi akan menjadi (jika kita diizinkan untuk menulis ini), dan probabilitas yang sesuai . Sepertinya konstan bagi saya. Tetapi jika kita tidak memiliki distribusi terbatas pada awalnya, bagaimana kita dapat berbicara tentang momennya? $\{-\infty, 0, \infty\}$ $\{0,1,0\}$

Kemudian, kembali ke estimator , karena juga konvergen ke konstanta, tampak bahwa $\hat \theta_n$ $\bar X_n$

$\hat \theta_n$ tidak memiliki distribusi pembatas (non-trivial), tetapi ia memiliki varian pada batasnya. Atau, mungkin varians ini tidak terbatas? Tetapi varian yang tak terbatas dengan distribusi konstan?

Bagaimana kita bisa mengerti ini? Apa yang diceritakan pada kami tentang estimator? Apa perbedaan mendasar, pada batas, antara dan ? $\hat \theta_n = \bar X_n + Z_n$ $\tilde \theta_n = \bar X_n$

Alecos Papadopoulos
sumber

Permintaan referensi bodoh: apakah Anda memiliki sumber (baik) untuk: "jika momen r-th konvergen ke konstanta, maka semua momen dengan indeks lebih rendah dari r konvergen ke momen distribusi pembatas?". Saya tahu itu benar, tetapi saya tidak pernah menemukan sumber yang bagus

Guillaume Dehaene

Kedua, teorema yang Anda coba gunakan tidak dapat diterapkan dalam kasus ini: untuk r = 2 (yang merupakan kasus yang ingin Anda gunakan: Anda ingin membuktikan bahwa varians menyatu), a untuk benar-benar positif , berbeda!

δ

$\delta$

E (| Z_{n} |^{r + δ}

$E(|Z_n|^{r+\delta}$

Guillaume Dehaene

Mungkin akan lebih baik untuk melakukan ping entah bagaimana kardinal (dalam obrolan?) Sehingga ia bergabung dengan diskusi ini.

Amuba mengatakan Reinstate Monica

@amoeba Cardinal adalah penaksir yang menyatu dengan jawaban yang sebenarnya di sini, tapi saya ingat mencoba melibatkannya di masa lalu tanpa hasil.

Alecos Papadopoulos

@GuillaumeDehaene Referensi adalah AW Van der Vaart (1998) "Statistik Asimptotik", ch. 2.5 "Konvergensi Momen". Ini diberikan sebagai contoh 2.21 dari Teorema 2.20. Dan Anda benar: Saya mendapat kesan bahwa sudah cukup untuk memiliki keterbatasan hingga - tetapi limsuplah yang harus terbatas. Saya memperbaiki posting saya.

n

$n$

Alecos Papadopoulos

Saya tidak akan memberikan jawaban yang sangat memuaskan untuk pertanyaan Anda karena menurut saya agak terlalu terbuka, tetapi izinkan saya mencoba menjelaskan mengapa pertanyaan ini sulit.

Saya pikir Anda sedang berjuang dengan fakta bahwa topologi konvensional yang kami gunakan pada distribusi probabilitas dan variabel acak buruk. Saya telah menulis bagian yang lebih besar tentang ini di blog saya, tetapi izinkan saya mencoba untuk meringkas: Anda dapat menyatu dalam arti yang lemah (dan variasi total) sambil melanggar asumsi umum tentang apa arti konvergensi.

Misalnya, Anda dapat konvergen dalam topologi yang lemah menuju konstanta sambil memiliki varians = 1 (yang persis seperti apa yang urutan Anda ). Kemudian ada distribusi batas (dalam topologi yang lemah) yaitu variabel acak monstruous ini yang sebagian besar waktu sama dengan 0 tetapi sangat jarang sama dengan tak terhingga. $Z_n$

Saya pribadi menganggap ini berarti bahwa topologi yang lemah (dan topologi variasi total juga) adalah gagasan buruk tentang konvergensi yang harus dibuang. Sebagian besar konvergensi yang kita gunakan sebenarnya lebih kuat dari itu. Namun, saya tidak benar-benar tahu apa yang harus kami gunakan alih-alih topologi yang lemah ...

Jika Anda benar-benar ingin menemukan perbedaan penting antara dan , inilah pendapat saya: kedua penduga sama dengan [0,1] -loss (ketika ukuran kesalahan Anda tidak masalah). Namun, jauh lebih baik jika ukuran kesalahan Anda penting, karena kadang-kadang gagal serempak. $\hat \theta= \bar X+Z_n$ $\tilde \theta=\bar X$ $\tilde \theta$ $\hat \theta$

Guillaume Dehaene
sumber

Estimator konsisten dalam probabilitas tetapi tidak dalam MSE jika ada probabilitas sewenang-wenang kecil dari estimator "meledak". Meskipun rasa ingin tahu matematika yang menarik, untuk tujuan praktis apa pun ini seharusnya tidak mengganggu Anda. Untuk tujuan praktis apa pun, penaksir memiliki dukungan terbatas dan karenanya tidak dapat meledak (dunia nyata tidak sangat kecil, juga tidak besar).

Jika Anda masih ingin meminta perkiraan terus menerus dari "dunia nyata", dan perkiraan Anda sedemikian rupa sehingga konvergen dalam probabilitas dan bukan dalam MSE, maka anggaplah demikian: Estimator Anda bisa benar dengan probabilitas besar yang sewenang-wenang, tetapi akan selalu ada peluang kecil sembarangan untuk meledak. Untungnya, ketika itu terjadi, Anda akan melihat, sehingga jika tidak, Anda bisa mempercayainya. :-)

JohnRos
sumber

Adalah kesan saya bahwa memang menyatu dalam mean square, karena

\hat{θ} = \bar{X} + Z_{n}

$\hat \theta = \bar X + Z_n$

lim E ({\hat{θ}}^{2}) = 2 a^{2}

$\lim E(\hat \theta^2) = 2a^2$

Alecos Papadopoulos

Pertanyaannya secara khusus berkaitan dengan interpretasi penduga yang konvergen dalam probabilitas dan bukan dalam MSE (karena varian yang tidak hilang).

JohnRos

Anda benar, saya hanya bingung tanda plus dengan yang minus.

Alecos Papadopoulos