Contoh tandingan untuk kondisi yang cukup yang diperlukan untuk konsistensi

Kita tahu bahwa jika estimator adalah estimator yang tidak bias dari theta dan jika variansenya cenderung 0 karena n cenderung tak terhingga maka itu adalah estimator yang konsisten untuk theta. Tetapi ini adalah kondisi yang cukup dan tidak perlu. Saya mencari contoh estimator yang konsisten tetapi variansnya cenderung 0 karena n cenderung tak hingga. Ada saran?

Senang melihat jawaban saya (salah) menghasilkan dua lagi, dan mengubah pertanyaan mati menjadi utas T&J yang ramai. Jadi sudah saatnya mencoba menawarkan sesuatu yang berharga, kurasa) .

Pertimbangkan proses stokastik kovarians-stasioner berkorelasi seri $\{y_t\},\;\; t=1,...,n$, dengan rata-rata $\mu$ dan autokovarian $\{\gamma_j\},\;\; \gamma_j\equiv \operatorname{Cov}(y_t,y_{t-j})$. Asumsikan bahwa$\lim_{j\rightarrow \infty}\gamma_j= 0$(Ini membatasi "kekuatan" autokorelasi ketika dua realisasi proses semakin jauh dalam waktu). Lalu kita memilikinya

$$\bar y_n = \frac 1n\sum_{t=1}^ny_t\rightarrow_{m.s} \mu,\;\; \text{as}\; n\rightarrow \infty$$

yaitu rata-rata sampel konvergen dalam kuadrat berarti dengan rata-rata sebenarnya dari proses, dan karena itu juga konvergen dalam probabilitas: sehingga itu adalah penaksir yang konsisten dari .$\mu$

dari dapat ditemukan$\bar y_n$

$$\operatorname{Var}(\bar y_n) = \frac 1n \gamma_0+\frac 2n \sum_{j=1}^{n-1}\left(1-\frac {j}{n}\right)\gamma_j$$

yang mudah ditunjukkan ke nol saat pergi ke tak terhingga.$n$

Sekarang, dengan memanfaatkan komentar Cardinal, mari kita acakkan penaksir kita lebih jauh dari rata-rata, dengan mempertimbangkan penaksir

$$\tilde \mu_n = \bar y_n + z_n$$

di mana adalah proses stokastik variabel acak independen yang juga independen dari , mengambil nilai (parameter akan ditentukan oleh kami) dengan probabilitas , nilai dengan probabilitas , dan nol sebaliknya. Jadi memiliki nilai dan varian yang diharapkan$\{z_t\}$$y_i$$at$$a>0$$1/t^2$$-at$$1/t^2$$\{z_t\}$

$$E(z_t) = at\frac 1{t^2} -at\frac 1{t^2} + 0\cdot \left (1-\frac 2{t^2}\right)= 0,\;\;\operatorname{Var}(z_t) = 2a^2$$

Nilai yang diharapkan dan varians dari estimator karenanya

$$E(\tilde \mu) = \mu,\;\;\operatorname{Var}(\tilde \mu) = \operatorname{Var}(\bar y_n) + 2a^2$$

Pertimbangkan distribusi probabilitas, :mengambil nilai dengan probabilitas dan nilai dengan probabilitas . Begitu$|z_n|$$P\left(|z_n| \le \epsilon\right),\;\epsilon>0$$|z_n|$$0$$(1-2/n^2)$$an$$2/n^2$

$$P\left(|z_n| <\epsilon\right) \ge 1-2/n^2 = \lim_{n\rightarrow \infty}P\left(|z_n| < \epsilon\right) \ge 1 = 1$$

yang berarti bahwa konvergen dalam probabilitas ke (sementara tetap terbatas). Karena itu$z_n$$0$

$$\operatorname{plim}\tilde \mu_n = \operatorname{plim}\bar y_n+\operatorname{plim} z_n = \mu$$

jadi penduga acak ini dari nilai rata-rata dari proses stokastik tetap konsisten. Tetapi variansnya tidak pergi ke nol karena menuju ke infinity, juga tidak pergi ke infinity. $y$$n$

Sebagai penutup, mengapa semua elaborasi yang tampaknya tidak berguna dengan proses stokastik autokorelasi? Karena Cardinal memenuhi contohnya dengan menyebutnya "absurd", seperti "hanya untuk menunjukkan secara matematis, kita dapat memiliki penduga yang konsisten dengan varian yang tidak nol dan terbatas".
Saya ingin memberi isyarat bahwa itu tidak selalu merupakan keingintahuan, setidaknya dalam semangat: Ada saat-saat dalam kehidupan nyata ketika proses baru dimulai, proses buatan manusia, yang berkaitan dengan bagaimana kita mengatur kehidupan dan aktivitas kita. Meskipun kami biasanya telah merancang mereka, dan dapat mengatakan banyak tentang mereka, masih, mereka mungkin sangat kompleks sehingga mereka diperlakukan secara wajar sebagai stokastik (ilusi kontrol penuh atas proses tersebut, atau melengkapi pengetahuan apriori pada evolusi mereka, proses yang mungkin mewakili cara-cara baru untuk berdagang atau memproduksi, atau mengatur struktur hak-dan-kewajiban di antara manusia, hanya itu, ilusi). Menjadi juga baru, kami tidak memiliki akumulasi realisasi yang cukup untuk melakukan inferensi statistik yang andal tentang bagaimana mereka akan berkembang. Kemudian, koreksi ad hoc dan mungkin "suboptimal" tetap merupakan fenomena yang sebenarnya, ketika misalnya kita memiliki proses di mana kami sangat percaya bahwa saat ini tergantung pada masa lalu (maka proses stokastik berkorelasi otomatis), tetapi kami benar-benar tidak tahu bagaimana belum (karena itu pengacakan ad hoc, sementara kami menunggu data menumpuk untuk memperkirakan kovarian). Dan mungkin seorang ahli statistik akan menemukan cara yang lebih baik untuk menghadapi ketidakpastian yang parah semacam itu - tetapi banyak entitas harus berfungsi dalam lingkungan yang tidak pasti tanpa manfaat dari layanan ilmiah semacam itu.

Berikut ini adalah jawaban awal (salah) (lihat terutama komentar Kardinal)

Estimator yang konvergen dalam probabilitas ke variabel acak memang ada: kasus "regresi palsu" muncul di benak, di mana jika kita mencoba untuk mundur dua jalan acak independen (yaitu proses stokastik non-stasioner) pada satu sama lain dengan menggunakan estimasi kuadrat terkecil biasa. , penaksir OLS akan konvergen ke variabel acak.

Tetapi estimator yang konsisten dengan varian non-nol tidak ada, karena konsistensi didefinisikan sebagai konvergensi dalam probabilitas estimator ke konstanta , yang, menurut konsepsi, memiliki varian nol.

Ambil sampel apa pun dari distribusi dengan ekspektasi terbatas dan varian tak terbatas ( Pareto with$\alpha\in(1,2]$sebagai contoh). Kemudian mean sampel akan bertemu dengan harapan karena hukum atau jumlah besar (yang hanya membutuhkan keberadaan rata-rata) dan varians akan tak terbatas.

Biarkan saya memberi contoh urutan variabel acak yang konvergen ke nol dalam probabilitas tetapi dengan varian tak terbatas. Pada dasarnya, estimator hanyalah variabel acak sehingga dengan sedikit abstraksi, Anda dapat melihat bahwa konvergensi probabilitas ke konstanta tidak menyiratkan varians mendekati nol.

Pertimbangkan variabel acak $\xi_n(x):=\chi_{[0,1/n]}(x)x^{-1/2}$ di $[0,1]$di mana ukuran probabilitas dipertimbangkan adalah ukuran Lebesgue. Jelas,$P(\xi_n(x)>0)=1/n\to0$ tapi

$$\int\xi_n^2dP=\int_{0}^{1/n}x^{-1}dx=\log(x)\mid _{0}^{1/n}=\infty,$$ untuk semua $n$ jadi variansnya tidak pergi ke nol.

Sekarang, buat saja estimator di mana saat sampel Anda bertambah, Anda memperkirakan nilai sebenarnya $\mu=0$ dengan undian $\xi_n$. Perhatikan bahwa penaksir ini bukan tidak memihak untuk 0, tetapi untuk membuatnya tidak bias, Anda hanya dapat mengatur$\eta_n:=\pm\xi_n$dengan probabilitas yang sama 1/2 dan menggunakannya sebagai estimator Anda. Argumen yang sama untuk konvergensi dan varians jelas berlaku.

Sunting: Jika Anda ingin contoh di mana variansnya terbatas, ambil

$$\xi_n(x):=\chi_{[0,1/n]}(x)\sqrt{n},$$ dan sekali lagi pertimbangkan $\eta_n:=\pm\xi_n$ wp 1/2.