Peran varians dalam Central Limit Theorem

Saya telah membaca di suatu tempat bahwa alasan kita menyejajarkan perbedaan daripada mengambil nilai absolut ketika menghitung varians adalah bahwa varians didefinisikan dengan cara biasa, dengan kuadrat dalam nominator, memainkan peran unik dalam Central Limit Theorem.

Nah, lalu apa sebenarnya peran varian dalam CLT? Saya tidak dapat menemukan lebih banyak tentang ini, atau memahaminya dengan benar.

Kita juga bisa bertanya apa yang membuat kita berpikir bahwa varians adalah ukuran seberapa jauh sebaran angka tersebar. Saya bisa menentukan jumlah lain, mirip dengan varian, dan meyakinkan Anda bahwa mereka mengukur penyebaran angka. Agar hal ini terjadi, Anda harus menyatakan apa sebenarnya yang dimaksud dengan penyebaran angka, perilaku apa yang Anda harapkan dari ukuran penyebaran, dll. Tidak ada definisi formal penyebaran, sehingga kami dapat memperlakukan varian sebagai definisi. Namun, untuk beberapa alasan varians dianggap sebagai ukuran terbaik dari penyebaran.

The pernyataan klasik dari Central Teorema Limit (CLT) menganggap urutan independen, variabel acak terdistribusi secara identik dengan distribusi umum . Urutan ini memodelkan situasi yang kita hadapi ketika merancang program sampling atau percobaan: jika kita dapat memperoleh pengamatan independen terhadap fenomena mendasar yang sama, maka koleksi hingga memodelkan data yang diantisipasi. Mengizinkan urutan menjadi tak terbatas adalah cara yang mudah untuk merenungkan ukuran sampel yang besar dan sewenang-wenang.$X_1, X_2, \ldots, X_n, \ldots$$F$$n$$X_1, X_2, \ldots, X_n$

Berbagai undang-undang dalam jumlah besar menegaskan hal itu

akan mendekati harapan , , dengan probabilitas tinggi, asalkan benar-benar memiliki harapan. (Tidak semua distribusi melakukan.) Ini menyiratkan penyimpangan (yang, sebagai fungsi dari variabel acak ini, juga merupakan variabel acak) akan cenderung mendapatkan lebih kecil dengan meningkatnya . CLT menambahkan ini dengan cara yang jauh lebih spesifik: ia menyatakan (dalam beberapa kondisi, yang akan saya bahas di bawah) bahwa jika kita penyimpangan ini dengan , ia akan memiliki fungsi distribusi yang mendekati beberapa nol- berarti fungsi distribusi normal sebagai$F$$\mu(F)$$F$$m(X_1, X_2, \ldots, X_n) - \mu(F)$$n$$n$$\sqrt{n}$$F_n$$n$tumbuh besar. (Jawaban saya di https://stats.stackexchange.com/a/3904 berupaya menjelaskan mengapa ini dan mengapa faktor adalah yang tepat untuk digunakan.)$\sqrt{n}$

Ini bukan pernyataan standar CLT. Mari kita hubungkan dengan yang biasa. Distribusi Normal nol-rata yang membatasi akan sepenuhnya ditentukan oleh parameter kedua, yang biasanya dipilih sebagai ukuran penyebarannya (secara alami!), Seperti varians atau standar deviasi. Biarkan menjadi variansnya. Tentunya itu harus memiliki beberapa hubungan dengan properti yang sama dari . Untuk menemukan apa ini, biarkan memiliki varian - yang mungkin tak terbatas, omong-omong. Apapun, karena independen, kami dengan mudah menghitung varians cara:$\sigma^2$$F$$F$$\tau^2$$X_i$

Akibatnya, varians dari residu terstandarisasi sama dengan : konstan. Varian dari distribusi Normal yang membatasi, kemudian, harus itu sendiri. (Ini segera menunjukkan bahwa teorema hanya dapat bertahan ketika adalah terbatas: itu adalah asumsi tambahan yang saya singgung sebelumnya.)$\tau^2/n \times (\sqrt{n})^2 = \tau^2$$\tau^2$$\tau^2$

(Jika kita telah memilih ukuran penyebaran kita masih bisa berhasil menghubungkannya ke , tetapi kita tidak akan menemukan bahwa ukuran penyebaran deviasi rata-rata terstandarisasi adalah konstan untuk semua , yaitu yang indah - meskipun tidak penting - penyederhanaan.)$F$$\sigma^2$$n$

Jika kita mau, kita bisa menstandarkan deviasi rata-rata selama ini dengan membaginya dengan serta mengalikannya dengan . Itu akan memastikan distribusi pembatas adalah standar Normal, dengan varian unit. Apakah Anda memilih untuk membakukan oleh cara ini atau tidak benar-benar masalah selera: itu teorema yang sama dan kesimpulan yang sama pada akhirnya. Yang penting adalah perkalian dengan .$\tau$$\sqrt{n}$$\tau$$\sqrt{n}$

Perhatikan bahwa Anda dapat mengalikan penyimpangan dengan beberapa faktor selain . Anda dapat menggunakan , atau , atau apa pun yang berperilaku asimtotik seperti . Setiap bentuk asimptotik lainnya akan, dalam batasnya, mengurangi menjadi atau meledakkannya hingga . Pengamatan ini menyempurnakan apresiasi kami terhadap CLT dengan menunjukkan sejauh mana fleksibel mengenai bagaimana standardisasi dilakukan. Kami mungkin ingin menyatakan CLT, kemudian, dengan cara berikut.$\sqrt{n}$$\sqrt{n} + \exp(-n)$$n^{1/2 + 1/n}$$\sqrt{n}$$\sigma^2$$0$$\infty$

Asalkan penyimpangan antara rata-rata urutan variabel IID (dengan distribusi umum ) dan harapan yang mendasari diskalakan secara asimptot oleh , deviasi berskala ini akan memiliki distribusi pembatas Normal rata-rata nol yang variansinya adalah dari .$F$$\sqrt{n}$$F$

Meskipun varians yang terlibat dalam pernyataan, mereka muncul hanya karena mereka dibutuhkan untuk mengkarakterisasi distribusi normal membatasi dan berhubungan penyebarannya dengan yang . Ini hanya aspek insidentil. Ini tidak ada hubungannya dengan varian menjadi "terbaik" dalam arti apa pun. Inti dari masalah ini adalah penyelamatan asimptotik oleh .$F$$\sqrt{n}$

Varians TIDAK penting untuk Teorema Limit Pusat. Sangat penting untuk iid pemula varietas taman, Central Limit Theorem, yang paling dikenal dan dicintai, digunakan, dan disalahgunakan.

Tidak ada "the" Central Limit Theorem, ada banyak Teorema Limit Central:

Teorema Central Limit pemula dari berbagai taman. Bahkan di sini, pilihan konstanta norming yang bijaksana (sehingga varian lanjutan dari CLT pemula) dapat memungkinkan Teorema Limit Sentral dibuktikan untuk variabel acak tertentu yang memiliki varian tak terbatas (lihat Feller Vol. II http://www.amazon.com/Introduction -Kemampuan-Teori-Aplikasi-Edisi / dp / 0471257095 hal. 260).

Array segitiga Teorema Batas Tengah Lindeberg-Feller. http://sites.stat.psu.edu/~dhunter/asymp/lectures/p93to100.pdf
https://en.wikipedia.org/wiki/Central_limit_theorem .

Dunia liar dari segala sesuatu berjalan di depan mata, bergantung pada Teorema Limit Sentral yang variasinya bahkan tidak perlu ada. Saya pernah membuktikan Teorema Limit Pusat yang tidak hanya varians tidak ada, tetapi juga tidak berarti, dan bahkan tidak ada momen 1 - epsilon untuk epsilon positif kecil sewenang - wenang. Itu adalah bukti berbulu, karena "nyaris" bertemu, dan melakukannya dengan sangat lambat. Asimtotik itu konvergen ke Normal, dalam kenyataannya, ukuran sampel jutaan istilah akan diperlukan agar Normal menjadi perkiraan yang baik.

Apa ukuran penyebaran terbaik tergantung pada situasinya. Varians adalah ukuran penyebaran yang merupakan parameter dari distribusi normal. Jadi jika Anda memodelkan data Anda dengan distribusi nornal, mean (aritmatika) dan varians empiris adalah penaksir terbaik (mereka "cukup") dari parameter distribusi normal itu. Itu juga memberikan tautan ke teorema batas pusat, karena itu adalah tentang batas normal, yaitu batas adalah distribusi normal. Jadi, jika Anda memiliki pengamatan yang cukup bahwa teorema batas pusat relevan, sekali lagi Anda dapat menggunakan distribusi normal, dan varian empiris adalah deskripsi alami dari variabilitas, karena terkait dengan distribusi normal.

Tanpa tautan ke distribusi normal ini, tidak ada artinya di mana varoiance adalah yang terbaik atau bahkan deskriptor variabilitas yang tetap.

Hanya menjawab pertanyaan kedua:

Saya kira varians telah menjadi ukuran pilihan dispersi untuk sebagian besar ahli statistik terutama karena alasan historis dan kemudian karena inersia bagi sebagian besar praktisi non statistik.

Meskipun saya tidak dapat mengutip dengan hati referensi spesifik dengan beberapa definisi penyebaran yang ketat, saya dapat menawarkan heuristik untuk karakterisasi matematisnya: momen sentral (yaitu, ) sangat berguna untuk menimbang penyimpangan dari pusat distribusi dan probabilitas / frekuensinya, tetapi hanya jika adalah bilangan bulat dan genap.$E[(X-\mu)^k]$$k$

Mengapa? Karena dengan cara itu penyimpangan di bawah pusat (negatif) akan menyimpulkan dengan penyimpangan di atas pusat (positif), alih-alih membatalkannya sebagian, seperti rata-rata, misalnya. Seperti yang dapat Anda pikirkan, momen sentral absolut (yaitu, ) juga dapat melakukan pekerjaan itu dan, lebih lagi, untuk setiap (ok, kedua momen sama jika adalah genap).$E(|X-\mu|^k)$$k>0$$k$

Jadi sejumlah besar penyimpangan kecil (baik positif maupun negatif) dengan beberapa penyimpangan besar adalah karakteristik dispersi kecil, yang akan menghasilkan momen pusat yang relatif kecil bahkan. Banyak penyimpangan besar akan menghasilkan momen pusat yang relatif besar.

Ingat ketika saya mengatakan tentang alasan historis di atas? Sebelum kekuatan komputasi menjadi murah dan tersedia, seseorang hanya perlu mengandalkan matematika, keterampilan analitis untuk berurusan dengan pengembangan teori statistik.

Masalah yang melibatkan momen sentral lebih mudah ditangani daripada yang melibatkan momen sentral absolut. Misalnya, masalah pengoptimalan yang melibatkan momen pusat (misalnya, kuadrat terkecil) hanya memerlukan kalkulus, sementara pengoptimalan yang melibatkan momen sentral absolut dengan aneh (untuk Anda mendapatkan masalah simpleks), yang tidak dapat diselesaikan dengan kalkulus saja.$k$$k=1$