Teorema batas pusat versus hukum dalam jumlah besar

14

Teorema batas pusat menyatakan bahwa rata-rata variabel iid, ketika menuju tak terhingga, menjadi terdistribusi secara normal.N

Ini menimbulkan dua pertanyaan:

  1. Bisakah kita menyimpulkan dari hukum jumlah besar ini? Jika hukum bilangan besar mengatakan bahwa rata-rata sampel dari nilai variabel acak sama dengan rata-rata sebenarnya ketika menuju tak terhingga, maka tampaknya lebih kuat untuk mengatakan bahwa (seperti yang dikatakan batas pusat) bahwa nilainya menjadi mana adalah standar deviasi. Apakah adil untuk mengatakan bahwa batas pusat menyiratkan hukum jumlah besar?μNN(μ,σ)σ
  2. Apakah teorema limit pusat berlaku untuk kombinasi linear variabel?
user9097
sumber
5
Penegasan Anda bahwa "teorema limit pusat menyatakan bahwa rata-rata variabel iid, ketika N menuju tak terhingga, menjadi terdistribusi secara normal" adalah salah. Lihat jawaban saya untuk pertanyaan terakhir ini yang menimbulkan masalah serupa. Jawaban lain untuk pertanyaan itu telah diposting tetapi segera dihapus setelahnya, dan diskusi setelah jawaban itu, sekarang juga hilang, membahas masalah ini juga.
Dilip Sarwate
1
Mengapa mean sampel konvergen ke populasi berarti μ hasil yang lebih lemah daripada mean sampel konvergen ke sampel dari distribusi N(μ,σ) ?
Dilip Sarwate
@DilipSarwate Terima kasih atas benderanya, tetapi komentar Anda cukup IMO mengungkapkan kesalahpahaman dalam pertanyaan dan jawaban yang masuk akal memang muncul.

Jawaban:

10

OP mengatakan

Teorema batas pusat menyatakan bahwa rata-rata variabel iid, ketika N menuju tak terhingga, menjadi terdistribusi secara normal.

Saya akan menganggap ini sebagai keyakinan OP bahwa untuk variabel acak iid Xi dengan mean μ dan deviasi standar σ , fungsi distribusi kumulatif FZn(a) dari bertemu dengan fungsi distribusi kumulatifN(μ,σ), variabel acak normal dengan rata-rataμdan simpangan bakuσ. Atau, OP percaya bahwa pengaturan ulang kecil formula ini, misalnya distribusiZn-μmenyatu dengan distribusiN(0,σ), atau distribusi(Zn-μ)/σ

Zn=1ni=1nXi
N(μ,σ)μσZnμN(0,σ)(Znμ)/σkonvergen ke distribusi , variabel acak normal standar. Perhatikan sebagai contoh bahwa pernyataan ini menyiratkan bahwa P { | Z n - μ | > σ } = 1 - F Z n ( μ + σ ) + F Z n ( ( μ + σ ) - ) 1 - Φ ( 1 ) + Φ (N(0,1) sebagai n .
P{|Znμ|>σ}=1FZn(μ+σ)+FZn((μ+σ))1Φ(1)+Φ(1)0.32
n

OP melanjutkan dengan mengatakan

Ini menimbulkan dua pertanyaan:

  1. Bisakah kita menyimpulkan dari hukum jumlah besar ini? Jika hukum bilangan besar mengatakan bahwa rerata sampel nilai variabel acak sama dengan rerata sebenarnya μ ketika N menuju tak terhingga, maka tampaknya lebih kuat untuk mengatakan bahwa (seperti yang dikatakan batas pusat) bahwa nilainya menjadi N ( μ, σ) dengan σ adalah standar deviasi.

Hukum lemah dalam jumlah besar mengatakan bahwa untuk variabel acak iid dengan rerata terbatas μ , diberikan ϵ > 0 , P { | Z n - μ | > ϵ } 0 sebagai n . Perhatikan bahwa tidak perlu mengasumsikan bahwa standar deviasi terbatas.Xiμϵ>0

P{|Znμ|>ϵ}0  as n.

Jadi, untuk menjawab pertanyaan OP,

  • Teorema batas pusat sebagaimana dinyatakan oleh OP tidak menyiratkan hukum lemah jumlah besar. Sebagai , versi OP dari teorema limit pusat mengatakan bahwa P { | Z n - μ | > σ } 0,317 sedangkan hukum yang lemah mengatakan bahwa P { | Z n - μ | > σ } 0nP{|Znμ|>σ}0.317P{|Znμ|>σ}0

  • Dari pernyataan yang benar dari teorema limit pusat, kita dapat menyimpulkan hanya bentuk terbatas dari hukum lemah sejumlah besar yang berlaku untuk variabel acak dengan mean terbatas dan standar deviasi. Tetapi hukum lemah jumlah besar juga berlaku untuk variabel acak seperti variabel acak Pareto dengan sarana terbatas tetapi deviasi standar tak terbatas.

  • Saya tidak mengerti mengapa mengatakan bahwa mean sampel konvergen ke variabel acak normal dengan standar deviasi bukan nol adalah pernyataan yang lebih kuat daripada mengatakan bahwa mean sampel konvergen ke mean populasi, yang merupakan konstanta (atau variabel acak dengan nol standar deviasi jika kamu suka).

Dilip Sarwate
sumber
Saya bertanya-tanya apa yang ditemukan oleh orang yang menurunkan jawaban saya dengan tidak benar atau salah dalam apa yang saya katakan.
Dilip Sarwate
7

X¯nnX¯nX¯n+1katakan Jadi tidak, konvergensi dalam distribusi tidak menyiratkan hukum angka besar, kecuali jika Anda memiliki ruang probabilitas umum untuk semua variabel.

Tugas
sumber
(+1) Apa yang Anda katakan itu benar, dan poin yang sangat penting. Array segitiga memungkinkan variabel di setiap "baris" untuk hidup pada ruang probabilitas yang berbeda dari baris sebelumnya. Di sisi lain, jika kita mengatakan apriori bahwa kita sedang mempertimbangkan urutan variabel acak iid, maka, secara implisit mereka harus ada pada ruang bersama yang mendasari agar gagasan kemerdekaan masuk akal.
kardinal
@ cardinal: jadi jika saya mengerti dengan benar, dalam kasus "sederhana" di mana semua didefinisikan dalam ruang yang sama, itu adalah kasus bahwa sentralitas menyiratkan hukum angka besar? atau tidak?
user9097
@ user9097 Karena kita sekarang masuk ke alam rincian halus, yang hukum bilangan besar sedang ditanya tentang? Hukum yang lemah atau hukum yang kuat?
Dilip Sarwate
Poin itu hanya berlaku untuk hukum kuat dalam jumlah besar , bukan untuk hukum yang lemah
kjetil b halvorsen
4

n(X¯nEX)N(0,Var(X))X¯nX

XY

n(1nj=1n(aXj+Yj)E(aX+Y))N(0,Var(aX+Y))
na(X¯nEX)+n(Y¯nEY)N(0,a2Var(X)+Var(Y)).

In other words, a linear combination of random variables wont converge to a linear combination of normals under the CLT, just one normal. This makes sense because a linear combination of random variables is just a different random variable that CLT can be applied to directly.

Daniel Johnson
sumber
1
This is a good start to an answer. Here are some comments: A linear combination of (joint) normals is normal, soo, I'm not sure what your comment in that regard was intended to mean. At any rate, I suspect the OP was not thinking about linear combinations of the form you consider. Observing that X¯n=i=1nwniXi where wni=1/n for each i=1,,n, a natural question one might ask is what happens when we replace these "uniform" weights with some other (more arbitrary) ones. When do we still get a CLT? Lindeberg's CLT can be used to get at this question.
cardinal
I think with strict conditions my result will still say something about j=1nwnjXj. Lets first define these conditions and then consider how to weaken them. Lets take wnj=wj/n and wj to be a single, infinite sequence of non-negative reals. If the number of distinct wj is finite and each appears infinitely often in the sequence, my result should hold as each wjX defines a random variable and this fits into the 'linear combination' framework I gave above. Then a good question would be if we could allow the number of distinct w scale with n.
Daniel Johnson
1
This is a good comment, and a nice idea, however I believe it would need some modification to work. Assume wlog that EX=0. Construct your wj as follows. Let w1=1, w2=0. Now, define wj inductively as follows: Set wj=0 until i=1jwi/j1/4. Then append ones until i=1jwi/j1/2. Append zeros again, then ones. Repeat ad infinitum. Now, 0 and 1 both occur an infinite number of times, but the variance of the rescaled mean oscillates between 1/2 and 1/4 (roughly). So, your stated sequence cannot converge in distribution.
cardinal
(Note: There is nothing special about the choice of 0 and 1, here. Also, strictly speaking the procedure you describe in the comment does not really fit within the linear-combination framework of your answer.)
cardinal