Konvergensi dalam probabilitas vs konvergensi yang hampir pasti

67

Saya tidak pernah benar-benar memahami perbedaan antara dua ukuran konvergensi ini. (Atau, pada kenyataannya, salah satu dari jenis konvergensi yang berbeda, tetapi saya menyebutkan keduanya secara khusus karena Lemah dan Hukum Kuat dari Sejumlah Besar.)

Tentu, saya bisa mengutip definisi masing-masing dan memberikan contoh di mana mereka berbeda, tetapi saya masih belum mengerti.

Apa cara yang baik untuk memahami perbedaannya? Mengapa perbedaan itu penting? Apakah ada contoh yang sangat mengesankan di mana mereka berbeda?

probability random-variable raegtin
sumber

Juga jawaban untuk ini: stats.stackexchange.com/questions/72859/…

kjetil b halvorsen

Kemungkinan rangkap dari Apakah ada aplikasi statistik yang memerlukan konsistensi yang kuat?

kjetil b halvorsen

67

Dari sudut pandang saya perbedaan itu penting, tetapi sebagian besar karena alasan filosofis. Asumsikan Anda memiliki beberapa perangkat, yang membaik seiring waktu. Jadi, setiap kali Anda menggunakan perangkat, probabilitas kegagalannya kurang dari sebelumnya.

Konvergensi dalam probabilitas mengatakan bahwa peluang kegagalan menjadi nol karena jumlah penggunaan mencapai tak terhingga. Jadi, setelah menggunakan perangkat berkali-kali, Anda bisa sangat percaya bahwa perangkat itu bekerja dengan benar, masih mungkin gagal, hanya saja sangat tidak mungkin.

Konvergensi hampir pasti sedikit lebih kuat. Dikatakan bahwa jumlah total kegagalan adalah terbatas . Artinya, jika Anda menghitung jumlah kegagalan saat jumlah penggunaan mencapai tak terhingga, Anda akan mendapatkan angka yang terbatas. Dampak dari hal ini adalah sebagai berikut: Saat Anda menggunakan perangkat lebih dan lebih, Anda akan, setelah beberapa kali penggunaan terbatas, menghabiskan semua kegagalan. Sejak saat itu perangkat akan bekerja dengan sempurna .

Seperti yang ditunjukkan oleh Srikant, Anda sebenarnya tidak tahu kapan Anda telah menghabiskan semua kegagalan, jadi dari sudut pandang yang sepenuhnya praktis, tidak ada banyak perbedaan antara kedua mode konvergensi.

Namun, secara pribadi saya sangat senang bahwa, misalnya, ada hukum yang kuat dalam jumlah besar, tidak seperti hukum yang lemah. Karena sekarang, percobaan ilmiah untuk mendapatkan, katakanlah, kecepatan cahaya, dibenarkan dalam mengambil rata-rata. Setidaknya secara teori, setelah mendapatkan data yang cukup, Anda bisa mendekati kecepatan cahaya yang sebenarnya. Tidak akan ada kegagalan (betapapun mustahil) dalam proses rata-rata.

$\delta > 0$ $n$ $X_1,X_2,\dots,X_n$ $\mu$

S_{n} = \frac{1}{n} \sum_{k = 1}^{n} X_{k} .

$S_n = \frac{1}{n}\sum_{k=1}^n X_k.$

n

$n$

S_{n}

$S_n$

n = 1, 2, \dots

$n = 1,2,\dots$

X_{n}

$X_n$

P (| S_{n} - μ | > δ) \to 0

$P(|S_n - \mu| > \delta) \rightarrow 0$

n

$n$

\infty

$\infty$

| S_{n} - μ |

$|S_n - \mu|$

δ

$\delta$

I (| S_{n} - μ | > δ)

$I(|S_n - \mu| > \delta)$

| S_{n} - μ | > δ

$|S_n - \mu| > \delta$

\sum_{n = 1}^{\infty} I (| S_{n} - μ | > δ)

$\sum_{n=1}^{\infty}I(|S_n - \mu| > \delta)$

S_{n}

$S_n$

n_{0}

$n_0$

| S_{n} - μ | < δ

$|S_n - \mu| < \delta$

n > n_{0}

$n > n_0$

n > n_{0}

$n > n_0$

Robby McKilliam
sumber

1

Terima kasih, saya suka konvergensi titik pandang seri yang tak terbatas!

raegtin

1

Saya pikir Anda berarti dapat dihitung dan tidak terbatas, apakah saya salah? Atau apakah saya bergaul dengan integral.

Royi

Agar lebih akurat, rangkaian peristiwa yang terjadi (atau tidak) adalah dengan ukuran nol -> probabilitas nol terjadi.

Royi

n_{0}

$n_0$

n_{0}

$n_0$

33

Saya tahu pertanyaan ini telah dijawab (dan cukup baik, dalam pandangan saya), tetapi ada pertanyaan berbeda di sini yang memiliki komentar @NRH yang menyebutkan penjelasan grafis, dan daripada meletakkan gambar di sana , tampaknya lebih cocok untuk letakkan di sini.

Jadi begini. Ini tidak sekeren paket R. Tapi itu mandiri dan tidak memerlukan berlangganan JSTOR.

$X_{i}= \pm 1$

\frac{S_{n}}{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}, n = 1, 2, \dots .

$\frac{S_{n}}{n} = \frac{1}{n}\sum_{i = 1}^{n}X_{i},\quad n=1,2,\ldots.$

Hukum Kuat Sejumlah Besar

SLLN (konvergensi hampir pasti) mengatakan bahwa kita dapat 100% yakin bahwa kurva ini membentang ke kanan pada akhirnya akan, pada waktu yang terbatas, jatuh sepenuhnya dalam band selamanya setelah itu (ke kanan).

Kode R yang digunakan untuk menghasilkan grafik ini di bawah ini (label petak dihilangkan untuk singkatnya).

n <- 1000;  m <- 50; e <- 0.05
s <- cumsum(2*(rbinom(n, size=1, prob=0.5) - 0.5))
plot(s/seq.int(n), type = "l", ylim = c(-0.4, 0.4))
abline(h = c(-e,e), lty = 2)

Hukum Lemah dalam Jumlah Besar

$n$

Kode R untuk grafik mengikuti (sekali lagi, melompati label).

x <- matrix(2*(rbinom(n*m, size=1, prob=0.5) - 0.5), ncol = m)
y <- apply(x, 2, function(z) cumsum(z)/seq_along(z))
matplot(y, type = "l", ylim = c(-0.4,0.4))
abline(h = c(-e,e), lty = 2, lwd = 2)

Komunitas
sumber

6

Saya memahaminya sebagai berikut,

Konvergensi dalam probabilitas

Probabilitas bahwa urutan variabel acak sama dengan nilai target menurun secara asimptotik dan mendekati 0 tetapi tidak pernah benar-benar mencapai 0.

Konvergensi Hampir Pasti

Urutan variabel acak akan sama dengan nilai target asimtotik tetapi Anda tidak dapat memprediksi pada titik mana hal itu akan terjadi.

$\equiv$

The wiki memiliki beberapa contoh baik yang harus membantu memperjelas atas (khususnya lihat contoh dari pemanah dalam konteks konvergensi di prob dan contoh amal dalam konteks hampir yakin konvergensi).

Dari sudut pandang praktis, konvergensi dalam probabilitas sudah cukup karena kami tidak terlalu peduli dengan kejadian yang sangat tidak mungkin. Sebagai contoh, konsistensi estimator pada dasarnya adalah konvergensi dalam probabilitas. Jadi, ketika menggunakan estimasi yang konsisten, kami secara implisit mengakui fakta bahwa dalam sampel besar ada kemungkinan yang sangat kecil bahwa estimasi kami jauh dari nilai sebenarnya. Kita hidup dengan 'cacat' konvergensi dalam probabilitas karena kita tahu bahwa secara asimptot probabilitas estimator yang jauh dari kebenaran semakin kecil.

gung - Reinstate Monica
sumber

Editor yang dicoba berpendapat bahwa ini harus membaca, "Probabilitas bahwa urutan variabel acak tidak sama dengan nilai target ...".

gung - Reinstate Monica

"Probabilitas bahwa urutan variabel acak sama dengan nilai target menurun secara asimptot dan mendekati 0 tetapi tidak pernah benar-benar mencapai 0." Bukankah seharusnya MUNGKIN tidak pernah benar-benar mencapai 0?

Jyotish Robin

@ungung Probabilitas bahwa itu sama dengan nilai target mendekati 1 atau probabilitas bahwa itu tidak sama dengan nilai target mendekati 0. Definisi saat ini salah.

Undertherainbow

5

Jika Anda menikmati penjelasan visual, ada artikel 'Pojok Guru' yang bagus tentang masalah ini di American Statistician (kutip di bawah). Sebagai bonus, penulis menyertakan paket R untuk memfasilitasi pembelajaran.

@article{lafaye09,
  title={Understanding Convergence Concepts: A Visual-Minded and Graphical Simulation-Based Approach},
  author={Lafaye de Micheaux, P. and Liquet, B.},
  journal={The American Statistician},
  volume={63},
  number={2},
  pages={173--178},
  year={2009},
  publisher={ASA}
}

Kingsford Jones
sumber

1

Orang terakhir ini menjelaskannya dengan sangat baik. Jika Anda mengambil urutan variabel acak Xn = 1 dengan probabilitas 1 / n dan nol sebaliknya. Mudah untuk melihat batas yang konvergen ke nol dalam probabilitas, tetapi gagal untuk konvergen hampir pasti. Seperti yang dia katakan, probabilitas tidak peduli bahwa kita mungkin mendapatkan satu di jalan. Hampir pasti.

Hampir pasti menyiratkan konvergensi dalam probabilitas, tetapi tidak sebaliknya?

Tim Brown
sumber

5

Selamat datang di situs, @ Tim-Brown, kami menghargai bantuan Anda menjawab pertanyaan di sini. Satu hal yang perlu diperhatikan adalah mengidentifikasi jawaban lain dengan nama pengguna penjawab, "orang terakhir ini" tidak akan sangat efektif. Misalnya, daftar akan dipesan ulang seiring waktu ketika orang-orang memilih. Anda mungkin ingin membaca FAQ kami .

gung - Reinstate Monica

0

Satu hal yang membantu saya memahami perbedaannya adalah kesetaraan berikut

$P({\lim_{n\to\infty}|X_n-X|=0})=1 \Leftarrow \Rightarrow \lim_{n\to\infty}({\sup_{m>=n}|X_m-X|>\epsilon })=0$ $\forall \epsilon > 0$

Dalam perbandingan konvergensi stokastik:

$\lim_{n\to\infty}P(|X_n-X|>\epsilon) = 0$ $\forall \epsilon >0$

Ketika membandingkan sisi kanan equivlance atas dengan konvergensi stokastik, saya kira perbedaannya menjadi lebih jelas.

Sebastian
sumber

Konvergensi dalam probabilitas vs konvergensi yang hampir pasti

Jawaban: