Sejauh pengetahuan agregat (dan kelangkaan) saya tentang statistik memungkinkan, saya mengerti bahwa jika adalah variabel acak iid, maka sebagaimana istilah tersebut menyiratkan bahwa keduanya independen dan terdistribusi secara identik.
Perhatian saya di sini adalah properti mantan sampel iid, yang berbunyi:
untuk setiap koleksi 's st . 1 ≤ i j < n
Namun orang tahu bahwa kumpulan sampel independen dari distribusi identik memberikan informasi tentang struktur distribusi, dan sebagai hasilnya tentang dalam kasus di atas, jadi memang seharusnya tidak menjadi kasus bahwa: p ( X n | X i 1 , X i 2 , . . . , X i k ) = p ( X n ) .
Saya tahu bahwa saya adalah korban dari kesalahan tetapi saya tidak tahu mengapa. Tolong bantu saya untuk yang ini.
Jawaban:
Saya pikir Anda membingungkan estimasi model distribusi dengan variabel acak . Mari kita menulis ulang asumsi independensi sebagai berikut: yang mengatakan bahwa jika Anda tahu distribusi mendasarinya (dan, misalnya, dapat mengidentifikasinya dengan seperangkat parameter ) maka distribusi tidak berubah mengingat Anda telah mengamati beberapa sampel darinya. Xnθ
Sebagai contoh, pikirkan sebagai variabel acak yang mewakili hasil lemparan ke- koin. Mengetahui probabilitas kepala dan ekor untuk koin (yang, btw, asumsikan dikodekan dalam ) sudah cukup untuk mengetahui distribusi . Secara khusus, hasil dari lemparan sebelumnya tidak mengubah probabilitas kepala atau ekor untuk lemparan ke- , dan berlaku.Xn n θ Xn n ( 1 )
Namun, perlu diketahui bahwa .P( θ | Xn) ≠ P( θ | Xsaya1, Xsaya2, ... , Xsayak)
sumber
Jika Anda mengambil pendekatan Bayesian dan memperlakukan parameter yang menggambarkan distribusi sebagai variabel / vektor acak, maka pengamatan memang tidak independen, tetapi mereka akan tergantung secara kondisional dengan pengetahuan maka akan tahan.X θ P(Xn∣Xn−1,…X1,θ)=P(Xn∣θ)
Dalam pendekatan statistik klasik, adalah bukan variabel acak. Perhitungan dilakukan seolah-olah kita tahu apa itu . Dalam beberapa hal, Anda selalu dikondisikan pada (bahkan jika Anda tidak tahu nilainya).θ θ θ
Ketika Anda menulis, "... berikan informasi tentang struktur distribusi, dan sebagai hasilnya tentang " Anda secara implisit mengadopsi pendekatan Bayesian tetapi tidak melakukannya dengan tepat. Anda sedang menulis properti sampel IID yang akan ditulis oleh seorang frequentist, tetapi pernyataan yang sesuai dalam pengaturan Bayesian akan melibatkan pengkondisian pada .Xn θ
Bayesian vs ahli statistik Klasik
Biarkan menjadi hasil membalik koin yang berat sebelah dan tidak adil. Kami tidak tahu probabilitas kepala koin.xi
Gagasan kunci di sini adalah bahwa ahli statistik Bayesian memperluas alat probabilitas untuk situasi di mana ahli statistik klasik tidak . Bagi frequentist, bukan variabel acak karena hanya memiliki satu nilai yang memungkinkan ! Berbagai hasil tidak mungkin! Namun dalam imajinasi Bayesian, berbagai nilai mungkin terjadi, dan Bayesian bersedia untuk memodelkan ketidakpastian itu (dalam pikirannya sendiri) menggunakan alat probabilitas.θ θ
Kemana perginya ini?
Katakanlah kita melempar koin kali. Satu flip tidak mempengaruhi hasil yang lain. Ahli statistik klasik akan menyebut ini flip independen (dan memang benar). Kita akan memiliki: Di mana adalah beberapa yang tidak diketahui parameter. (Ingat, kami tidak tahu apa itu, tapi itu bukan variabel acak! Ini angka tertentu.)n
Bayesian yang jauh ke dalam probabilitas subyektif akan mengatakan bahwa yang penting adalah probabilitas dari sudut pandangnya! . Jika dia melihat 10 kepala berturut-turut, kepala ke-11 lebih mungkin karena 10 kepala berturut-turut membuat orang percaya bahwa koin itu miring demi kepala.
Apa yang terjadi di sini? Apa perbedaannya?! Memperbarui keyakinan tentang variabel acak laten ! Jika diperlakukan sebagai variabel acak, flip tidak lagi independen. Namun, flips tidak tergantung pada kondisi yang diberikan nilai .θ θ θ
Pengkondisian pada dalam arti menghubungkan bagaimana Bayesian dan ahli statistik klasik memodelkan masalah. Atau dengan kata lain, sering dan statistik Bayesian akan setuju jika kondisi Bayesian pada .θθ θ
Catatan selanjutnya
Saya sudah mencoba yang terbaik untuk memberikan intro singkat di sini, tetapi apa yang saya lakukan paling-paling dangkal dan konsep-konsepnya dalam arti cukup dalam. Jika Anda ingin mempelajari filosofi probabilitas, buku 1954 Savage, Foundation of Statistics adalah klasik. Google untuk bayesian vs sering dan satu ton barang akan muncul.
Cara lain untuk berpikir tentang penarikan IID adalah teorema de Finetti dan gagasan pertukaran . Dalam kerangka Bayesian, nilai tukar setara dengan independensi tergantung pada beberapa variabel acak laten (dalam hal ini, lopsidedness dari koin).
sumber