Apa yang keren tentang teorema representasi de Finetti?

55

Dari Theory of Statistics oleh Mark J. Schervish (halaman 12):

Meskipun teorema 1,Finetti representasi 1,49 adalah pusat untuk memotivasi model parametrik, itu sebenarnya tidak digunakan dalam implementasi mereka.

Bagaimana teorema pusat untuk model parametrik?

gui11aume
sumber
2
Saya pikir ini adalah pusat model Bayesian. Saya hanya membahas ini dengan singleton. Sangat penting dalam statistik Bayesian diabaikan kecuali oleh orang Bayesian yang adalah pengikut deFinetti. Lihat referensi Diaconis dan Freedman ini dari 1980
Michael Chernick
1
@ cardinal: halaman 12 (saya memperbarui pertanyaan).
gui11aume
2
Perhatikan bahwa Schervish berkata "... pusat ke model parametrik ...". motivating
Zen
1
Saya sering bertanya-tanya berapa banyak representasi itu "nyata" dan berapa banyak didasarkan pada interpretasi teorema tertentu. Ini bisa dengan mudah digunakan untuk menggambarkan distribusi sebelumnya seperti untuk menggambarkan model.
probabilityislogic

Jawaban:

79

Teorema Representasi De Finetti memberikan dalam satu kesempatan, dalam interpretasi subyektifitas probabilitas, raison d'être model statistik dan makna parameter dan distribusi mereka sebelumnya.

Misalkan variabel acak mewakili hasil lemparan koin berturut-turut, dengan nilai dan -masing sesuai dengan hasil "Kepala" dan "Ekor". Menganalisis, dalam konteks interpretasi subyektifistik dari kalkulus probabilitas, makna model frequentist biasa di mana adalah independen dan terdistribusi secara identik, De Finetti mengamati bahwa kondisi independensi akan menyiratkan, misalnya, bahwa dan, oleh karena itu, hasil dari pertama lemparan tidak akan mengubah ketidakpastian saya tentang hasil 1 0 X i P { X n = x nX 1 = x 1 , , X n - 1 = x n - 1 } = P { X n = x n }X1,,Xn10XiN - 1 n apriori 999 1 / 2 X i

P{Xn=xnX1=x1,,Xn1=xn1}=P{Xn=xn},
n1nlemparan ke-10. Sebagai contoh, jika saya percaya bahwa ini adalah koin seimbang, maka, setelah mendapatkan informasi bahwa lemparan pertama ternyata "Kepala", saya masih akan percaya, dengan syarat pada informasi itu, bahwa probabilitas mendapatkan "Heads" pada undian 1000 sama dengan . Secara efektif, hipotesis independensi akan menyiratkan bahwa tidak mungkin untuk belajar apa pun tentang koin dengan mengamati hasil lemparannya.a priori9991/2Xi

Pengamatan ini membawa De Finetti pada pengenalan kondisi yang lebih lemah daripada independensi yang menyelesaikan kontradiksi yang tampak ini. Kunci dari solusi De Finetti adalah sejenis simetri distribusi yang dikenal sebagai pertukaran.

{ X i } n i = 1 μ X 1 , ... , X n μ X 1 , ... , X n = μ X π ( 1 ) , ... , X π ( n ) π : { 1 , ... , n } { 1 , , n } { X iDefinition. Untuk himpunan terbatas yang diberikan dari objek acak, misalkan menunjukkan distribusi gabungannya. Himpunan terbatas ini dapat ditukar jika , untuk setiap permutasi . Urutan dari objek acak dapat ditukar jika masing-masing subset terbatasnya dapat dipertukarkan.{Xi}i=1nμX1,,XnμX1,,Xn=μXπ(1),,Xπ(n)π:{1,,n}{1,,n}{Xi}i=1

Misalkan hanya bahwa urutan variabel acak dapat ditukar, De Finetti membuktikan teorema terkenal yang menyoroti makna model statistik yang umum digunakan. Dalam kasus khusus ketika mengambil nilai dan , Teorema Representasi De Finetti mengatakan bahwa dapat ditukar jika dan hanya jika ada variabel acak , dengan distribusi , sehingga di mana . Apalagi kita punya itu {Xi}i=1Xi01{Xi}i=1Θ:Ω[0,1]μΘ

P{X1=x1,,Xn=xn}=[0,1]θs(1θ)nsdμΘ(θ),
s=i=1nxi
X¯n=1ni=1nXinΘalmost surely,
yang dikenal sebagai Hukum Kuat Sejumlah Besar De Finetti.

Teorema Representasi ini menunjukkan bagaimana model statistik muncul dalam konteks Bayesian: di bawah hipotesis pertukaran yang dapat diamati , a sedemikian sehingga, diberi nilai , yang dapat diamati adalah independen dan terdistribusi secara identik. Selain itu, hukum kuat De Finetti menunjukkan bahwa pendapat kami sebelumnya tentang tidak dapat diobservasi , yang diwakili oleh distribusi , adalah pendapat tentang batas , sebelum kita memiliki informasi tentang nilai-nilai realisasi. dari salah satu{Xi}i=1there isparameter ΘΘconditionallyΘμΘX¯nXiini Parameter memainkan peran konstruksi anak perusahaan yang berguna, yang memungkinkan kita untuk mendapatkan probabilitas bersyarat yang hanya melibatkan yang dapat diamati melalui hubungan seperti Θ

P{Xn=1X1=x1,,Xn1=xn1}=E[ΘX1=x1,,Xn1=xn1].
Zen
sumber
2
Terima kasih atas jawaban mendalam ini! Poin Anda tentang kemerdekaan adalah hal yang sangat penting yang saya sadari untuk pertama kalinya.
gui11aume
("Bermanfaat" lebih baik :))
Neil G
1
Saya mengalami kesulitan memahami pernyataan "ada parameter sehingga (diberikan ) adalah iid." Dari teorema representasi, tampaknya yang dapat kita peroleh hanyalah bahwa . Artinya, nilai yang diharapkan dari kepadatan sebenarnya adalah sama dengan nilai yang diharapkan dari kepadatan iid bernoulli dengan parameter . Bisakah Anda mengklarifikasi kepada saya bagaimana kami dapat menjatuhkan nilai yang diharapkan sehingga kami membuat klaim tentang kepadatan sebenarnya itu sendiri? Θ X i E [ θ s ( 1 - θ ) s ] = E [ P ( X i = x iΘΘXiθE[θs(1θ)s]=E[P(Xi=xii|θ)]θ
user795305
Integrand adalah . Karena faktor sebagai , 's bersyarat iid diberikan . Pr{X1=x1,,Xn=xnΘ=θ}i=1nPr{Xi=xiΘ=θ}=i=1nθxi(1θ)1xiXiΘ=θ
Zen
@ Zen Terima kasih! Saya mengerti kalimat pertama, namun bagian "karena faktornya sebagai "masih belum jelas bagi saya. Bagaimana Anda tahu itu faktornya? Sepertinya Anda menjatuhkan nilai yang diharapkan dari identitas yang saya tulis di komentar saya sebelumnya, tapi saya tidak yakin bagaimana itu dibenarkan. i=1nPr{Xi=xiΘ=θ}=i=1nθxi(1θ)1xi
user795305
17

Secara matematis semuanya benar dalam jawaban Zen. Namun saya tidak setuju pada beberapa poin. Perlu diketahui bahwa saya tidak mengklaim / percaya bahwa sudut pandang saya adalah yang baik; sebaliknya saya merasa poin-poin ini belum sepenuhnya jelas bagi saya. Ini adalah pertanyaan filosofis yang ingin saya diskusikan (dan latihan bahasa Inggris yang baik untuk saya), dan saya juga tertarik dengan saran apa pun.

  • Tentang contoh dengan "Kepala", komentar Zen: "hipotesis independensi akan menyiratkan bahwa tidak mungkin untuk mempelajari apa pun tentang koin dengan mengamati hasil lemparannya." Ini tidak benar dari perspektif frequentist: belajar tentang koin berarti belajar tentang , yang dimungkinkan dengan memperkirakan (titik-estimasi atau interval kepercayaan) dari hasil sebelumnya . Jika frequentist mengamati "Heads" maka dia menyimpulkan bahwa kemungkinan mendekati , dan demikian pula konsekuensinya.999Xiθθ999999θ1Pr(Xn=1)

  • Ngomong-ngomong, dalam contoh lemparan koin ini, apa yang dimaksud dengan acak ? Membayangkan masing-masing dari dua orang memainkan permainan lempar koin dalam jumlah tak terbatas dengan koin yang sama, mengapa mereka menemukan ? Saya ada dalam pikiran bahwa karakteristik melempar koin adalah fixed yang merupakan nilai umum dari untuk setiap gamer ("hampir semua gamer" karena alasan matematis teknis). Contoh yang lebih konkret yang tidak ada interpretasi acak adalah kasus pengambilan sampel acak dengan penggantian dalam populasi terbatas dan .Θθ=X¯θX¯Θ01

  • Tentang buku Schervish dan pertanyaan yang diajukan oleh OP Saya pikir (dengan cepat) Schervish berarti bahwa pertukaran adalah asumsi "keren" dan kemudian teorema deFinetti adalah "keren" karena dikatakan bahwa setiap model yang dapat ditukar memiliki representasi parametrik. Tentu saja saya setuju sepenuhnya. Namun jika saya mengasumsikan model yang dapat ditukar seperti dan maka saya akan tertarik untuk melakukan inferensi tentang dan , bukan tentang realisasi . Jika saya hanya tertarik pada realisasi maka saya tidak melihat minat untuk mengasumsikan pertukaran.(XiΘ=θ)iidBernoulli(θ)ΘBeta(a,b)abΘΘ

Itu terlambat...

Stéphane Laurent
sumber
4
Hai Stéphane! Terima kasih atas komentar Anda atas jawaban saya. Tentang poin pertama Anda bahwa , dalam jawaban saya semuanya dinyatakan dalam konteks Bayesian. Tidak ada upaya nyata untuk membangun kontras dengan paradigma inferensi lainnya. Singkatnya, saya sudah mencoba mengungkapkan apa arti teorema De Finetti bagi saya, sebagai seorang Bayesian. "this is not true from the frequentist perspective"
Zen
4
Tentang peluru kedua Anda: random adalah (as) batas , seperti yang dinyatakan dalam LLN De Finetti. Jadi, ketika beberapa Bayesian mengatakan bahwa saya untuk adalah , ia berarti bahwa distribusi ini mewakili ketidakpastiannya tentang batas ini, sebelum memiliki akses ke data. Bayesian yang berbeda mungkin memiliki prior yang berbeda, tetapi, dengan kondisi keteraturan yang sesuai, mereka akan memiliki perjanjian tentang (posterior serupa), karena mereka mendapatkan lebih banyak dan lebih banyak informasi tentang hasil lemparan. ΘX¯nΘμΘa posterioriΘ
Zen
tetap tetapi tidak dikenal bukanlah konsep Bayesian. θ
Zen
1
Tentang peluru ketiga Anda, diberikan: 1) Schervish itu adalah ahli statistik Bayesian; 2) Jumlah waktu dan energi yang ia habiskan untuk mendiskusikan pertukaran dalam bukunya; Saya percaya bahwa baginya peran teorema De Finetti sangat dalam, jauh melampaui kesejukan. Tapi saya setuju bahwa itu sangat keren!
Zen
2
Untuk memperjelas sudut pandang saya: Saya tidak percaya ada acak dalam model Bayesian "dasar" (non hierarkis). Ada yang tidak diketahui pasti , dan distribusi sebelumnya menggambarkan kepercayaan tentang hal itu. Peran variabel acak hanyalah perlakuan matematis dari inferensi Bayesian, tidak memiliki interpretasi apa pun dalam percobaan. Jika Anda benar-benar menganggap pengamatan yang dapat dipertukarkan tetapi tidak independen, seperti contoh peluru ketiga saya, maka Anda harus menempatkan hyperpriors pada dan . θθΘab
Stéphane Laurent
11

Kalian mungkin tertarik pada makalah tentang hal ini (berlangganan jurnal diperlukan untuk akses - coba mengaksesnya dari universitas Anda):

O'Neill, B. (2011) Pertukaran, korelasi dan Efek Bayes. Tinjauan Statistik Internasional 77 (2), hlm. 241-250.

Makalah ini membahas teorema representasi sebagai dasar untuk kedua model IID Bayesian dan sering, dan juga menerapkannya pada contoh melempar koin. Ini harus menjernihkan diskusi tentang asumsi paradigma frequentist. Ini benar-benar menggunakan ekstensi yang lebih luas untuk teorema representasi melampaui model binomial, tetapi tetap harus bermanfaat.

Statistik
sumber
Apakah mungkin ada versi kertas kerja yang Anda miliki? Saya tidak punya akses atm :-(
IMA
1
@Stats Saya sudah membaca makalah itu setelah melihat jawaban Anda. Saya harus mengatakan, itu adalah makalah terbaik yang menggambarkan Bayesian dan Frequentist tentang masalah yang pernah saya lihat. Saya berharap saya akan membaca makalah ini lebih awal. (+1)
KevinKim