Memperbarui faktor Bayes

9

Faktor A Bayes didefinisikan dalam Bayesian pengujian hipotesis dan Bayesian pemilihan model dengan rasio dua likelihood marginal: diberikan sampel iid (x1,,xn) dan kepadatan masing-masing sampling f1(x|θ) dan f2(x|η) , dengan prior yang sesuai π1 dan π2 , faktor Bayes untuk membandingkan kedua model adalah

B12(x1,,xn)=defm1(x1,,xn)m2(x1,,xn)=defi=1nf1(xi|θ)π1(dθ)i=1nf2(xi|η)π2(dη)
Sebuahbuku yangsaya tinjau saat ini memiliki pernyataan aneh bahwa faktor Bayes di atasB12(x1,,xn)"dibentuk oleh mengalikan masing-masing [faktor Bayes] bersama-sama "(hal.118). Ini benar secara formal jika seseorang menggunakan dekomposisi
B12(x1,,xn)=m1(x1,,xn)m2(x1,,xn)=m1(xn|x1,,xn1)m2(xn|x1,,xn1)×m1(xn1|xn2,,x1)m2(xn1|xn2,,x1)××m1(x1)m2(x1)
tapi saya tidak melihat keunggulan komputasi dalam dekomposisi ini sebagai pembaruan oleh
m1(xn|x1,,xn1)m2(xn|x1,,xn1)
memerlukan upaya komputasi yang sama dengan perhitungan awal
m1(x1,,xn)m2(x1,,xn)
luar contoh mainan buatan.

Pertanyaan: Apakah ada cara generik dan komputasi efisien memperbarui faktor Bayes dari B12(x1,,xn) ke B12(x1,,xn+1) yang tidak memerlukan recomputing seluruh marginals m1(x1,,xn) dan m2(x1,,xn) ?

Intuisi saya adalah bahwa, selain filter partikel, yang memang melanjutkan sepanjang memperkirakan Bayes faktor B12(x1,,xn) satu pengamatan baru pada satu waktu, tidak ada cara alami menjawab pertanyaan ini.

Xi'an
sumber
1
Tampaknya tidak jelas bagi saya bahwa kata-kata itu menyiratkan faktorisasi berurutan , karena pengamatannya benar. Selama sekolah pascasarjana, seorang profesor menyebutkan bahwa produk tersebut menyiratkan bahwa seseorang dapat menggunakan perkiraan asimptotik untuk analisis Bayesian tetapi anehnya hal ini tidak menarik perhatian (sarkasme). Mungkin buku itu bisa mengisyaratkan itu?
Cliff AB
@CliffAB: Ya, Anda bisa menulis ulang kemungkinan sebagai rata-rata istilah individual, konvergen ke jarak Kullback-Leibler dari distribusi sebenarnya. Tapi saya tidak berpikir ini masalahnya, meskipun buku ini tidak cukup jelas untuk membuat semua opsi terbuka.
Xi'an
1
m1(xn1|xn1,,x1)

Jawaban:

4

nπn

m(xn+1|x1,...,xn)=Θf(xn+1|θ)πn(dθ|x1,...,xn).

Karenanya, Anda memiliki:

m(x1,...,xn+1)=m(x1,...,xn)Θf(xn+1|θ)πn(dθ|x1,...,xn).

Membandingkan dua kelas model melalui faktor Bayes, kita kemudian mendapatkan persamaan rekursif:

B12(x1,...,xn+1)=B12(x1,...,xn)Θ1f(xn+1|θ)π1,n(dθ|x1,...,xn)Θ2f(xn+1|θ)π2,n(dθ|x1,...,xn).

Ini masih melibatkan integrasi pada rentang parameter, jadi saya setuju dengan pandangan Anda bahwa tampaknya tidak ada keunggulan komputasi lebih dari sekadar mengkomputasi ulang faktor Bayes melalui rumus awal yang Anda berikan. Namun demikian, Anda dapat melihat bahwa ini tidak mengharuskan Anda untuk menghitung ulang marjinal untuk vektor data sebelumnya. (Alih-alih, kami menghitung kepadatan prediktif dari titik data baru yang tergantung pada data sebelumnya, di bawah masing-masing kelas model.) Seperti Anda, saya tidak benar-benar melihat keunggulan komputasi ini, kecuali jika rumus integral ini disederhanakan dengan mudah. Bagaimanapun, saya kira itu memberi Anda formula lain untuk memperbarui faktor Bayes.

Ben - Pasang kembali Monica
sumber
Terima kasih. Memang benar bahwa marginal tidak perlu dihitung ulang, stricto sensu , tetapi jumlah perhitungannya tampaknya sama, seperti yang Anda katakan.
Xi'an
n