Apa sebenarnya model Bayesian?

34

Dapatkah saya memanggil model di mana Teorema Bayes digunakan "model Bayesian"? Saya khawatir definisi seperti itu mungkin terlalu luas.

Jadi apa sebenarnya model Bayesian?

machine-learning bayesian Sibbs Gambling
sumber

9

Model Bayesian adalah model statistik yang dibuat dari pasangan sebelum x kemungkinan = posterior x marginal. Teorema Bayes agak sekunder dengan konsep prior.

Xi'an

18

Pada intinya, dimana kesimpulan didasarkan pada penggunaan teorema Bayes untuk memperoleh distribusi posterior untuk jumlah atau jumlah bunga dari beberapa model (seperti nilai parameter) berdasarkan beberapa distribusi sebelumnya untuk parameter yang tidak diketahui yang relevan dan kemungkinan dari model.

yaitu dari model distribusi beberapa bentuk, , dan sebelumnya , seseorang mungkin mencari untuk mendapatkan posterior . $f(X_i|\mathbf{\theta})$ $p(\mathbf{\theta})$ $p(\mathbf{\theta}|\mathbf{X})$

Sebuah contoh sederhana dari model Bayesian dibahas dalam pertanyaan ini , dan dalam komentar yang satu ini - Bayesian linear regresi, dibahas secara lebih rinci dalam Wikipedia di sini . Pencarian muncul diskusi dari sejumlah model Bayesian di sini.

Tetapi ada hal-hal lain yang bisa dilakukan seseorang dengan analisis Bayesian selain hanya sesuai dengan model - lihat, misalnya, teori keputusan Bayesian.

Glen_b -Reinstate Monica
sumber

Dalam regresi linier, adalah

sini sama ke vektor

? Jika tidak, apa itu?

θ

$\theta$

[β_{0}, β_{1}, . . ., β_{n}]

$[\beta_0, \beta_1, ..., \beta_n]$

BCLC

1

@BCLC Biasanya akan mencakup

juga.

σ

$\sigma$

Glen_b -Reinstate Monica

1

@BCLC Anda tampaknya mengacaukan kesimpulan frequentist dan Bayesian. Bayesian inference berfokus pada jumlah apa pun yang Anda minati. Jika Anda tertarik pada parameter (misalnya inferensi tentang koefisien tertentu), idenya adalah mencari distribusi posterior [parameter | data]. Jika Anda tertarik pada fungsi rata-rata (

), maka Anda akan mencari distribusi posterior untuk itu (yang tentu saja merupakan fungsi dari distribusi (multivariat)

). Anda mungkin menggunakan OLS dalam perkiraan Anda, tetapi parameter posterior akan digeser oleh yang sebelumnya ...

μ_{Y} | X

$\mu_Y|X$

β

$\mathbb{\beta}$

Glen_b -Reinstate Monica

1

... lihat halaman wikipedia tentang regresi Bayesian dan beberapa diskusi di sini di CV

Glen_b -Reinstate Monica

1

Perhitungan itu terkadang muncul (apakah Anda menyebutnya

atau

), karena berbagai alasan. Komentar saya sebelumnya sama sekali tidak bertentangan dengan perhitungan itu.

(atau ekuivalen

atau

) adalah parameter, dan Anda harus mengatasinya bersama dengan parameter lainnya. Namun, sementara itu akan jarang Anda tahu

; misalnya jika Anda melakukan pengambilan sampel Gibbs, persyaratannya akan relevan. Jika Anda hanya ingin inferensi pada

, Anda akan mengintegrasikan

(atau

dll) dari

daripada kondisi pada

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

β

$\beta$

σ

$\sigma$

σ^{2}

$\sigma^2$

θ | y

$\theta|y$

σ

$\sigma$ .

Glen_b -Reinstate Monica

11

Model Bayesian hanyalah model yang menarik kesimpulannya dari distribusi posterior, yaitu menggunakan distribusi sebelumnya dan kemungkinan yang terkait dengan teorema Bayes.

Sycorax berkata Reinstate Monica
sumber

7

Dapatkah saya memanggil model di mana Teorema Bayes digunakan "model Bayesian"?

Tidak

Saya khawatir definisi seperti itu mungkin terlalu luas.

Kamu benar. Teorema Bayes adalah hubungan yang sah antara probabilitas peristiwa marginal dan probabilitas bersyarat. Itu berlaku terlepas dari interpretasi probabilitas Anda.

Jadi apa sebenarnya model Bayesian?

Jika Anda menggunakan konsep sebelumnya dan posterior di mana saja dalam eksposisi atau interpretasi Anda, maka Anda kemungkinan akan menggunakan model Bayesian, tetapi ini bukan aturan absolut, karena konsep ini juga digunakan dalam pendekatan non-Bayesian.

Dalam arti yang lebih luas Anda harus berlangganan interpretasi Bayesian tentang probabilitas sebagai keyakinan subyektif. Teorema kecil Bayes ini diperluas dan direntangkan oleh beberapa orang ke seluruh pandangan dunia ini dan bahkan, harus saya katakan, filsafat . Jika Anda termasuk dalam kamp ini maka Anda adalah orang Bayesian. Bayes tidak tahu ini akan terjadi pada teorinya. Dia akan ngeri, pikirku.

Aksakal
sumber

4

Ini tampaknya menjadi jawaban pertama untuk memperkenalkan poin penting yang dibuat di baris pertama: penggunaan teorema Bayes semata tidak menjadikan sesuatu model Bayesian. Saya ingin mendorong Anda untuk melangkah lebih jauh dengan pemikiran ini. Anda tampaknya mundur di mana Anda mengatakan bahwa "menggunakan konsep sebelumnya dan posterior" membuat model Bayesian. Bukankah itu sama artinya dengan menerapkan Teorema Bayes lagi? Jika tidak, dapatkah Anda menjelaskan apa yang Anda maksud dengan "konsep" dalam bagian ini? Lagi pula, statistik klasik (non-Bayesian) menggunakan prior dan posteriors untuk membuktikan penerimaan dari banyak prosedur.

whuber

@whuber, itu lebih seperti aturan praktis yang sederhana. Setiap kali saya melihat "sebelum" di koran itu berakhir atau mengaku dari sudut pandang Bayesian. Saya akan mengklarifikasi poin saya.

Aksakal

5

Model statistik dapat dilihat sebagai prosedur / cerita yang menggambarkan bagaimana beberapa data muncul. Model Bayesian adalah model statistik di mana Anda menggunakan probabilitas untuk mewakili semua ketidakpastian dalam model, baik ketidakpastian tentang output tetapi juga ketidakpastian mengenai input (alias parameter) ke model. Keseluruhan teorema sebelum / posterior / Bayes mengikuti ini, tetapi menurut saya, menggunakan probabilitas untuk semuanya adalah apa yang membuatnya Bayesian (dan memang kata yang lebih baik mungkin hanya akan menjadi sesuatu seperti model probabilistik ).

Itu berarti bahwa sebagian besar model statistik lainnya dapat "dimasukkan ke dalam" model Bayesian dengan memodifikasi mereka untuk menggunakan probabilitas di mana-mana. Hal ini terutama berlaku untuk model yang mengandalkan kemungkinan maksimum, karena pemasangan model kemungkinan maksimum adalah subset ketat untuk pemasangan model Bayesian.

Rasmus Bååth
sumber

MLE digunakan dan dikembangkan di luar model Bayesian, jadi tidak terlalu jelas apa yang Anda maksudkan dengan menjadi "subset ketat untuk pemasangan model Bayesian".

Aksakal

Dari perspektif Bayesian, MLE adalah apa yang Anda dapatkan ketika Anda mengasumsikan datar, cocok dengan model dan menggunakan konfigurasi parameter yang paling mungkin sebagai estimasi titik. Apakah ini merupakan kasus khusus "filosofi statistik" Bayesian, saya biarkan yang lain membahas, tetapi ini tentu saja merupakan kasus khusus pemasangan model Bayesian.

Rasmus Bååth

Masalah dengan pernyataan ini adalah bahwa hal itu meninggalkan kesan bahwa Anda harus berlangganan semacam pemikiran Bayesian untuk menggunakan MLE.

Aksakal

1

Saya tidak yakin apa yang Anda maksud. IMO Anda tidak perlu berlangganan pemikiran Bayesian ketika menggunakan statistik Bayesian lebih dari yang Anda butuhkan untuk berlangganan think matriks ketika melakukan aljabar linier atau pemikiran Gaussian saat menggunakan distribusi normal. Saya juga tidak mengatakan bahwa MLE memiliki ditafsirkan sebagai bagian dari Bayesian Model pas (meskipun itu jatuh cukup alami bagi saya).

Rasmus Bååth

3

Pertanyaan Anda lebih pada sisi semantik: kapan saya bisa memanggil model "Bayesian"?

Menarik kesimpulan dari makalah yang luar biasa ini:

Fienberg, SE (2006). Kapan inferensi bayesian menjadi "bayesian"? Analisis Bayesian, 1 (1): 1-40.

ada 2 jawaban:

Model Anda adalah Bayesian pertama jika menggunakan aturan Bayes (itulah "algoritma").
Lebih luas lagi, jika Anda menyimpulkan penyebab (tersembunyi) dari model generatif sistem Anda, maka Anda adalah Bayesian (itulah "fungsi").

Anehnya, terminologi "model Bayesian" yang digunakan di seluruh bidang hanya menetap sekitar tahun 60-an. Ada banyak hal untuk dipelajari tentang pembelajaran mesin hanya dengan melihat sejarahnya!

meduz
sumber

Anda sepertinya hanya menyebutkan satu dari "dua jawaban". Mungkin menulis sesuatu tentang keduanya?

Tim

terima kasih atas catatannya, saya mengedit jawaban saya untuk memisahkan 2 bagian dari kalimat saya.

meduz

Apa sebenarnya model Bayesian?

Jawaban: