“Fully Bayesian” vs “Bayesian”

20

Saya telah belajar tentang statistik Bayesian, dan saya sering membaca dalam artikel

"Kami mengadopsi pendekatan Bayesian"

atau yang serupa. Saya juga memperhatikan, lebih jarang:

"Kami mengadopsi pendekatan Bayesian sepenuhnya "

(Penekanan saya). Apakah ada perbedaan antara pendekatan ini dalam arti praktis atau teoritis? FWIW, saya menggunakan paket MCMCglmmdalam R dalam hal yang relevan.

bayesian Joe King
sumber
6
Saya tidak berpikir bahwa "sepenuhnya Bayesian" memiliki arti yang ketat.
Stéphane Laurent
4
@Stephane Saya cukup yakin bahwa sepenuhnya Bayesian sama dengan Bayesian tetapi kata sifat sepenuhnya digunakan untuk menekankan bahwa itu bukan Bayes empiris.
Michael R. Chernick
1
@Michael ini masuk akal tapi saya masih berpikir maknanya tidak universal, dan tampaknya dikonfirmasi oleh beberapa jawaban berbeda untuk pertanyaan itu. Saya tidak akan terkejut bahwa beberapa orang mengatakan "sepenuhnya bayesian" untuk mengatakan bahwa mereka menggunakan prior subyektif dan bukan noninformatif. Situasi lain yang mungkin adalah ketika orang menggunakan "distribusi prediktif Bayesian-sering" dan kemudian pindah ke pendekatan Bayesian murni.
Stéphane Laurent
@Stephane saya menerima penilaian Anda. Saya pikir Anda bekerja dalam statistik Bayesian lebih dari yang saya lakukan dan mungkin telah mendengar orang menggunakan istilah ini dengan berbagai cara. Setidaknya jawaban saya masuk akal dan sebagian benar.
Michael R. Chernick
@MichaelChernick ya, jawaban Anda adalah contoh pendekatan pseudo-Bayesian vs pendekatan Bayesian yang sebenarnya, tetapi ada situasi lain yang serupa
Stéphane Laurent

Jawaban:

19

Terminologi "pendekatan sepenuhnya Bayesian" tidak lain adalah cara untuk menunjukkan bahwa seseorang bergerak dari pendekatan Bayesian "sebagian" ke pendekatan Bayesian "benar", tergantung pada konteksnya. Atau untuk membedakan pendekatan "pseudo-Bayesian" dari pendekatan Bayesian "ketat".

Misalnya seorang penulis menulis: "Tidak seperti mayoritas penulis lain yang tertarik yang biasanya menggunakan pendekatan Empirical Bayes untuk RVM, kami mengadopsi pendekatan Bayesian sepenuhnya" karena pendekatan Bayes empiris adalah pendekatan "pseudo-Bayesian". Ada beberapa pendekatan pseudo-Bayesian lainnya, seperti distribusi prediktif Bayesian-frequentist (distribusi yang kuantilnya cocok dengan batas interval prediksi frequentist).

Di halaman ini beberapa paket R untuk inferensi Bayesian disajikan. MCMCglmm disajikan sebagai "pendekatan Bayesian sepenuhnya" karena pengguna harus memilih distribusi sebelumnya, bertentangan dengan paket lainnya.

Makna lain yang mungkin dari "sepenuhnya Bayesian" adalah ketika seseorang melakukan inferensi Bayesian yang berasal dari kerangka teori keputusan Bayesian, yaitu, berasal dari fungsi kerugian, karena teori keputusan Bayesian adalah kerangka dasar yang kuat untuk inferensi Bayesian.

Stéphane Laurent
sumber
Terima kasih untuk ini. terima kasih, jadi paket yang MCMCglmmmenjadi "Fully Bayesian" tidak ada hubungannya dengan menggunakan MCMC untuk mendapatkan perkiraan dan apakah itu masih sepenuhnya Bayesian jika saya harus menentukan sebelumnya, dari mana posterior dapat ditemukan secara analitik? Maaf jika pertanyaan saya tidak masuk akal - saya masih pemula, tetapi saya mencoba belajar!
Joe King
1
MCMC hanyalah teknik yang berguna untuk mensimulasikan distribusi posterior dalam statistik Bayesian. Tapi itu tidak ada hubungannya dengan pendekatan Bayesian itu sendiri.
Stéphane Laurent
13

Saya pikir terminologi digunakan untuk membedakan antara pendekatan Bayesian dan pendekatan Bayes empiris. Full Bayes menggunakan prior yang ditentukan sedangkan Bayes empiris memungkinkan sebelum diestimasi melalui penggunaan data.

Michael R. Chernick
sumber
Terima kasih ! Saya juga telah melihat "Bayes empiris" yang disebutkan di sana-sini, tetapi tidak pernah terpotong dalam hal-hal yang saya baca, sampai pada titik di mana saya harus berpikir serius tentang artinya. Saya hanya melihat halaman wikipedia yang mengatakan itu juga dikenal sebagai "kemungkinan marginal maksimum", dan "sebuah pendekatan untuk perawatan Bayesian sepenuhnya dari model Bayes hirarkis". Hmmm, sejujurnya saya tidak mengerti apa yang ada di halaman itu :(
Joe King
@ JoKing Ada banyak kegunaan menarik dan penting dari metode Bayes empiris. Idenya kembali ke Herbert Robbins pada 1960-an. Pada 1970-an Efron dan Morris menunjukkan bahwa penaksir James-Stein dari rata-rata normal multivariat dan penaksir penyusutan serupa lainnya adalah Bayes empiris. Dalam buku barunya tentang Large Scale Inference, Brad Efron menunjukkan bagaimana metode Bayes empiris dapat digunakan untuk masalah yang kadang-kadang disebut small n large p karena banyak hipotesis pada parameter yang diuji dengan ukuran sampel yang relatif kecil (yaitu p dapat jauh lebih besar daripada ). Ini muncul dengan microarray.
Michael R. Chernick
1
Terima kasih lagi. Saya harus mengakui bahwa saya tidak mengerti semua yang baru saja Anda tulis, tetapi saya akan menggunakannya sebagai titik awal saya untuk studi lebih lanjut tentang masalah ini.
Joe King
9

"Bayesian" benar-benar berarti "perkiraan Bayesian".

"Fully Bayesian" juga berarti "perkiraan Bayesian", tetapi dengan perkiraan yang lebih sedikit.

Edit : Klarifikasi.

p(θ∣Data)∝p(Data∣θ)p(θ).
θ
Arek Paterek
sumber
Terima kasih. Saya membaca di sini bahwa MCMCglmmpaket yang saya gunakan adalah Fully Bayesian. Apakah itu karena menggunakan MCMC bersama dengan prior untuk parameter?
Joe King
@ Arek Saya benar-benar tidak yakin. Jadi ketika saya menggunakan konjugasi standar sebelum saya "lebih dari sepenuhnya" Bayesian? Dan mengapa Anda mengklaim bahwa estimasi titik kurang "akurat" daripada simulasi posterior?
Stéphane Laurent
1
@ StéphaneLaurent Saya tidak mengklaim bahwa estimasi titik selalu kurang akurat. Di mana komentar kemarin untuk jawaban saya?
Arek Paterek
1
@ArekPaterek Jawaban singkat Anda tampak seperti lelucon dan komentar yang tidak berlaku untuk jawaban revisi Anda tidak berlaku untuk yang direvisi. Jadi dugaan saya adalah moderator mungkin menghapusnya. Masih memanggil sepenuhnya perkiraan Bayesian membingungkan.
Michael R. Chernick
1
Mungkin komentar pertama saya yang tidak dihapus tidak jelas. Jika jawaban Arek benar, lalu bagaimana kita memanggil situasi ketika dimungkinkan untuk memiliki distribusi posterior yang tepat (seperti situasi konjugasi sebelumnya yang sederhana)? Pendekatan Bayesian "lebih-dari-sepenuhnya"?
Stéphane Laurent
8

Saya akan menggunakan "sepenuhnya Bayesian" untuk berarti bahwa setiap parameter nuissance telah dimarginalkan dari analisis, daripada dioptimalkan (misalnya perkiraan MAP). Misalnya model proses Gaussian, dengan parameter hiper yang disetel untuk memaksimalkan kemungkinan marginal akan menjadi Bayesian, tetapi hanya sebagian saja, sedangkan jika parameter hiper yang mendefinisikan fungsi kovarians diintegrasikan dengan menggunakan hiper-sebelumnya, itu akan menjadi sepenuhnya Bayesian .

Dikran Marsupial
sumber
4
Ini tampaknya menjadi jawaban yang sedikit lebih umum. Semakin banyak jumlah yang terpinggirkan daripada dioptimalkan semakin banyak solusi 'sepenuhnya Bayesian'. Bayes empiris adalah kasus khusus.
conjugateprior
Ya, itu hanya sedikit tambahan pada jawaban Michaels; pada dasarnya optimasi pada dasarnya tidak-Bayesian.
Dikran Marsupial
3

Sebagai contoh praktis:

Saya melakukan beberapa pemodelan Bayesian menggunakan splines. Masalah umum dengan splines adalah pemilihan simpul. Salah satu kemungkinan populer adalah dengan menggunakan skema Reversible Jump Markov Chain Monte Carlo (RJMCMC) di mana seseorang mengusulkan untuk menambah, menghapus, atau memindahkan simpul selama setiap iterasi. Koefisien untuk splines adalah estimasi Least Square.

Simpul Splines Gratis

Menurut pendapat saya ini membuatnya hanya 'sebagian Bayesian' karena untuk pendekatan 'sepenuhnya Bayesian' perlu ditempatkan pada koefisien ini (dan koefisien baru yang diusulkan selama setiap iterasi), tetapi kemudian estimasi Least Squares tidak bekerja untuk RJMCMC skema, dan segalanya menjadi jauh lebih sulit.

Lembah kecil
sumber
(+1) Saya tidak mengerti situasi Anda tetapi tampaknya ini adalah situasi pendekatan pseudo-Bayesian
Stéphane Laurent
1

Saya akan menambahkan karakterisasi yang belum disebutkan sejauh ini. Pendekatan Bayesian sepenuhnya "sepenuhnya" menyebarkan ketidakpastian dalam semua kuantitas yang tidak diketahui melalui teorema Bayes. Di sisi lain, pendekatan Pseudo-Bayes seperti Bayes empiris tidak menyebarkan semua ketidakpastian. Misalnya, ketika memperkirakan jumlah prediksi posterior, pendekatan Bayesian sepenuhnya akan menggunakan kepadatan posterior parameter model yang tidak diketahui untuk mendapatkan distribusi prediksi untuk parameter target. Pendekatan EB tidak akan menjelaskan ketidakpastian di semua yang tidak diketahui - misalnya, beberapa parameter hiper mungkin diatur ke nilai-nilai tertentu, sehingga meremehkan ketidakpastian keseluruhan.

pengguna67724
sumber