Kapan harus menggunakan teknik bootstrap vs bayesian?

12

Saya memiliki masalah analisis keputusan yang agak rumit yang melibatkan pengujian reliabilitas dan pendekatan logis (bagi saya) tampaknya melibatkan penggunaan MCMC untuk mendukung analisis Bayesian. Namun, telah disarankan bahwa akan lebih tepat untuk menggunakan pendekatan bootstrap. Bisakah seseorang menyarankan referensi (atau tiga) yang mungkin mendukung penggunaan salah satu teknik di atas yang lain (bahkan untuk situasi tertentu)? FWIW, saya memiliki data dari banyak sumber yang berbeda dan sedikit / nol pengamatan kegagalan. Saya juga punya data di tingkat subsistem dan sistem.

Sepertinya perbandingan seperti ini harus tersedia, tetapi saya tidak beruntung mencari tersangka biasa. Terima kasih sebelumnya untuk petunjuk apa pun.

bayesian bootstrap Aengus
sumber
1
Mengingat bahwa bootstrap klasik dapat dianggap sebagai metode kemungkinan maksimum yang diimplementasikan oleh komputer (yaitu teknik non-bayesian (flat prior)), akan lebih baik untuk mengubah kata-kata pertanyaan Anda menjadi sesuatu seperti "kapan menggunakan teknik frequentist vs. bayesian ? " Beberapa latar belakang pada bootstrap: stats.stackexchange.com/questions/18469/…
Yevgeny
1
Hmmm..aku rasa aku tidak setuju. Semoga 'bootstrap' secara khusus menyarankan karakterisasi interval; sedikit lebih fokus daripada sekedar 'sering'. Setidaknya 'bootstrap' akan membuat sebagian besar fanatik agama terhindar. Juga, terima kasih atas tautannya, tetapi saya sudah terbiasa dengan komentar Anda sebelumnya sebelum saya memposting ini.
Aengus
1
Biarkan saya ulangi, apakah Anda memiliki informasi sebelumnya yang bermanfaat, atau apakah masalahnya memiliki struktur hierarki (bersarang)? Jika demikian, maka teknik bayesian mungkin lebih baik (terutama jika jumlah parameter model besar relatif terhadap jumlah data yang tersedia, sehingga estimasi akan mendapat manfaat dari "bayesian shrinking"). Kalau tidak, MLE / bootstrap sudah cukup.
Yevgeny
Saya kira pendekatan lain yang mungkin adalah dengan menggunakan model efek-campuran (misalnya menggunakan paket R lme4) untuk memodelkan struktur hierarki yang telah Anda singgung. Itu juga akan membantu menstabilkan perkiraan untuk model (hierarkis) dengan sejumlah besar parameter.
Yevgeny
1
Analisis bootstrap dapat dipandang sebagai analisis Bayesian, jadi pertanyaan Anda hampir sama, "Kapan menggunakan bootstrap vs. model Bayesian lain" (Pertanyaan Anda mendorong saya untuk menuliskan interpretasi bootstrap ini sebagai model Bayesian : sumsar.net/blog/2015/04/… ). Mengingat pertanyaan itu, saya setuju dengan @Yevgeny bahwa kami mungkin akan memerlukan lebih banyak informasi mengenai masalah khusus Anda sebelum kami dapat merekomendasikan model.
Rasmus Bååth

Jawaban:

15

Menurut saya, uraian masalah Anda menunjukkan dua masalah utama. Pertama:

Saya memiliki analisis keputusan yang agak rumit ...

Dengan asumsi Anda memiliki fungsi kerugian di tangan, Anda perlu memutuskan apakah Anda peduli dengan risiko yang sering terjadi atau kehilangan yang diperkirakan terjadi di belakang . Bootstrap memungkinkan Anda memperkirakan fungsional dari distribusi data, sehingga ini akan membantu dengan yang sebelumnya; dan sampel posterior dari MCMC akan memungkinkan Anda menilai yang terakhir. Tapi...

Saya juga punya data di tingkat subsistem dan sistem

jadi data ini memiliki struktur hierarkis. Pendekatan Bayes memodelkan data seperti itu dengan sangat alami, sedangkan bootstrap pada awalnya dirancang untuk data yang dimodelkan sebagai iid. Meskipun telah diperluas ke data hierarkis (lihat referensi dalam pengantar makalah ini ), pendekatan tersebut relatif kurang berkembang (menurut abstrak dari artikel ini ).

Untuk meringkas: jika benar-benar merupakan risiko yang sering Anda pedulikan, maka beberapa penelitian awal dalam penerapan bootstrap ke teori keputusan mungkin diperlukan. Namun, jika meminimalkan kerugian yang diperkirakan posterior lebih cocok alami untuk masalah keputusan Anda, Bayes pasti cara untuk pergi.

Cyan
sumber
Terima kasih, saya belum menemukan salah satu dari ini; artikel terakhir tampaknya sangat menarik.
Aengus
5

Saya telah membaca bahwa bootstrap non-parametrik dapat dilihat sebagai kasus khusus model Bayesian dengan diskrit (sangat) tidak informatif sebelumnya, di mana asumsi yang dibuat dalam model adalah bahwa data tersebut diskrit, dan domain dari distribusi target Anda sepenuhnya diamati dalam sampel Anda.

Berikut adalah dua referensi:

Steve
sumber