Apakah orang Bayesian pernah berargumen bahwa ada kasus-kasus di mana pendekatan mereka menggeneralisasi / tumpang tindih dengan pendekatan frequentist?

12

Apakah orang Bayesian pernah berargumen bahwa pendekatan mereka menggeneralisasikan pendekatan frequentist, karena orang dapat menggunakan prior non-informatif dan karenanya, dapat memulihkan struktur model frequentist yang khas?

Adakah yang bisa merujuk saya ke tempat di mana saya bisa membaca tentang argumen ini, jika memang digunakan?

EDIT: Pertanyaan ini mungkin diutarakan bukan dengan cara yang saya maksud untuk mengutarakannya. Pertanyaannya adalah: "adakah referensi untuk diskusi tentang kasus-kasus di mana pendekatan Bayesian dan pendekatan frequentist tumpang tindih / berpotongan / memiliki sesuatu yang sama melalui penggunaan prior sebelumnya?" Salah satu contoh akan menggunakan sebelumnya tidak tepat ( θ ) = 1 , tapi saya cukup yakin ini hanya ujung dari gunung es.p(θ)=1

bayesian references frequentist singelton
sumber
2
Saya ingat argumen ini dibuat dalam Pengantar Greenberg untuk Ekonometrika Greenberg, tapi saya tidak positif dan tidak yakin apakah ada referensi yang lebih baik. Selanjutnya, saya percaya itu bukan hanya pilihan sebelumnya, tetapi juga kepercayaan pada sebelumnya.
John
3
Ada argumen bagus yang kerap digeneralisasikan dalam pendekatan Bayes! Ini mengikuti karena sering kali senang menggunakan prior ketika itu dibenarkan (oleh teori atau data) tetapi selain itu menggunakan metode yang Bayesians tidak akan menyentuh. :-)
whuber
3
Mereka adalah pendekatan yang sama sekali berbeda mulai dari cara Probabilitas ditafsirkan (lihat misalnya tautan ). Selain itu, tidak ada definisi unik (bahkan kurang diterima) tentang noninformatif sebelumnya hanya karena tidak ada definisi informasi yang unik (atau diterima) . Bahkan jika penduga secara kuantitatif sama, penafsiran penduga sering dan penduga Bayesian berbeda. Seperti yang saya sebutkan di komentar sebelumnya, "Ini seperti mengatakan bahwa jeruk menggeneralisasi apel."
1
@Prastrastator Saya sepenuhnya setuju mereka tidak selalu berpotongan. Saya mencari argumen dalam kasus di mana mereka melakukannya. Biarkan saya membingkai ulang pertanyaan: "adakah referensi untuk diskusi di mana statistik Bayesian dan statistik frequentist tumpang tindih dengan satu atau lain cara melalui penggunaan prior?" Salah satu contoh akan menggunakan prior yang tidak tepat . Tapi ini benar-benar puncak gunung es, saya percaya. p(θ)=1
singelton
1
@Prastrastator ya, terima kasih! itulah tepatnya diskusi yang saya cari (walaupun, saya kira itu masih puncak gunung es). Saya hanya perlu menemukan buku yang mengerjakannya secara menyeluruh, dan saya tidak dapat menemukannya. Saya akan terus mencari. Terima kasih lagi. (sebagian besar buku berfokus pada pendekatan frequentist atau pendekatan Bayesian, tetapi jangan membandingkan keduanya seperti yang Anda lakukan.)
singelton

Jawaban:

11

Saya telah melihat dua argumen yang diajukan bahwa analisis Bayes adalah generalisasi dari analisis frequentist. Keduanya agak menjengkelkan, dan lebih membuat orang mengenali asumsi tentang model regresi dengan menggunakan prior sebagai konteks.

Argumen 1: Analisis frekuensi adalah analisis Bayesian dengan murni informasi sebelumnya berpusat pada nol (ya, tidak masalah di mana itu berpusat, tetapi abaikan itu). Ini memberikan kedua konteks di mana Bayesian dapat mengekstraksi hasil analisis frequentist, menjelaskan mengapa Anda dapat menggunakan beberapa teknik "Bayesian" seperti MCMC untuk mengekstraksi perkiraan frequentist dalam situasi di mana mengatakan, konvergensi kemungkinan maksimum sulit, dan mendapatkan orang-orang menyadari bahwa ketika mereka mengatakan "Data berbicara untuk diri mereka sendiri" dan sejenisnya, apa yang sebenarnya mereka katakan adalah bahwa sebelumnya, semua nilai sama-sama mungkin.

Argumen 2: Setiap istilah regresi yang tidak Anda sertakan dalam model, pada dasarnya, telah ditetapkan sebelumnya berpusat pada nol tanpa varians. Yang ini bukanlah "Analisis Bayesian adalah generalisasi", melainkan argumen "Ada prior di mana-mana , bahkan dalam model frequentist Anda".

Fomite
sumber
3
+1 Argumen 2 menarik. Dua komentar pada Argumen 1: 1. Saya akan mengatakan datar bukan bukan informasi (yang terakhir adalah keliru, jika pernah ada satu). 2. Tidak perlu berbicara tentang prior untuk memotivasi penggunaan MCMC dalam analisis frequentist - tidak ada yang secara inheren Bayesian tentang teknik numerik ini !
MånsT
terima kasih EpiGrad. Apakah Anda memiliki referensi yang membahas dua argumen yang Anda sebutkan?
singelton
1
+1 Oke selama orang-orang menyadari bahwa itu adalah masalah di lidah untuk mendapatkan poin. Tapi tolong jangan menganggapnya serius!
Michael R. Chernick
@ MånsT - Setuju tentang MCMC tidak perlu pembenaran untuk digunakan, tetapi saya menemukan itu ada dalam pikiran orang sebagai sesuatu di ranah Bayesian, daripada teknik numerik murni. Ini membantu mendorong mereka.
Fomite
@bayesianOrFrequentist Tidak benar-benar tidak.
Fomite
6

Jawaban singkatnya mungkin "ya - dan Anda bahkan tidak perlu flat sebelum argumen ini berlaku."

Misalnya, perkiraan Maksimum A Posteriori (MAP) adalah generalisasi dari kemungkinan maksimum yang mencakup sebelumnya, dan ada pendekatan yang sering dilakukan yang secara analitik setara dengan menemukan nilai ini. Seringkali pelabel ulang "sebelumnya" sebagai "kendala" atau "hukuman" pada fungsi kemungkinan, dan mendapatkan jawaban yang sama. Jadi frequentist dan Bayesian dapat menunjuk ke hal yang sama dengan menjadi estimasi parameter terbaik mereka, bahkan jika filosofinya berbeda. Bagian 5 dari makalah yang sering ini adalah salah satu contoh di mana mereka setara.

Jawaban yang lebih panjang lebih seperti "ya, tetapi sering ada aspek lain dari analisis yang membedakan kedua pendekatan. Namun, bahkan perbedaan ini tidak selalu berbalut besi dalam banyak kasus."

Sebagai contoh, sementara orang Bayesian kadang-kadang menggunakan estimasi MAP (mode posterior) ketika memungkinkan, mereka biasanya menekankan rata-rata posterior sebagai gantinya. Di sisi lain, rata-rata posterior juga memiliki analog yang sering, yang disebut perkiraan "kantong" (dari "agregasi bootstrap") yang hampir tidak dapat dibedakan (lihat pdf ini untuk contoh argumen ini). Jadi itu bukan perbedaan yang "sulit" juga.

Dalam praktiknya, semua ini berarti bahwa bahkan ketika seorang frequentist melakukan sesuatu yang oleh orang Bayesian akan dianggap benar-benar ilegal (atau sebaliknya), sering kali (setidaknya pada prinsipnya) suatu pendekatan dari kubu lain yang akan memberikan anser yang hampir sama.

Pengecualian utama adalah bahwa beberapa model benar-benar sulit dipasangkan dari perspektif yang sering, tetapi itu lebih merupakan masalah praktis daripada yang filosofis.

David J. Harris
sumber
terima kasih David. Jawaban Anda bermanfaat. Saya juga mencari referensi yang membahas hal ini secara panjang lebar. Saya ingin melihat apa argumen orang Bayesian tentang prior non-informatif dan cara mereka dapat direduksi menjadi pendekatan frequentist. Saya sangat memahami poin teknis di baliknya (misalnya, jika Anda hanya melipatgandakan kemungkinan Anda dengan 1 ... Anda akan mendapatkan kemungkinan Anda :-)), tetapi saya sedang mencari diskusi yang lebih baik.
singelton
1
Saya menemukan bahwa banyak anak muda tidak tahu sejarah atau memahami esensi dari paradigma Bayesian. Menyebutnya generalisasi dari pendekatan frequentist benar-benar salah menggambarkan perbandingan paradigma ini. Mengambil komentar Penunda dan menaruhnya dengan cara yang sedikit berbeda, saya akan mengatakan ini seperti mengatakan bahwa apel hanya jeruk yang terlalu besar,
Michael R. Chernick
@ DavidJarris Saya tidak suka jawaban Anda. Secara teknis hubungan yang Anda tuju itu sah tetapi mengatakan "ya" dalam jawaban singkatnya memberi kesan yang salah. Saya tidak berpikir orang Bayesian ingin menyebut paradigma mereka sebagai generalisasi dari statistik frequntis. Istilah ini sepenuhnya Bayesian, Bayesian empiris dan mungkin membedakan paradigma terkait Bayesian tapi saya pikir Bayesian mungkin keberatan menyebut cabang-cabang dari paradigma Bayesian ini.
Michael R. Chernick
2
@MichaelChernick Point diambil. Saya tidak bermaksud mengatakan bahwa semua statistik dan filosofi Bayesian memiliki analog dan sebaliknya yang sering terjadi, hanya saja kita sering dapat menemukan metode yang akan menyelesaikan pekerjaan yang sama dari kedua kubu, dan bahwa pendekatan Bayesian cenderung menjadi lebih fleksibel dari keduanya. Mungkin saya seharusnya menekankan bahwa, bahkan ketika estimasi parameter yang Anda dapatkan dari kedua sekolah itu identik, mereka harus tetap diinterpretasikan secara berbeda, seperti yang ditunjukkan oleh Penundaan di tempat lain.
David J. Harris
@ DavidJarris. Saya setuju dengan semua yang Anda katakan tetapi hanya mengambil pengecualian untuk penggunaan istilah generalisasi.
Michael R. Chernick
3

Edwin Jaynes adalah salah satu yang terbaik dalam menyoroti hubungan antara kesimpulan bayesian dan sering. Interval kepercayaan kertasnya vs interval bayesian (pencarian google membawanya) sebagai perbandingan yang sangat menyeluruh - dan saya pikir yang adil.

Estimasi area kecil adalah area lain di mana jawaban ML / REML / EB / HB cenderung dekat.

probabilityislogic
sumber
2

Banyak dari komentar ini berasumsi bahwa "frequentist" berarti "estimasi kemungkinan maksimum." Beberapa orang memiliki definisi yang berbeda: "frequentist" berarti jenis analisis sifat inferensial jangka panjang dari setiap metode inferensi - apakah itu Bayesian, atau metode momen, atau kemungkinan maksimum, atau sesuatu yang ditulis dalam non-probabilistik istilah (mis. SVM), dll.

Brendan OConnor
sumber
1

Saya ingin mendengar dari Stephane atau pakar Bayesian lain tentang ini. Saya akan mengatakan tidak karena ini adalah pendekatan yang berbeda bukan generalisasi. Dalam konteks lain, ini telah diperdebatkan di sini sebelumnya. Jangan berpikir bahwa hanya karena prior flat menghasilkan hasil mendekati kemungkinan maksimum bahwa metode Bayesian dengan flat sebelumnya lebih sering digunakan! Saya pikir itu akan menjadi anggapan keliru yang akan membuat Anda berpikir bahwa dengan membuat arbitrer sebelumnya Anda menggeneralisasi ke prior prior lain. Saya tidak berpikir seperti itu dan saya yakin sebagian besar orang Bayes juga tidak.

Jadi beberapa orang memang memperdebatkannya tetapi saya tidak berpikir mereka harus diklasifikasikan sebagai Bayesians

meskipun Stephane telah menunjukkan kesulitan dengan klasifikasi yang kuat. Jadi secara tegas jika kata itu ada maka saya kira itu mungkin tergantung pada bagaimana Anda mendefinisikan Bayesian.

Michael R. Chernick
sumber
(+1) Mereka adalah pendekatan yang sangat berbeda. Ini seperti mengatakan bahwa jeruk menggeneralisasi apel.
5
Makan banyak jeruk dan tidak ada apel membuat orang berpikir demikian.
Alfred M.
ini benar, meskipun kemungkinan maksimum adalah salah satu dari beberapa prosedur umum untuk melakukan inferensi yang sering terjadi. Jadi itu akan selalu terwakili secara berlebihan dalam diskusi umum tentang metode frequentist. Saya terkejut survei sampel belum disebutkan seperti GREG.
probabilityislogic