Apakah kita sering benar-benar hanya orang Bayesian implisit / tanpa disadari?

Untuk masalah inferensi yang diberikan, kita tahu bahwa pendekatan Bayesian biasanya berbeda dalam bentuk dan hasil dari pendekatan fequentist. Frequentists (biasanya termasuk saya) sering menunjukkan bahwa metode mereka tidak memerlukan prior dan karenanya lebih "didorong data" daripada "didorong penilaian". Tentu saja, Bayesian dapat menunjuk ke prior non-informatif, atau, karena pragmatis, cukup gunakan sebelumnya yang benar-benar difus.

Kekhawatiran saya, terutama setelah merasakan sedikit kebanggaan pada obyektivitas fequentist saya, adalah bahwa mungkin metode saya yang "obyektif" dapat dirumuskan dalam kerangka kerja Bayesian, meskipun dengan beberapa model data dan prior yang tidak biasa. Dalam hal itu, apakah saya hanya tidak tahu apa-apa tentang metode sebelumnya yang tidak masuk akal dan mengimplikasikan metode frequentist saya ?

Jika seorang Bayesian menunjukkan rumusan seperti itu, saya pikir reaksi pertama saya adalah mengatakan "Yah, itu bagus bahwa Anda dapat melakukan itu, tetapi bukan itu yang saya pikirkan tentang masalahnya!". Namun, siapa yang peduli bagaimana saya memikirkannya , atau bagaimana saya merumuskannya. Jika prosedur saya secara statistik / matematis setara dengan beberapa model Bayesian, maka saya secara implisit ( tanpa disadari !) Melakukan inferensi Bayesian.

Pertanyaan Aktual Di Bawah Ini

Realisasi ini secara substansial melemahkan godaan untuk menjadi sombong. Namun, saya tidak yakin apakah benar bahwa paradigma Bayesian dapat mengakomodasi semua prosedur yang sering terjadi (sekali lagi, asalkan Bayesian memilih prioritas dan kemungkinan yang sesuai) . Saya tahu sebaliknya adalah salah.

Saya menanyakan hal ini karena saya baru-baru ini memposting pertanyaan tentang conditional inference, yang membawa saya ke makalah berikut: di sini (lihat 3.9.5.3.9.6)

Mereka menunjukkan hasil Basu yang terkenal bahwa mungkin ada lebih dari satu statistik tambahan, yang mengajukan pertanyaan tentang "subset relevan" mana yang paling relevan. Lebih buruk lagi, mereka menunjukkan dua contoh di mana, bahkan jika Anda memiliki statistik tambahan yang unik, itu tidak menghilangkan kehadiran himpunan bagian yang relevan lainnya.

Mereka melanjutkan untuk menyimpulkan bahwa hanya metode Bayesian (atau metode yang setara dengan mereka) dapat menghindari masalah ini, yang memungkinkan inferensi kondisional yang tidak bermasalah.

Mungkin tidak demikian halnya dengan Bayesian Stats Fequentist Stats - itulah pertanyaan saya untuk grup ini di sini. Tetapi tampaknya pilihan mendasar antara kedua paradigma itu kurang terletak pada filosofi daripada pada tujuan: apakah Anda memerlukan akurasi bersyarat tinggi atau kesalahan tanpa syarat rendah :$\supset$

• Akurasi kondisional tinggi tampaknya berlaku ketika kita harus menganalisis contoh tunggal - kami ingin tepat untuk inferensi khusus INI, terlepas dari kenyataan bahwa metode ini mungkin tidak sesuai atau akurat untuk dataset berikutnya (hyper-conditionality / spesialisasi).

• Kesalahan tanpa syarat rendah adalah tepat ketika jika kita bersedia membuat kesimpulan yang salah secara kondisional dalam beberapa kasus, selama kesalahan jangka panjang kita diminimalkan atau dikendalikan. Jujur, setelah menulis ini, saya tidak yakin mengapa saya menginginkan ini kecuali saya kekurangan waktu dan tidak bisa melakukan analisis Bayesian ... hmmm.

Saya cenderung menyukai kesimpulan fequentist berbasis kemungkinan, karena saya mendapatkan beberapa persyaratan (asimptotik / perkiraan) dari fungsi kemungkinan, tetapi tidak perlu mengutak-atik prior - namun, saya menjadi semakin nyaman dengan inferensi Bayesian, terutama jika Saya melihat istilah regularisasi sebelumnya untuk inferensi sampel kecil.

Maaf atas kesampingnya. Setiap bantuan untuk masalah utama saya dihargai.

Saya berpendapat bahwa frequentist memang sering "implisit / tanpa disadari Bayesians", seperti dalam praktiknya kita sering ingin melakukan penalaran probabilistik tentang hal-hal yang tidak memiliki frekuensi jangka panjang. Contoh klasik adalah Null Hypothesis Statistical Testing (NHST), di mana apa yang benar-benar ingin kita ketahui adalah probabilitas relatif dari Null dan Hipotesis Penelitian menjadi benar, tetapi kita tidak dapat melakukan ini dalam pengaturan yang sering karena kebenaran hipotesis tertentu tidak memiliki frekuensi jangka panjang (non-sepele) - itu benar atau tidak. NHST yang sering mengatasinya dengan mengganti pertanyaan yang berbeda, "berapa probabilitas mengamati hasil setidaknya sama ekstrimnya dengan hipotesis nol" dan kemudian membandingkannya dengan ambang yang telah ditentukan sebelumnya. Namun prosedur ini tidak logis memungkinkan kita untuk menyimpulkan apa pun tentang apakah H0 atau H1 benar, dan dengan melakukan itu kita benar-benar melangkah keluar dari kerangka kerja frequentist menjadi kerangka Bayesian (biasanya subyektif), di mana kita menyimpulkan bahwa probabilitas untuk mengamati nilai ekstrem di bawah H0 adalah sangat rendah, sehingga kita tidak bisa lagi percaya bahwa H0 mungkin benar (perhatikan ini secara implisit menetapkan kemungkinan untuk hipotesis tertentu).

Perhatikan bahwa tidak benar bahwa prosedur frequentist tidak memiliki subjektivitas atau prior, dalam NHST ambang pada nilai-p, , melayani banyak tujuan yang sama seperti prior p ( H 0 ) dan p ( H 1 ) di analisis Bayesian. Ini diilustrasikan oleh kartun XKCD yang banyak dibahas:$\alpha$$p(H_0)$$p(H_1)$

$\alpha$

Interval kepercayaan bisa dibilang sering digunakan (dan diartikan sebagai) suatu interval di mana kita dapat berharap untuk melihat pengamatan dengan probabilitas yang diberikan, yang lagi-lagi merupakan interpretasi Bayesian.

Idealnya ahli statistik harus menyadari manfaat dan kerugian dari kedua pendekatan dan bersiap untuk menggunakan kerangka kerja yang tepat untuk aplikasi yang ada. Pada dasarnya kita harus bertujuan untuk menggunakan analisis yang memberikan jawaban paling langsung untuk pertanyaan yang sebenarnya ingin kita jawab (dan tidak secara diam-diam mengganti yang berbeda), jadi pendekatan yang kerap kali mungkin paling efisien di mana kita sebenarnya tertarik pada frekuensi jangka panjang dan Metode Bayesian di mana itu tidak terjadi.

$H_0$

Bayesians dan Frequentists tidak hanya berbeda dalam cara mereka memperoleh inferensi, atau seberapa mirip atau berbeda inferensi ini dengan ketidakpastian pilihan sebelumnya. Perbedaan utama adalah bagaimana mereka mengartikan probabilitas:

Probabilitas Bayesian :

Probabilitas Bayesian adalah salah satu interpretasi dari konsep probabilitas. Berbeda dengan menafsirkan probabilitas sebagai frekuensi atau kecenderungan dari beberapa fenomena, probabilitas Bayesian adalah kuantitas yang ditugaskan untuk mewakili keadaan pengetahuan, atau keadaan keyakinan.

Peluang frekuensi :

Probabilitas atau frekuensi yang sering terjadi adalah interpretasi standar atas probabilitas; itu mendefinisikan probabilitas suatu peristiwa sebagai batas frekuensi relatifnya dalam sejumlah besar percobaan. Interpretasi ini mendukung kebutuhan statistik para ilmuwan eksperimental dan lembaga survei; probabilitas dapat ditemukan (pada prinsipnya) dengan proses objektif berulang (dan dengan demikian idealnya tanpa pendapat). Itu tidak mendukung semua kebutuhan; penjudi biasanya membutuhkan perkiraan peluang tanpa eksperimen.

Kedua definisi ini mewakili dua pendekatan yang tidak dapat didamaikan untuk mendefinisikan konsep probabilitas (setidaknya sejauh ini). Jadi, ada perbedaan yang lebih mendasar antara kedua bidang ini daripada apakah Anda dapat memperoleh penaksir yang sama atau kesimpulan yang sama dalam beberapa model parametrik atau nonparametrik.