Kapan distribusi sampling frequentist tidak dapat ditafsirkan sebagai posterior Bayesian dalam pengaturan regresi?

Pertanyaan aktual saya ada di dua paragraf terakhir, tetapi untuk memotivasi mereka:

Jika saya mencoba memperkirakan rata-rata dari variabel acak yang mengikuti distribusi normal dengan varian yang diketahui, saya telah membaca bahwa meletakkan seragam sebelum hasil rata-rata dalam distribusi posterior yang sebanding dengan fungsi kemungkinan. Dalam situasi ini, interval kredibel Bayesian tumpang tindih sempurna dengan interval kepercayaan frequentist, dan maksimum Bayesian perkiraan posteriori sama dengan estimasi kemungkinan maksimum frequentist.

Dalam pengaturan regresi linier sederhana,

$Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2)$

meletakkan seragam sebelum dan invers-gamma sebelum dengan nilai parameter kecil menghasilkan posterior yang akan sangat mirip dengan frequentist , dan interval yang kredibel untuk distribusi posterior dari yang akan sangat mirip dengan interval kepercayaan di sekitar perkiraan kemungkinan maksimum. Mereka tidak akan persis sama karena sebelum pada memberikan sedikit pengaruh, dan jika estimasi posterior dilakukan melalui simulasi MCMC yang akan memperkenalkan sumber perbedaan lain, tetapi interval kredibel Bayesian di sekitarσ 2 β M A P β M L E β | X σ 2 β M A $\beta$$\sigma^2$$\hat\beta^{MAP}$$\hat\beta^{MLE}$$\beta|X$$\sigma^2$$\hat\beta^{MAP}$dan interval kepercayaan frequentist sekitar akan cukup dekat satu sama lain, dan tentu saja ketika ukuran sampel meningkat mereka harus bertemu ketika pengaruh kemungkinan tumbuh untuk mendominasi yang sebelumnya.$\hat\beta^{MLE}$

Tetapi saya telah membaca bahwa ada juga situasi regresi di mana persamaan dekat ini tidak berlaku. Misalnya, regresi hierarkis dengan efek acak, atau regresi logistik - ini adalah situasi di mana, seperti yang saya pahami, tidak ada tujuan atau referensi referensi yang "baik".

Jadi pertanyaan umum saya adalah ini - dengan asumsi bahwa saya ingin membuat kesimpulan tentang$P(\beta|X)$dan bahwa saya tidak memiliki informasi sebelumnya yang ingin saya gabungkan, mengapa saya tidak dapat melanjutkan dengan estimasi kemungkinan maksimum yang sering dalam situasi ini dan menafsirkan estimasi koefisien yang dihasilkan dan kesalahan standar sebagai perkiraan MAP Bayesian dan standar deviasi, dan secara implisit memperlakukan ini Perkiraan "posterior" yang dihasilkan dari prior yang pasti "tidak informatif" tanpa berusaha menemukan formulasi eksplisit dari prior yang akan mengarah ke posterior seperti itu? Secara umum, dalam bidang analisis regresi, kapan boleh melanjutkan di bawah garis-garis ini (memperlakukan kemungkinan seperti posterior) dan kapan tidak oke? Bagaimana dengan metode frequentist yang tidak berbasis kemungkinan, seperti metode kuasi-kemungkinan,

Apakah jawaban tergantung pada apakah target kesimpulan saya adalah perkiraan titik koefisien, atau probabilitas koefisien berada dalam kisaran tertentu, atau jumlah dari distribusi prediktif?

Ini pada dasarnya adalah pertanyaan tentang -values$p$ dan kemungkinan maksimum. Biarkan saya mengutip Cohen (1994) di sini

Yang ingin kita ketahui adalah "Mengingat data ini, berapa probabilitas bahwa benar?" Tetapi seperti yang kita ketahui, apa yang dikatakan [ p- value] adalah "Mengingat bahwa H 0 benar, berapakah probabilitas data ini (atau lebih ekstrem)?" Ini tidak sama (...)$H_0$$p$$H_0$

Jadi -value memberitahu kita apa itu P ( D | H 0 ) , sementara kami tertarik pada P ( H 0 | D ) (lihat juga diskusi tentang Fisherian vs Neyman-Pearson$p$$P(D|H_0)$$P(H_0|D)$ kerangka kerja ).

Mari kita lupakan sejenak tentang nilai- . Probabilitas mengamati data kami dengan beberapa parameter θ adalah fungsi kemungkinan$p$$\theta$

itu adalah salah satu cara memandang kesimpulan statistik. Cara lain adalah pendekatan Bayesian di mana kita ingin belajar secara langsung (bukan secara tidak langsung) tentang dengan menggunakan teorema Bayes dan menggunakan prior untuk $P(\theta|D)$$\theta$

Sekarang, jika Anda melihat gambaran keseluruhan, Anda akan melihat bahwa -values ​​dan kemungkinan menjawab pertanyaan yang berbeda dari estimasi Bayesian.$p$

Jadi, sementara perkiraan kemungkinan maksimum harus sama dengan perkiraan MAP Bayesian berdasarkan prior seragam, Anda harus ingat bahwa mereka menjawab pertanyaan yang berbeda.

Cohen, J. (1994). Bumi itu bulat (p <.05). Psikolog Amerika, 49, 997-1003.