Apa yang dimaksud dengan prior implisit dalam statistik frequentist?

19

Saya pernah mendengar gagasan bahwa Jaynes mengklaim sering beroperasi dengan "sebelumnya implisit".

Apa itu prior implisit? Apakah ini berarti model frequentist semua kasus khusus model Bayesian menunggu untuk ditemukan?

Bayesquest
sumber
Sebelumnya implisit adalah distribusi yang merosot yang menempatkan seluruh massa probabilitas pada θ , parameter yang sering dicoba oleh Bayisian frequentist.
Dilip Sarwate
3
Sejauh yang saya tahu, tidak ada model frequentist atau bayesian, hanya ada model dan pendekatan yang berbeda untuk mereka.
Andrey Kolyadin
3
@DilipSarwate: Saya tidak setuju dengan pernyataan ini. Menggunakan massa Dirac sebagai prior tidak mendorong prosedur frequentist. Dan paradigma Bayesian tidak memungkinkan untuk prior dengan parameter yang tidak diketahui, kecuali ketika menetapkan sebelumnya pada parameter tersebut.
Xi'an
2
Selalu ada apa pun yang terjadi sebelumnya. Sayangnya semua prosedur statistik membutuhkan titik awal ad-hoc yang membuatnya sangat sewenang-wenang. Hal yang baik diberikan data yang cukup dan metodologi yang tepat Anda mendekati tujuan Anda. Yang buruk adalah seberapa jauh Anda berakhir dari tujuan tergantung pada di mana Anda memulai dan berapa banyak data yang Anda miliki.
Cagdas Ozgenc
2
@Cagdas Ozgenc: Tidak, selalu ada asumsi , tetapi mereka tidak perlu berbentuk distribusi sebelumnya.
kjetil b halvorsen

Jawaban:

17

Dalam teori keputusan frequentist, ada hasil kelas lengkap yang mencirikan prosedur yang dapat diterima sebagai prosedur Bayes atau sebagai batas prosedur Bayes. Sebagai contoh, Stein perlu dan kondisi yang cukup (Stein. 1955; Farrell, 1968b) menyatakan bahwa, berdasarkan asumsi berikut

  1. kerapatan sampling kontinu dalam θ dan benar-benar positif pada Θ ; danf(x|θ)θΘ
  2. fungsi kerugian ketat cembung, terus menerus dan, jika E q kompak, lim δ + inf θ E L ( θ , δ ) = + .LEΘ
    limδ+infθEL(θ,δ)=+.

estimator dapat diterima jika, dan hanya jika, adaδ

  • urutan dari peningkatan set kompak sedemikian rupa sehingga Θ = n F n ,(Fn)Θ=nFn
  • urutan langkah-langkah terbatas dengan dukungan , dan(πn)Fn
  • urutan dari penaksir Bayes yang terkait dengan sedemikian rupaπ n(δn)πn

    1. ada set kompak sedemikian rupa sehinggainf n π n ( E 0 ) 1E0Θinfnπn(E0)1
    2. jika kompak,sup n π n ( E ) < + EΘsupnπn(E)<+
    3. limnr(πn,δ)r(πn)=0 dan
    4. limnR(θ,δn)=R(θ,δ) .

[direproduksi dari buku saya, Bayesian Choice , Theorem 8.3.0, p.407]

Dalam pengertian terbatas ini, sifat kerap diterima secara umum diberkahi dengan latar belakang Bayesian, karenanya mengaitkan prior (atau urutannya) secara implisit dengan masing-masing estimator yang dapat diterima.

Sidenote: Dalam suatu kebetulan yang menyedihkan, Charles Stein meninggal pada tanggal 25 November di Palo Alto, California. Dia berusia 96 tahun.

Ada hasil yang serupa (jika secara matematis terlibat) untuk estimasi invarian atau equivariant, yaitu bahwa estimator equivariat terbaik adalah estimator Bayes untuk setiap grup transitif yang bekerja pada model statistik, yang dikaitkan dengan ukuran Haar yang tepat, , yang diinduksi pada oleh grup ini dan kerugian invarian terkait. Lihat Pitman (1939), Stein (1964), atau Zidek (1969) untuk rinciannya. Ini kemungkinan besar apa yang ada dalam pikiran Jaynes , ketika ia berpendapat secara paksa tentang resolusi paradoks marjinalisasi oleh prinsip invarian .πΘ

Lebih jauh, sebagaimana dirinci dalam jawaban civilstat , gagasan optimalitas lain yang sering muncul, yaitu minimaxity, juga terhubung ke prosedur Bayesian di mana prosedur minimax yang meminimalkan kesalahan maksimal (di atas ruang parameter) seringkali merupakan prosedur maximin yang memaksimalkan kesalahan minimal ( atas semua distribusi sebelumnya), maka itu adalah prosedur Bayes atau batas Bayes.

Q: Apakah ada takeaway tipis yang dapat saya gunakan untuk mentransfer intuisi Bayesian saya ke model yang sering?

Pertama saya akan menghindari menggunakan istilah "model frequentist" karena ada model pengambilan sampel (data adalah realisasi untuk nilai parameter )xXf(x|θ)θ dan prosedur frequentist (penaksir tidak bias terbaik, minimum interval kepercayaan varians, & tc.)Kedua, saya tidak melihat alasan metodologis atau teoretis yang meyakinkan untuk mempertimbangkan metode frequentist sebagai batas atau membatasi metode Bayesian. Pembenaran untuk prosedur frequentist, ketika ada, adalah untuk memenuhi beberapa properti optimalitas dalam ruang pengambilan sampel, yaitu ketika mengulangi pengamatan. Pembenaran utama untuk prosedur Bayesian adalah untuk menjadi optimal [di bawah kriteria spesifik atau fungsi kerugian] diberikan distribusi sebelumnya dan satu realisasi dari model pengambilan sampel. Kadang-kadang, prosedur yang dihasilkan memuaskan beberapa properti yang sering terjadi ( wilayah yang kredibel % adalah wilayah kepercayaan %)9595 , tetapi hal ini terjadi karena optimalitas ini tidak ditransfer ke semua prosedur yang terkait dengan model Bayesian.

Xi'an
sumber
1
Terima kasih banyak. Sebagai seorang pemula, Apakah ada takeaway bernas yang dapat saya gunakan untuk mentransfer intuisi bayesian saya ke model yang sering? yaitu (GLM ini mirip dengan x dengan y sebelumnya, atau laso ini seperti bayesian xyz).
Bayesquest
1
Juga, maukah Anda melihat pertanyaan saya yang lain di sini: stats.stackexchange.com/questions/247850/... Saya tahu Anda telah mengusulkan beberapa solusi untuk masalah kerapuhan bayesian ... tapi saya merasa solusinya tidak kuat atau mudah digunakan untuk ilmuwan sosial.
Bayesquest
1
Untuk komentar pertama, berikut adalah beberapa contoh dari apa yang saya bicarakan: - Jaring saraf & dokter umum - stats.stackexchange.com/questions/71782/… - sumsar.net/blog/2015/04/… - [A Bayesian nonparametric (npB) sudut pandang memungkinkan interpretasi hutan sebagai sampel dari posterior di atas pohon] ( arxiv.org/pdf/1502.02312.pdf )
Bayesquest
Kami bekerja pada Perkiraan Bayesian Approximate dengan hutan acak dan menemukan bahwa variabilitas yang dihasilkan dari alat itu agak tidak terkait dengan posterior asli. Tentu saja, ini tidak berarti itu tidak memungkinkan untuk penafsiran Bayesian tetapi tetap ...
Xi'an
12

@ Jawaban Xi'an lebih lengkap. Tapi karena Anda juga meminta untuk dibawa pulang, inilah satu. (Konsep yang saya sebutkan tidak persis sama dengan pengaturan penerimaan di atas.)

θθ^

ππ

Dalam pengertian ini, Anda bisa mengatakan: A (menggunakan minimax) Frequentist seperti seorang Bayesian yang memilih (estimasi titik berdasarkan pada) yang paling tidak menguntungkan sebelumnya.

Mungkin Anda bisa mengatakan hal ini: Frequentist seperti itu adalah seorang Bayesian konservatif, memilih bukan prior subjektif atau bahkan primor uninformative tetapi (dalam pengertian tertentu) prioror kasus terburuk.

Akhirnya, seperti yang orang lain katakan, sangat sulit untuk membandingkan Frequentists dan Bayesians dengan cara ini. Menjadi seorang Frequentist tidak selalu menyiratkan bahwa Anda menggunakan penduga tertentu. Ini hanya berarti bahwa Anda mengajukan pertanyaan tentang properti sampling estimator Anda, sedangkan pertanyaan ini bukan prioritas utama Bayesian. (Jadi setiap Bayesian yang berharap untuk properti contoh yang baik, misalnya "Bayes dikalibrasi," adalah juga sebuah Frequentist.)
Bahkan jika Anda mendefinisikan Frequentist sebagai salah satu yang estimator selalu memiliki optimal sifat sampling, ada banyak sifat seperti itu dan Anda tidak bisa selalu temui mereka sekaligus. Jadi sulit untuk berbicara secara umum tentang "semua model Frequentist."

civilstat
sumber
3
Saya berpikir bahwa prior implisit untuk analisis frequentist akan menjadi beberapa seragam sebelumnya.
Michael R. Chernick
4
Terkadang bisa. Anda bisa menganggap MLE sebagai estimasi MAP menggunakan seragam sebelumnya. Tetapi MLE bukan satu-satunya alat yang digunakan oleh Frequentists.
civilstat
1α1α