Apakah sebelumnya samar-samar sama dengan sebelumnya tidak informatif?

27

Ini adalah pertanyaan tentang terminologi. Apakah "prior samar" sama dengan prior non-informatif, atau adakah perbedaan di antara keduanya? Kesan saya adalah mereka sama (dari melihat bersama dan tidak informatif bersama-sama), tetapi saya tidak bisa memastikan.

bayesian
sumber
1
Samar-samar: Ya. Non-informatif: No.
kardinal

Jawaban:

18

Gelman et al. (2003) mengatakan:

telah lama ada keinginan untuk distribusi sebelumnya yang dapat dijamin untuk memainkan peran minimal dalam distribusi posterior. Distribusi semacam itu kadang-kadang disebut 'referensi prior distribution' dan kepadatan sebelumnya digambarkan sebagai tidak jelas, datar, atau noninformatif . [Penekanan dari teks asli]

Berdasarkan bacaan saya tentang pembahasan Jeffreys sebelumnya di Gelman et al. (2003, hal.62 dst., Tidak ada konsensus tentang keberadaan prior yang benar-benar non-informatif, dan cukup prima yang tidak jelas / datar / difus.

Beberapa poin yang mereka buat:

  1. Setiap prior termasuk informasi, termasuk prior yang menyatakan bahwa tidak ada informasi yang diketahui.
    • Misalnya, jika kita tahu bahwa kita tidak tahu tentang parameter yang dimaksud, maka kita tahu sesuatu tentang itu.
  2. Dalam sebagian besar konteks yang diterapkan, tidak ada keuntungan yang jelas untuk prior yang benar-benar non-informatif ketika cukup cukup samar, dan dalam banyak kasus ada keuntungan - seperti menemukan prior yang tepat - untuk menggunakan parameterisasi samar konjugat sebelumnya.
  3. Prinsip Jeffreys dapat berguna untuk membangun prior yang meminimalkan konten informasi Fisher dalam model univariat, tetapi tidak ada analog untuk kasus multivariat
  4. Saat membandingkan model, prioritas Jeffrey akan bervariasi dengan distribusi kemungkinan, sehingga prior juga harus berubah.
  5. pada umumnya ada banyak perdebatan tentang apakah sebelumnya ada non-informatif (karena 1, tetapi juga melihat diskusi dan referensi pada hal.66 dalam Gelman et al. untuk sejarah debat ini).

perhatikan ini adalah komunitas wiki - Teori yang mendasari adalah pada batas pemahaman saya, dan saya akan sangat menghargai kontribusi untuk jawaban ini.

Gelman et al. Analisis Data Bayesian 2003, Chapman dan Hall / CRC

David
sumber
1
Gelman sendiri telah bergerak melampaui prior "noninformatif", lihat misalnya stat.columbia.edu/~cook/movabletype/archives/2007/07/… dan makalah yang saya referensi dalam jawaban saya, dan karya-karya lain miliknya. Sikap ini tampaknya semakin lazim di kalangan ahli statistik terapan.
JMS
@ JMS Gelman et. Al. 2003 menyatakan hal ini, dan saya telah mencoba untuk meringkasnya, mereka tampaknya mempertimbangkan prior noninformative untuk latar belakang / tujuan teoritis / heuristik
David LeBauer
Ya, buku teks tentang statistik Bayesian tentu tidak bisa mengabaikannya. Saya hanya bermaksud menambahkan bahwa tren dalam statistik terapan sejak saat itu adalah menjauh dari pilihan-pilihan tradisional ini, meskipun pekerjaan terus berlanjut pada "bayes objektif"
JMS
Saya pikir orang cenderung menggunakan informasi dalam dua cara ketika menggambarkan prior, dalam arti informal dan dalam pengertian teoritis informasi. Jadi, Anda dapat memasang perangkat dengan entropi maksimum sebelum yang berisi informasi sesedikit mungkin, dalam pengertian teori informasi. Menggunakan distribusi ini Anda (mungkin) memberi sinyal bahwa "Anda tidak tahu apa-apa tentang parameter", ini bisa sangat informatif dalam arti yang lebih informal ...
Rasmus Bååth
9

Jelas tidak, meskipun mereka sering digunakan secara bergantian. Sebelumnya tidak jelas (relatif tidak diinformasikan, tidak benar-benar mendukung beberapa nilai di atas yang lain) pada parameter sebenarnya dapat menginduksi sebelumnya sangat informatif sebelum beberapa transformasi lain . Ini setidaknya bagian dari motivasi untuk Jeffreys sebelumnya, yang awalnya dibangun untuk menjadi tidak informatif mungkin.f ( θ )θf(θ)

Priors yang tidak jelas juga dapat melakukan beberapa hal yang cukup menyedihkan pada model Anda. Contoh sekarang-klasik adalah menggunakan sebagai prior pada komponen varians dalam model hierarkis.ϵ 0InverseGamma(ϵ,ϵ)ϵ0

Pembatasan sebelumnya yang tidak tepat memberikan posterior yang tidak tepat dalam kasus ini. Alternatif yang populer adalah mengambil menjadi sangat kecil, yang menghasilkan sebelum yang terlihat hampir seragam di . Tapi itu juga menghasilkan posterior yang hampir tidak layak, dan model pas dan kesimpulan menderita. Lihat distribusi Sebelumnya Gelman untuk parameter varians dalam model hierarkis untuk penjelasan lengkap.R +ϵR+

Sunting: @csgillespie (benar!) Menunjukkan bahwa saya belum sepenuhnya menjawab pertanyaan Anda. Menurut saya, prior non-informatif adalah yang tidak jelas dalam arti bahwa itu tidak secara khusus mendukung satu area ruang parameter daripada yang lain, tetapi dengan melakukan hal itu seharusnya tidak mendorong prior informatif pada parameter lain. Jadi prior non-informatif tidak jelas tetapi prior samar tidak selalu tidak informatif. Salah satu contoh di mana ini mulai berlaku adalah pemilihan variabel Bayesian; "kabur" sebelum probabilitas inklusi variabel sebenarnya dapat menyebabkan cukup informatif sebelum jumlah variabel yang dimasukkan dalam model!

Tampaknya bagi saya bahwa pencarian untuk informasi yang benar-benar tidak informatif adalah quixotic (walaupun banyak yang akan tidak setuju); lebih baik untuk menggunakan apa yang disebut priors informatif "lemah" (yang, saya kira, umumnya tidak jelas dalam beberapa hal). Sungguh, seberapa sering kita tidak tahu tentang parameter yang dimaksud?

JMS
sumber
Jawaban Anda sangat bagus, tetapi Anda tidak benar-benar menyatakan apa yang "sebelumnya tidak informatif" dan bagaimana itu berbeda dari "sebelumnya tidak jelas";)
csgillespie
@cgillespie: Anda benar, diedit :)
JMS
mengikuti dari paragraf terakhir Anda dan mendukung sifat quixotic pencarian: jika kami tahu bahwa kami tidak tahu tentang parameter yang dimaksud, maka kami tahu sesuatu tentang itu.
David LeBauer
Cukup! Ironisnya adalah bahwa banyak orang yang menghabiskan begitu banyak energi untuk meratapi pilihan mereka sebelumnya tidak berpikir dua kali sebelum membuang kemungkinan. Kemungkinan kesalahan yang ditentukan jauh lebih mungkin menyebabkan masalah, secara umum. Tapi itu pertanyaan lain sepenuhnya ...
JMS
5

Lambert et al (2005) mengajukan pertanyaan "How Vague is Vague? Sebuah studi simulasi tentang dampak penggunaan distribusi sebelumnya yang tidak jelas dalam MCMC menggunakan WinBUGS ". Mereka menulis: "Kami tidak menganjurkan penggunaan istilah distribusi non-informatif sebelumnya karena kami mempertimbangkan semua prior untuk berkontribusi beberapa informasi". Saya cenderung setuju tetapi saya jelas bukan ahli dalam statistik Bayesian.

Bernd Weiss
sumber
2
Itu sesuai dengan keyakinan saya sebelumnya yang subyektif bahwa tidak ada yang namanya non-informatif sebelumnya.
onestop
@onestop, tolong pertimbangkan berkontribusi untuk jawaban CW saya
David LeBauer
IG(ϵ,ϵ)ϵ0
3

Saya menduga "vague prior" digunakan untuk berarti prior yang diketahui mengkodekan sejumlah kecil, tetapi tidak nol pengetahuan tentang nilai sebenarnya dari suatu parameter, sedangkan "prior non-informatif" akan digunakan untuk berarti ketidaktahuan lengkap mengenai nilai parameter itu. Mungkin akan digunakan untuk menunjukkan bahwa analisis itu tidak sepenuhnya objektif.

Sebagai contoh, Gaussian yang sangat luas mungkin merupakan prior yang tidak jelas untuk parameter di mana prior yang non-informatif akan seragam. Gaussian akan menjadi hampir datar pada skala bunga, tetapi tetap akan lebih menyukai satu nilai tertentu sedikit lebih dari yang lain (tapi itu mungkin membuat masalah lebih mudah ditangani secara matematis).

Dikran Marsupial
sumber
ini menimbulkan pertanyaan apakah seragam itu benar-benar tidak informatif? apa yang akan menjadi maks dan min dari seragam non-informatif? Apakah sebelumnya tidak informatif setelah transformasi ke skala lain?
David LeBauer
1
Prior yang seragam tidak selalu tidak informatif dan sebaliknya, itu tergantung pada sifat masalahnya. Saya pikir ide tentang prior informatif minimal seringkali lebih realistis, menggunakan MAXENT dan kelompok transformasi untuk memutuskan distribusi sebelumnya yang menyampaikan jumlah minimum informasi yang terkandung dengan kendala yang diketahui (misalnya bahwa prior harus invarian untuk penskalaan). Untuk banyak masalah, prior prior yang tidak tepat berfungsi dengan baik, sehingga tidak perlu ada minimum dan maksimum yang didefinisikan dengan baik.
Dikran Marsupial
2

Prior non-informatif memiliki bentuk yang berbeda. Bentuk-bentuk ini termasuk prior yang tidak jelas dan prior yang tidak tepat. Jadi prior samar-samar adalah bagian dari prior non-informatif.

pengguna26652
sumber