Menggugat prior dari para ahli

42

Bagaimana saya harus memperoleh distribusi sebelumnya dari para ahli ketika memasang model Bayesian?

bayesian prior elicitation csgillespie
sumber
9
Meskipun saya telah menerima jawaban, saya akan merekomendasikan bahwa orang yang tertarik harus melihat semua jawaban.
csgillespie

Jawaban:

28

Saat ini saya sedang meneliti metode uji coba roulette untuk tesis master saya sebagai teknik elisitasi. Ini adalah metode grafis yang memungkinkan seorang ahli untuk mewakili distribusi probabilitas subjektifnya untuk kuantitas yang tidak pasti.

Para ahli diberi penghitung (atau apa yang bisa dipikirkan sebagai chip kasino) yang mewakili kepadatan yang sama yang jumlahnya akan berjumlah 1 - misalnya 20 chip probabilitas = 0,05 masing-masing. Mereka kemudian diinstruksikan untuk mengaturnya pada kisi pra-cetak, dengan nampan mewakili interval hasil. Setiap kolom akan mewakili keyakinan mereka tentang kemungkinan mendapatkan hasil bin yang sesuai.

Contoh: Seorang siswa diminta untuk memprediksi nilai di ujian yang akan datang. Gambar di bawah ini menunjukkan kisi lengkap untuk elisitasi distribusi probabilitas subyektif. Sumbu horizontal dari grid menunjukkan kemungkinan nampan (atau tanda interval) yang diminta oleh siswa. Angka-angka di baris atas mencatat jumlah chip per bin. Kisi yang lengkap (menggunakan total 20 chip) menunjukkan bahwa siswa tersebut percaya bahwa ada kemungkinan 30% bahwa nilai antara 60 dan 64,9.

Beberapa alasan yang mendukung penggunaan teknik ini adalah:

  1. Banyak pertanyaan tentang bentuk distribusi probabilitas subjektif pakar dapat dijawab tanpa perlu mengajukan serangkaian pertanyaan panjang kepada pakar - ahli statistik hanya dapat membacakan kepadatan di atas atau di bawah titik tertentu, atau antara dua titik.

  2. Selama proses elisitasi, para ahli dapat bergerak di sekitar chip jika tidak puas dengan cara mereka menempatkannya pada awalnya - sehingga mereka dapat yakin tentang hasil akhir yang akan disampaikan.

  3. Ini memaksa ahli untuk menjadi koheren dalam serangkaian probabilitas yang disediakan. Jika semua chip digunakan, probabilitas harus berjumlah satu.

  4. Metode grafis tampaknya memberikan hasil yang lebih akurat, terutama untuk peserta dengan tingkat kecanggihan statistik sederhana.

Amanda
sumber
4
Keren! Silakan kirim tautan di sini ke tesis Anda setelah selesai dan / atau diterbitkan!
Harlan
@ Harlan Saya tidak bisa melacak tesisnya, tetapi metode roulette percobaan dijelaskan pada hlm 18 dari Menghasilkan Distribusi Probabilitas (referensi yang bagus ditunjukkan oleh @ john-l-taylor)
Abe
16

Menggugat prior adalah bisnis yang sulit.

Metode Statistik untuk Menghasilkan Distribusi Probabilitas dan Menghasilkan Probabilitas Distribusi adalah panduan praktis yang cukup baik untuk elisitasi sebelumnya. Proses di kedua makalah diuraikan sebagai berikut:

  1. latar belakang dan persiapan;
  2. mengidentifikasi dan merekrut tenaga ahli;
  3. motivasi dan pelatihan ahli;
  4. penataan dan dekomposisi (biasanya memutuskan dengan tepat variabel apa yang harus diperoleh, dan bagaimana memperoleh distribusi bersama dalam kasus multivariat);
  5. elisitasi itu sendiri.

Tentu saja, mereka juga meninjau bagaimana elisitasi menghasilkan informasi yang mungkin sesuai atau mendefinisikan distribusi (misalnya, dalam konteks Bayesian, distribusi Beta ), tetapi yang lebih penting, mereka juga mengatasi perangkap umum dalam pemodelan pengetahuan ahli (anchoring, distribusi sempit dan berekor kecil, dll.).

John L. Taylor
sumber
8

Saya akan merekomendasikan membiarkan ahli subjek menentukan mean atau mode dari sebelumnya tetapi saya akan merasa bebas untuk menyesuaikan apa yang mereka berikan sebagai skala . Kebanyakan orang tidak pandai mengukur varians.

Dan saya pasti tidak akan membiarkan ahli menentukan keluarga distribusi, khususnya ketebalan ekor. Misalnya, Anda perlu distribusi simetris untuk pendahulunya. Tidak ada yang dapat menentukan keyakinan subyektif mereka sedemikian rupa sehingga dapat membedakan distribusi normal dari, katakanlah, distribusi Student-t dengan 5 derajat kebebasan. Tetapi dalam beberapa konteks, t (5) prior jauh lebih kuat daripada normal sebelumnya. Singkatnya, saya pikir pilihan ketebalan ekor adalah masalah statistik teknis, bukan masalah mengukur pendapat ahli.

John D. Cook
sumber
Poin yang sangat baik tentang ekor, yang saya pikir adalah kuncinya. Contoh kontras lainnya adalah dengan mempertimbangkan weibull dan gamma sebagai alternatif dari log-normal. Dalam praktiknya, ini sering memberikan kecocokan yang lebih realistis untuk variabel positif yang condong ke kanan.
Abe
2

Pertanyaan menarik ini adalah pokok dari beberapa penelitian di ACERA . Peneliti utama adalah Andrew Speirs-Bridge, dan karyanya benar-benar google-mampu :)

Andrew Robinson
sumber