Apa pembenaran keputusan-teoretis untuk prosedur interval Bayesian yang kredibel?

20

(Untuk mengetahui mengapa saya menulis ini, periksa komentar di bawah jawaban saya untuk pertanyaan ini .)

Tipe III kesalahan dan teori keputusan statistik

Memberikan jawaban yang benar untuk pertanyaan yang salah kadang-kadang disebut kesalahan Tipe III. Teori keputusan statistik adalah formalisasi pengambilan keputusan di bawah ketidakpastian; ini menyediakan kerangka kerja konseptual yang dapat membantu seseorang menghindari kesalahan tipe III. Elemen kunci dari kerangka kerja ini disebut fungsi kerugian . Dibutuhkan dua argumen: yang pertama adalah (bagian yang relevan dari) keadaan sebenarnya dari dunia (misalnya, dalam masalah estimasi parameter, nilai parameter sebenarnya ); yang kedua adalah elemen dalam himpunan tindakan yang mungkin (misalnya, dalam masalah estimasi parameter, estimasiq )θθ^). Outputnya memodelkan kerugian yang terkait dengan setiap tindakan yang mungkin terjadi sehubungan dengan setiap kemungkinan kondisi dunia yang sebenarnya. Misalnya, dalam masalah estimasi parameter, beberapa fungsi kerugian yang terkenal adalah:

  • hilangnya kesalahan absolutL.(θ,θ^)=|θ-θ^|
  • kerugian kesalahan kuadratL.(θ,θ^)=(θ-θ^)2
  • Kehilangan LINEX Hal VarianL.(θ,θ^;k)=exp(k(θ-θ^))-k(θ-θ^)-1, k0

Meneliti jawaban untuk menemukan pertanyaan

Ada kasus yang orang mungkin mencoba untuk membuat kesalahan tipe III dapat dihindari dengan berfokus pada merumuskan fungsi kerugian yang benar dan melanjutkan melalui sisa pendekatan teoretik-keputusan (tidak dirinci di sini). Itu bukan uraian singkat saya - lagipula, ahli statistik dilengkapi dengan banyak teknik dan metode yang bekerja dengan baik meskipun mereka tidak berasal dari pendekatan semacam itu. Tetapi hasil akhirnya, menurut saya, adalah bahwa sebagian besar ahli statistik tidak tahu dan tidak peduli dengan teori keputusan statistik, dan saya pikir mereka kehilangan. Bagi para ahli statistik, saya berpendapat bahwa alasan mereka mungkin menganggap teori keputusan statistik berharga dalam hal menghindari kesalahan Tipe III adalah karena memberikan kerangka kerja untuk menanyakan prosedur analisis data yang diajukan:fungsi kerugian apa (jika ada) yang ditangani oleh prosedur secara optimal? Yaitu, dalam situasi pengambilan keputusan apa, tepatnya, apakah itu memberikan jawaban terbaik?

Kerugian yang diperkirakan posterior

Dari perspektif Bayesian, fungsi kerugian adalah semua yang kita butuhkan. Kami dapat cukup banyak melewatkan sisa teori keputusan - hampir menurut definisi, hal terbaik untuk dilakukan adalah untuk meminimalkan posterior diharapkan kerugian, yaitu, menemukan tindakan yang meminimalkan .˜ L ( a ) = Θ L ( θ , a ) p ( θ | D ) d θSebuahL.~(Sebuah)=ΘL.(θ,Sebuah)hal(θ|D)dθ

(Dan untuk perspektif non-Bayesian? Nah, itu adalah teorema teori keputusan yang sering terjadi - khususnya, Teorema Kelas Lengkap Wald - bahwa tindakan optimal akan selalu meminimalkan kerugian posterior Bayesian yang diharapkan sehubungan dengan beberapa (mungkin tidak tepat)) Kesulitan dengan hasil ini adalah bahwa itu adalah teorema keberadaan yang tidak memberikan pedoman yang sebelum digunakan.Tetapi itu berbuah membatasi kelas prosedur yang kita dapat "membalikkan" untuk mencari tahu persis pertanyaan mana yang kita Menjawab Secara khusus, langkah pertama dalam membalikkan prosedur non-Bayesian adalah untuk mencari tahu mana (jika ada) prosedur Bayesian yang direplikasi atau didekati.)

Hei Cyan, Anda tahu ini adalah situs tanya jawab, kan?

Yang membawa saya - akhirnya - ke pertanyaan statistik. Dalam statistik Bayesian, ketika memberikan estimasi interval untuk parameter univariat, dua prosedur interval kredibel yang umum adalah interval kredibel berbasis kuantil dan interval kredibilitas posterior kepadatan tertinggi. Apa fungsi kerugian di balik prosedur ini?

Cyan
sumber
Sangat bagus. Tetapi apakah mereka satu - satunya fungsi kerugian yang membenarkan prosedur ini?
Tamu
1
@Cyan >> Terima kasih telah bertanya dan menjawab pertanyaan untuk saya :) Saya akan membaca semua ini dan membenarkan bila memungkinkan.
Stéphane Laurent
4
Kutipan menarik dari teori keputusan statistik Berger dan analisis Bayesian : "kami tidak melihat perangkat yang kredibel memiliki peran teoretik keputusan yang jelas, dan karenanya curiga dengan pendekatan 'optimal' untuk pemilihan perangkat yang kredibel"
Simon Byrne
1
@Simon Byrne >> 1985 sudah lama; Aku ingin tahu apakah dia masih berpikir seperti itu.
Cyan
1
@Cyan: Saya tidak tahu, tetapi teori keputusan adalah satu bagian dari statistik Bayesian yang tidak banyak berubah selama 27 tahun terakhir (ada beberapa hasil yang menarik, tetapi buku Berger masih menjadi referensi standar), terutama bila dibandingkan dengan hasil minimal popularitas dalam statistik frequentist.
Simon Byrne

Jawaban:

15

Dalam estimasi interval univariat, himpunan tindakan yang mungkin adalah himpunan pasangan berurutan yang menentukan titik akhir interval. Biarkan elemen set tersebut diwakili oleh .(a,b), ab

Interval kepadatan posterior tertinggi

Biarkan kerapatan posterior menjadi . Interval kepadatan posterior tertinggi sesuai dengan fungsi kehilangan yang menghukum suatu interval yang gagal mengandung nilai sebenarnya dan juga menghukum interval dalam proporsi dengan panjangnya:f(θ)

LHPD(θ,(a,b);k)=I(θ[a,b])+k(ba),0<kmaxθf(θ) ,

di mana adalah fungsi indikator . Ini memberikan kerugian posterior yang diharapkanI()

L~HPD((a,b);k)=1Pr(aθb|D)+k(ba) .

Mengatur menghasilkan kondisi yang diperlukan untuk suatu optimal lokal di bagian dalam ruang parameter: - persis aturan untuk interval HPD, seperti yang diharapkan.f(a)=f(b)=kaL~HPD=bL~HPD=0f(a)=f(b)=k

Bentuk memberikan beberapa wawasan mengapa interval HPD tidak berbeda dengan transformasi monoton peningkatan dari parameter. The -space HPD selang berubah menjadi ruang berbeda dari -space HPD selang karena dua interval sesuai dengan fungsi kerugian yang berbeda: -space HPD Interval bersesuaian dengan penalti panjang yang diubah .g(θ)θg(θ)g(θ)g(θ)k(g(b)-g(a))L~HPD((a,b);k)g(θ)θg(θ)g(θ)g(θ)k(g(b)g(a))

Interval kredibel berbasis kuantitas

Pertimbangkan estimasi titik dengan fungsi kerugian

Lq(θ,θ^;p)=p(θ^θ)I(θ<θ^)+(1p)(θθ^)I(θθ^), 0p1 .

Kerugian yang diharapkan posterior adalah

L~q(θ^;p)=p(θ^E(θ|θ<θ^,D))+(1p)(E(θ|θθ^,D)θ^) .

Pengaturan menghasilkan persamaan implisitddθ^L~q=0

Pr(θ<θ^|D)=p ,

yaitu, optimal adalah % quantile dari distribusi posterior, seperti yang diharapkan.θ^(100p)

Jadi untuk mendapatkan estimasi interval berbasis kuantil, fungsi kerugiannya adalah

LqCI(θ,(a,b);pL,pU)=Lq(θ,a;pL)+Lq(θ,b;pU) .

Cyan
sumber
1
Cara lain untuk memotivasi ini adalah menulis ulang fungsi kerugian sebagai jumlah (tertimbang) dari lebar interval ditambah jarak, jika ada, dimana interval gagal untuk menutupi . θ
Tamu
Apakah ada cara lain untuk memikirkan interval berbasis kuantil yang tidak secara langsung mereferensikan kuantil atau panjang interval. Saya berharap untuk sesuatu seperti "interval kuantil memaksimalkan / meminimalkan rata-rata / minimum / maksimum / dll. Sesuatu-ukuran"
Rasmus Bååth
@ RasmusBååth, Anda pada dasarnya bertanya, "kondisi apa yang diperlukan pada fungsi kehilangan untuk interval kuantil untuk menjadi solusi untuk meminimalkan kerugian yang diperkirakan posterior?" Intuisi saya, hanya dari cara matematika bekerja di arah maju, adalah bahwa ini sudah cukup. Tapi belum terbukti.
Cyan
Jadi saya tidak yakin tentang fungsi kerugian, tetapi saya tahu prosedur yang, tergantung pada fungsi kehilangan titik , akan menghasilkan HPD atau interval kuantil. Asumsikan Anda memiliki sampel acak imbang dari posterior. 1. Pilih titik dalam dengan kerugian posterior terendah dan tambahkan titik itu ke interval Anda. 2. Lepaskan titik itu dari , karena penghilangan ini kehilangan posterior untuk sisa poin dalam sekarang dapat berubah (tergantung pada ). 3. Berbahagia jika interval Anda memiliki cakupan yang diperlukan, jika tidak ulangi dari (1). L = L0 memberikan HPD, L = L1 memberikan interval kuantil. LssssL
Rasmus Bååth
5
hanya menyebutkan bahwa Bagian 5.5.3 dari Bayesian Choice mencakup derivasi berdasarkan kehilangan set yang kredibel ...
Xi'an
1

Interval ukuran minimal

Salah satu pilihan yang jelas dari fungsi kehilangan untuk pemilihan interval (baik Bayesian dan frequentist) adalah menggunakan ukuran interval yang diukur dalam distribusi marjinal. Jadi, mulailah dengan properti yang diinginkan atau fungsi kerugian, dan turunkan interval yang optimal. Ini cenderung tidak dilakukan, seperti yang dicontohkan oleh pertanyaan saat ini, meskipun itu mungkin. Untuk set yang kredibel Bayesian, ini sesuai untuk meminimalkan probabilitas sebelumnya dari interval, atau untuk memaksimalkan keyakinan relatif, misalnya, sebagaimana diuraikan dalam Evans (2016). Ukuran ini juga dapat digunakan untuk memilih set kepercayaan yang sering terjadi (Schafer 2009). Kedua pendekatan tersebut saling terkait dan dapat diimplementasikan dengan cukup mudah melalui aturan keputusan yang secara istimewa memasukkan keputusan dengan informasi timbal balik yang besar (Bartels 2017).

Bartels, C., 2017. Menggunakan pengetahuan sebelumnya dalam tes yang sering dilakukan. figshare. https://doi.org/10.6084/m9.figshare.4819597.v3

Evans, M., 2016. Mengukur bukti statistik menggunakan kepercayaan relatif. Jurnal bioteknologi komputasi dan struktural, 14, hlm.91-96.

Schafer, CM dan Stark, PB, 2009. Membangun wilayah kepercayaan dengan ukuran yang diharapkan optimal. Jurnal Asosiasi Statistik Amerika, 104 (487), hlm.1080-1089.

pengguna36160
sumber
Saya melihat Anda mengutip Evans sesuai saran Keith O'Rourke ( andrewgelman.com/2016/07/17/… ). Saya sangat suka barang-barang Evans.
Cyan
Saya sangat senang mendapat informasi dari Keith tentang pekerjaan yang dimulai secara berbeda tetapi berakhir pada kesimpulan yang sama! Penting untuk mengutip ini.
user36160