Banyak interval kepercayaan sering (CI) didasarkan pada fungsi kemungkinan. Jika distribusi sebelumnya benar-benar tidak informatif, maka posterior Bayesian pada dasarnya memiliki informasi yang sama dengan fungsi kemungkinan. Akibatnya, dalam praktiknya, interval probabilitas Bayesian (atau interval yang kredibel) mungkin sangat mirip secara numerik dengan interval kepercayaan yang sering terjadi. [Tentu saja, bahkan jika secara numerik serupa, ada perbedaan filosofis dalam interpretasi antara taksiran interval frequentist dan Bayesian.]
Berikut adalah contoh sederhana, memperkirakan probabilitas keberhasilan binomial
Misalkan kita memiliki pengamatan (percobaan) dengan keberhasilan.n = 100 X = 73θ.n=100X=73
Frequentist: Interval Wald tradisional menggunakan estimasi titik
Dan CI 95% adalah dalam bentuk
yang dihitung denganQ ±1,96√θ^=X/n=73/100=0.73.(0,643,
θ^±1.96θ^(1−θ^)n−−−−−−−−√,
(0.643,0.817).
n = 100; x = 73; th.w = x/n; pm = c(-1,1)
ci.w = th.w + pm*1.96*sqrt(th.w*(1-th.w)/n); ci.w
[1] 0.6429839 0.8170161
Bentuk CI ini mengasumsikan bahwa distribusi binomial yang relevan dapat didekati dengan yang normal dan bahwa margin of error diperkirakan dengan baik oleh
Khususnya untuk kecil asumsi ini tidak harus benar. [Kasus atau sangat bermasalah.] √θ(1−θ)/n−−−−−−−−−√n,X=0X=nθ^(1−θ^)/n−−−−−−−−−√.n,X=0X=n
The Agresti-Coull CI telah terbukti memiliki probabilitas cakupan yang lebih akurat. Interval ini 'menambah dua Kesuksesan dan dua Kegagalan' sebagai trik untuk mendapatkan probabilitas cakupan lebih dekat hingga 95%. Itu dimulai dengan estimasi titik
mana Kemudian CI 95% adalah dari bentuk
yang dihitung menjadiUntuk dan perbedaan antara kedua gaya interval kepercayaan ini hampir dapat diabaikan. ˜ n +4. ˜ θ ±1,96√θ~=(X+2)/n~,n~+4.(0,612,0,792). n>1000,3<˜θ<0,7,
θ~±1.96θ~(1−θ~)n~−−−−−−−−√,
(0.612,0.792).n>1000.3<θ~<0.7,
ci.a = th.a + pm*1.96*sqrt(th.a*(1-th.a)/n); ci.a
[1] 0.6122700 0.7915761
Bayesian:
Salah satu noninformatif populer sebelum dalam situasi ini adalahFungsi kemungkinan sebanding dengan
Mengalikan kernel dari prior dan kemungkinan kita memiliki kernel dari distribusi posterior
θ x ( 1 - θ ) n - x . B e t a ( x + 1 ,Beta(1,1)≡Unif(0,1).θx(1−θ)n−x.Beta(x+1,n−x+1).
Kemudian estimasi interval Bayesian 95% menggunakan kuantil 0,025 dan 0,975 dari distribusi posterior untuk mendapatkan
Ketika distribusi sebelumnya 'flat' atau 'noninformative' perbedaan numerik antara interval probabilitas Bayesian dan interval kepercayaan Agresti-Coull sedikit.(0.635,0.807).
qbeta(c(.025, .975), 74, 28)
[1] 0.6353758 0.8072313
Catatan: (a) Dalam situasi ini, beberapa orang Bayesian lebih suka yang sebelumnya(B) Untuk tingkat kepercayaan selain 95%, CI Agresti-Coull menggunakan estimasi titik yang sedikit berbeda. (c) Untuk data selain binomial, mungkin tidak tersedia 'flat' sebelumnya, tetapi orang dapat memilih sebelumnya dengan varians yang sangat besar (presisi kecil) yang membawa sedikit sekali informasi. (d) Untuk diskusi lebih lanjut tentang Agresti-Coull CI, grafik probabilitas cakupan, dan beberapa referensi, mungkin juga lihat Tanya Jawab ini .Beta(.5,.5).
Kemungkinan Bayesian dengan datar sebelum≠
Fungsi kemungkinan, dan terkait interval kepercayaan, tidak sama (konsep) sebagai probabilitas posterior Bayesian dibangun dengan sebelum yang menentukan distribusi seragam.
Pada bagian 1 dan 2 dari jawaban ini dikemukakan mengapa kemungkinan tidak boleh dilihat sebagai probabilitas posterior Bayesian berdasarkan pada flat sebelumnya.
Pada bagian 3 contoh diberikan di mana interval kepercayaan dan interval kredibel sangat bervariasi. Juga ditunjukkan bagaimana perbedaan ini muncul.
1 Perilaku berbeda ketika variabel ditransformasikan
Fungsi kemungkinan tidak berubah dengan cara ini . Ini adalah kontras antara fungsi kemungkinan dan probabilitas posterior. Fungsi kemungkinan (maksimum) tetap sama ketika Anda mentransformasikan variabel.
Terkait:
Flat sebelumnya adalah ambigu . Itu tergantung pada bentuk statistik tertentu.
Misalnya, jika adalah seragam didistribusikan (misalnya , maka adalah tidak variabel seragam didistribusikan.X U(0,1)) X2
Tidak ada flat tunggal sebelum Anda dapat menghubungkan fungsi Likelihood ke. Ini berbeda ketika Anda mendefinisikan flat sebelum atau variabel yang diubah seperti . Kemungkinan ketergantungan ini tidak ada.X X2
Batas-batas probabilitas (interval kredibilitas) akan berbeda ketika Anda mengubah variabel, (untuk fungsi kemungkinan ini tidak terjadi) . Misalnya untuk beberapa parameter dan transformasi monoton (misalnya logaritma) Anda mendapatkan interval kemungkinan yang setaraa f(a) aminf(amin)<<af(a)<<amaxf(amax)
2 Konsep berbeda: interval kepercayaan independen dari sebelumnya
Misalkan Anda sampel variabel dari populasi dengan (tidak diketahui) parameter yang itu sendiri (populasi dengan parameter ) diambil sampelnya dari populasi super (dengan kemungkinan nilai yang bervariasi untuk ).X θ θ θ
Satu dapat membuat pernyataan terbalik mencoba untuk menyimpulkan apa yang asli mungkin telah didasarkan pada mengamati beberapa nilai untuk variabel .θ xi X
Interval kepercayaan tidak menggunakan informasi dari sebelumnya seperti interval yang kredibel (kepercayaan bukan probabilitas).
Terlepas dari distribusi sebelumnya (seragam atau tidak) , interval kepercayaan-diri x% akan berisi parameter sebenarnya dalam kasusx (interval kepercayaan merujuk pada tingkat keberhasilan, kesalahan tipe I, metode, bukan kasus tertentu) .
Dalam kasus interval kredibel, konsep ini ( waktu interval mengandung parameter sebenarnya) bahkan tidak dapat diterapkan, tetapi kami dapat mengartikannya dalam pengertian frequentist dan kemudian kami mengamati bahwa interval kredibel hanya akan berisi parameter sebenarnya dari waktu ketika (seragam) sebelumnya dengan benar menggambarkan populasi super parameter yang mungkin kita temui. Interval mungkin secara efektif berkinerja lebih tinggi atau lebih rendah dari x% (bukan berarti ini penting karena pendekatan Bayesian menjawab pertanyaan yang berbeda, tetapi hanya untuk mencatat perbedaannya).x
3 Perbedaan antara interval kepercayaan dan kredibel
Dalam contoh di bawah ini kita menguji fungsi kemungkinan untuk distribusi eksponensial sebagai fungsi dari parameter rate , mean sampel , dan ukuran sampel :λ x¯ n
fungsi ini menyatakan probabilitas untuk mengamati (untuk dan ) contoh rata-rata antara dan .n λ x¯ x¯+dx
Catatan: parameter rate berubah dari hingga (tidak seperti OP 'request' dari ke ). Sebelumnya dalam hal ini akan menjadi sebelumnya tidak patut . Namun prinsipnya tidak berubah. Saya menggunakan perspektif ini untuk ilustrasi yang lebih mudah. Distribusi dengan parameter antara dan seringkali merupakan distribusi diskrit (sulit untuk menggambar garis kontinu) atau distribusi beta (sulit untuk dihitung)λ 0 ∞ 0 1 0 1
Gambar di bawah ini menggambarkan fungsi kemungkinan ini (peta berwarna biru), untuk ukuran sampel , dan juga menggambar batas untuk interval 95% (kepercayaan dan kredibilitas).n=4
Batas dibuat untuk mendapatkan fungsi distribusi kumulatif (satu dimensi). Tapi, integrasi / penumpukan ini bisa dilakukan dalam dua arah .
Perbedaan antara interval terjadi karena area 5% dibuat dengan cara yang berbeda.
Interval kepercayaan 95% berisi nilai yang nilai yang diamati akan terjadi setidaknya di 95% dari kasus. Lewat sini. berapapun nilainya , kami hanya akan membuat penilaian yang salah dalam 95% kasus.λ x¯ λ
Untuk Anda memiliki batas utara dan selatan (mengubah ) 2,5% dari bobot fungsi kemungkinan.λ x¯
Interval kredibel 95% berisi nilai yang paling mungkin menyebabkan nilai yang diamati (diberikan flat sebelumnya).λ x¯
Bahkan ketika hasil yang diamati kurang dari 5% kemungkinan untuk diberikan , tertentu mungkin berada di dalam interval yang kredibel. Dalam contoh tertentu nilai yang lebih tinggi dari 'disukai' untuk interval yang kredibel.x¯ λ λ λ
Untuk setiap Anda memiliki batas barat dan timur (mengubah ) 2,5% dari bobot fungsi kemungkinan.x¯ λ
Sebuah kasus di mana interval kepercayaan dan interval kredibel (berdasarkan sebelumnya tidak tepat) bertepatan adalah untuk memperkirakan rata-rata variabel terdistribusi Gaussian (distribusi diilustrasikan di sini: https://stats.stackexchange.com/a/351333/164061 ).
Kasus yang jelas di mana interval kepercayaan dan interval yang kredibel tidak bersamaan diilustrasikan di sini ( https://stats.stackexchange.com/a/369909/164061 ). Interval kepercayaan untuk kasus ini mungkin memiliki satu atau bahkan kedua dari batas (atas / bawah) pada tak terhingga.
sumber
Ini umumnya tidak benar, tetapi mungkin tampak demikian karena kasus-kasus khusus yang paling sering dianggap.
PertimbangkanInterval adalah interval kepercayaan untuk meskipun bukan yang digunakan oleh siapa pun yang memiliki akal sehat. Itu tidak bertepatan dengan interval kredibel dari posterior dari flat sebelumnya.( min { X , Y } , maks { X , Y } ) 50 % θ , 50 %X,Y∼i.i.d∼Uniform[θ−1/2,θ+1/2]. (min{X,Y},max{X,Y}) 50% θ, 50%
Teknik pengkondisian Fisher pada statistik tambahan tidak dalam hal ini menghasilkan interval kepercayaan yang bertepatan dengan interval yang kredibel.
sumber
Dari bacaan saya, saya pikir pernyataan ini benar asimptotik, yaitu untuk ukuran sampel yang besar, dan jika seseorang menggunakan sebelumnya tidak informatif.
Contoh numerik sederhana akan mengonfirmasi hal ini - interval kemungkinan maksimum profil 90% dan interval kredibel 90% dari biner GLM ML dan Bayesian binomial GLM memang hampir identik
n=1000
, meskipun perbedaan akan menjadi lebih besar untuk keciln
:Seperti yang Anda lihat, pada contoh di atas, untuk
n=1000
, interval kepercayaan profil 90% dari GLM binomial hampir identik dengan interval kredibel 90% dari binerial GLM Bayesian (perbedaannya juga dalam batas menggunakan benih yang berbeda dan berbeda Tidak ada iterasi dalam kesesuaian bayesian, dan kesetaraan yang tepat juga tidak dapat diperoleh karena menentukan 100% informasi sebelumnya juga tidak mungkin denganrstanarm
ataubrms
).sumber