Apa hubungan antara wilayah yang kredibel dan tes hipotesis Bayesian?

Dalam statistik frequentist, ada hubungan erat antara interval kepercayaan dan tes. Menggunakan inferensi tentang dalam distribusi sebagai contoh, interval kepercayaan berisi semua nilai yang tidak ditolak oleh uji- pada tingkat signifikansi .$\mu$$\rm N(\mu,\sigma^2)$$1-\alpha$

$$\bar{x}\pm t_{\alpha/2}(n-1)\cdot s/\sqrt{n}$$ $\mu$$t$$\alpha$

Interval kepercayaan sering dalam tes terbalik ini. (Kebetulan, ini berarti bahwa kita dapat menginterpretasikan nilai sebagai nilai terkecil dari yang nilai null dari parameter akan dimasukkan dalam interval kepercayaan . Saya menemukan bahwa ini bisa menjadi cara yang berguna untuk jelaskan apa nilai- sebenarnya bagi orang yang tahu sedikit statistik.)$p$$\alpha$$1-\alpha$$p$

Membaca tentang fondasi teoretis-keputusan dari wilayah Bayesian yang kredibel , saya mulai bertanya-tanya apakah ada hubungan / kesetaraan yang sama antara wilayah yang kredibel dan tes Bayesian.

• Apakah ada koneksi umum?
• Jika tidak ada koneksi umum, apakah ada contoh di mana ada koneksi?
• Jika tidak ada koneksi umum, bagaimana kita bisa melihatnya?

Saya berhasil menemukan contoh di mana koneksi ada. Tampaknya sangat tergantung pada pilihan saya fungsi kerugian dan penggunaan hipotesis komposit.

Saya mulai dengan contoh umum, yang kemudian diikuti oleh kasus khusus sederhana yang melibatkan distribusi normal.

Contoh umum

Untuk parameter yang tidak diketahui , biarkan menjadi ruang parameter dan pertimbangkan hipotesis versus alternatif .Θ θ ∈ Θ 0 θ ∈ Θ 1 = Θ ∖ Θ $\theta$$\Theta$$\theta\in\Theta_0$$\theta\in\Theta_1=\Theta\backslash\Theta_0$

Mari menjadi fungsi tes, menggunakan notasi di Xi'an 's The Bayesian Choice (yang merupakan semacam mundur dengan apa yang saya setidaknya sudah terbiasa), sehingga kita menolak jika dan menerima jika . Pertimbangkan fungsi kerugian Tes Bayes kemudianΘ 0 φ = 0 Θ 0 φ = 1 L ( θ , φ ) = { 0 , jika  φ = I Θ 0 ( θ ) a 0 , jika  θ ∈ Θ 0  dan  φ = 0 a 1 , jika  θ ∈ Θ 1  dan  φ = 1. φ π ( x ) $\varphi$$\Theta_0$$\varphi=0$$\Theta_0$$\varphi=1$

$$L(\theta,\varphi) = \begin{cases} 0, & \mbox{if } \varphi=\mathbb{I}_{\Theta_0}(\theta) \\ a_0, & \mbox{if } \theta\in\Theta_0 \mbox{ and }\varphi=0\\ a_1, & \mbox{if } \theta\in\Theta_1 \mbox{ and }\varphi=1. \end{cases}$$ $$\varphi^\pi(x)=1\quad \rm if\quad P(\theta\in\Theta_0|x)\geq a_1(a_0+a_1)^{-1}.$$

Ambil dan . Hipotesis nol diterima jika .a 1 = 1 - α Θ 0 P ( θ ∈ Θ 0 | x ) ≥ 1 - $a_0=\alpha\leq 0.5$$a_1=1-\alpha$$\Theta_0$$\rm P(\theta\in\Theta_0|x)\geq 1-\alpha$

Sekarang, wilayah kredibel adalah wilayah sedemikian rupa sehingga . Jadi, menurut definisi, jika sedemikian rupa sehingga , dapat menjadi wilayah yang kredibel hanya jika . P ( Θ c | x ) ≥ 1 - α Θ 0 P ( θ ∈ Θ 0 | x ) ≥ 1 - α Θ c P ( Θ 0 ∩ Θ c | x ) > $\Theta_c$$\rm P(\Theta_c|x)\geq 1-\alpha$$\Theta_0$$\rm P(\theta\in\Theta_0|x)\geq 1-\alpha$$\Theta_c$$\rm P(\Theta_0\cap\Theta_c|x)>0$

Kami menerima hipotesis nol jika satu-satunya jika setiap wilayah kredibel berisi subset non-null dari .Θ $1-\alpha$$\Theta_0$

Kasus khusus yang lebih sederhana

Untuk mengilustrasikan tes seperti apa yang kami miliki dalam contoh di atas, pertimbangkan kasus khusus berikut.

Biarkan dengan . Set , dan , sehingga kami ingin menguji apakah .θ ∼ N ( 0 , 1 ) Θ = R Θ 0 = ( - ∞ , 0 ] Θ 1 = ( 0 , ∞ ) θ ≤ $x\sim \rm N(\theta,1)$$\theta\sim \rm N(0,1)$$\Theta=\mathbb{R}$$\Theta_0=(-\infty,0]$$\Theta_1=(0,\infty)$$\theta\leq 0$

Perhitungan standar memberikan mana adalah cdf normal standar.Φ(⋅

$$\rm P(\theta\leq 0|x)=\Phi(-x/\sqrt{2}),$$ $\Phi(\cdot)$

Biarkan menjadi sedemikian rupa sehingga . diterima ketika . Φ ( z 1 - α ) = 1 - α Θ 0 - x / $z_{1-\alpha}$$\Phi(z_{1-\alpha})=1-\alpha$$\Theta_0$$-x/\sqrt{2}>z_{1-\alpha}$

Ini sama dengan menerima ketikaKarena , karena itu ditolak ketika .α=0,05Θ0x>-$x\leq \sqrt{2}z_{\alpha}.$$\alpha=0.05$$\Theta_0$$x>-2.33$

Jika sebaliknya kita menggunakan , ditolak ketika .Θ 0 x > - 2.33 - $\theta\sim \rm N(\nu,1)$$\Theta_0$$x>-2.33-\nu$

Komentar

Fungsi kerugian di atas, di mana kami berpikir bahwa menerima hipotesis nol secara palsu lebih buruk daripada menolaknya secara palsu, mungkin pada pandangan pertama tampak seperti yang sedikit buatan. Namun hal itu dapat sangat bermanfaat dalam situasi di mana "negatif palsu" bisa mahal, misalnya ketika menyaring penyakit menular berbahaya atau teroris.

Kondisi bahwa semua wilayah yang kredibel harus mengandung bagian dari sebenarnya sedikit lebih kuat daripada yang saya harapkan: dalam kasus yang sering terjadi, korespondensi adalah antara satu tes dan satu interval kepercayaan dan bukan antara satu menguji dan semua interval . 1 - α 1 - $\Theta_0$$1-\alpha$$1-\alpha$

Michael dan Fraijo menyarankan bahwa hanya memeriksa apakah nilai parameter dari minat terkandung dalam beberapa wilayah yang kredibel adalah setara Bayesian dari interval kepercayaan pembalik. Saya agak skeptis tentang ini pada awalnya, karena tidak jelas bagi saya bahwa prosedur ini benar-benar menghasilkan tes Bayesian (dalam arti biasa).

Ternyata, itu terjadi - setidaknya jika Anda bersedia menerima jenis fungsi kerugian tertentu. Terima kasih banyak kepada Zen , yang menyediakan referensi ke dua makalah yang membangun koneksi antara wilayah HPD dan pengujian hipotesis:

• Pereira & Stern (1999), Bukti dan kredibilitas: uji signifikansi Bayesian penuh untuk hipotesis yang tepat , Entropi
• Madruga, Esteves & Wechsler (2001), Di Bayesianity of Pereira-Stern , Uji

Saya akan mencoba merangkumnya di sini, untuk referensi di masa mendatang. Dalam analog dengan contoh dalam pertanyaan asli, saya akan memperlakukan kasus khusus di mana hipotesisnya adalah mana adalah ruang parameter.

$$H_0: \theta\in\Theta_0=\{\theta_0\}\qquad \mbox{and}\qquad H_1: \theta\in\Theta_1=\Theta\backslash \Theta_0,$$ $\Theta$

Pereira & Stern mengusulkan metode untuk menguji hipotesis tersebut tanpa harus meletakkan probabilitas sebelumnya pada danΘ $\Theta_0$$\Theta_1$ .

Biarkan menunjukkan fungsi kerapatan dan tentukanθ T ( x ) = { θ : π ( θ | x ) > π ( θ 0 | x ) } $\pi(\cdot)$$\theta$

$$T(x)=\{ \theta:\pi(\theta|x)>\pi(\theta_0|x)\}.$$

Ini berarti bahwa adalah wilayah HPD , dengan kredibilitas .$T(x)$$P(\theta\in T(x)|x)$

Tes Pereira-Stern menolak ketika adalah "kecil" ( , katakanlah). Untuk posterior unimodal, ini berarti bahwa jauh di ekor posterior, membuat kriteria ini agak mirip dengan menggunakan nilai-p. Dengan kata lain, ditolak di level jika dan hanya jika tidak terdapat di wilayah HPD . P ( θ ∉ T ( x ) | x ) < 0,05 θ 0 Θ 0 5 % 95 %$\Theta_0$$P(\theta\notin T(x)|x)$$<0.05$$\theta_0$$\Theta_0$$5~\%$$95~\%$

Biarkan fungsi tes menjadi jika diterima dan jika ditolak. Madruga et al. mengusulkan fungsi kerugian dengan .1 Θ 0 0 Θ 0 L ( θ , φ , x ) = { a ( 1 - I ( θ ∈ T ( x ) ) , jika  φ ( x ) = 0 b + c I ( θ ∈ ( T ( x )) ) , jika  φ ( x ) = 1 ,$\varphi$$1$$\Theta_0$$0$$\Theta_0$

$$L(\theta,\varphi,x) = \begin{cases} a(1-\mathbb{I}(\theta\in T(x)), & \mbox{if } \varphi(x)=0 \\ b+c\mathbb{I}(\theta\in(T(x)), & \mbox{if } \varphi(x)=1, \end{cases}$$ $a,b,c>0$

Meminimalkan kerugian yang diharapkan mengarah ke tes Pereira-Stern di mana ditolak jika$\Theta_0$$P(\theta\notin T(x)|x)<(b+c)/(a+c).$

Sejauh ini, semuanya baik-baik saja. Tes Pereira-Stern sama dengan memeriksa apakah berada di wilayah HPD dan ada fungsi kerugian yang menghasilkan tes ini, yang berarti bahwa tes ini didasarkan pada teori keputusan.$\theta_0$

Bagian yang kontroversial adalah bahwa fungsi kerugian tergantung pada$x$ . Sementara fungsi kerugian seperti itu telah muncul dalam literatur beberapa kali, mereka tampaknya tidak diterima secara umum sebagai sangat masuk akal.

Untuk membaca lebih lanjut tentang topik ini, lihat daftar makalah yang mengutip Madruga et al. artikel .

---

Pembaruan Oktober 2012:

Saya tidak sepenuhnya puas dengan fungsi kerugian di atas, karena ketergantungannya pada membuat pengambilan keputusan lebih subjektif daripada yang saya inginkan. Saya menghabiskan lebih banyak waktu untuk memikirkan masalah ini dan akhirnya menulis catatan pendek tentang hal itu, diposting di arXiv sebelumnya hari ini .$x$

Misalkan menunjukkan fungsi kuantil posterior dari , sehingga . Alih-alih set HPD kami mempertimbangkan interval pusat (sama-tailed) . Untuk menguji menggunakan interval ini dapat dibenarkan dalam kerangka kerja decision-theoretic tanpa fungsi kerugian yang tergantung pada .$q_{\alpha}(\theta|x)$$\theta$$P(\theta\leq q_{\alpha}(\theta|x))=\alpha$$(q_{\alpha/2}(\theta|x),q_{1-\alpha/2}(\theta|x))$$\Theta_0$$x$

Triknya adalah merumuskan kembali masalah pengujian hipotesis titik-nol sebagai masalah tiga keputusan dengan kesimpulan terarah. kemudian diuji terhadap dan .$\Theta_0=\{\theta_0\}$$\Theta_0$$\Theta_{-1}=\{\theta:\theta<\theta_0\}$$\Theta_{1}=\{\theta:\theta>\theta_0\}$

Biarkan fungsi tes jika kita menerima (perhatikan bahwa notasi ini adalah kebalikan dari yang digunakan di atas!). Ternyata di bawah fungsi kerugian tertimbang the Bayes Tes adalah untuk menolak jika tidak dalam interval pusat.$\varphi=i$$\Theta_i$$0-1$

$$L_2(\theta,\varphi) = \begin{cases} 0, & \mbox{if } \theta\in\Theta_i\mbox{ and }\varphi=i, \quad i\in \{-1,0,1\}, \\ \alpha/2, & \mbox{if } \theta\notin\Theta_0 \mbox{ and }\varphi=0,\\ 1, & \mbox{if } \theta\in\Theta_{i}\cup\Theta_0 \mbox{ and }\varphi=-i,\quad i\in\{-1,1\},\end{cases}$$ $\Theta_0$$\theta_0$

Ini sepertinya fungsi kerugian yang cukup masuk akal bagi saya. Saya membahas kerugian ini, kehilangan dan pengujian Madruga-Esteves-Wechsler menggunakan set yang kredibel lebih lanjut dalam naskah di arXiv.

Saya kebetulan membaca makalah arXiv Anda sebelum datang ke pertanyaan ini dan sudah menulis entri blog di atasnya ( dijadwalkan muncul pada Oktober, 08 ). Singkatnya, saya menemukan konstruksi Anda dari kepentingan teoretis, tetapi juga berpikir itu terlalu dibuat-buat untuk direkomendasikan, khususnya. karena tampaknya tidak menyelesaikan hipotesis titik-nol masalah pengujian Bayesian, yang secara tradisional mengharuskan untuk meletakkan beberapa massa sebelumnya pada nilai parameter titik-nol.

Intinya, solusi yang Anda usulkan di atas (dalam pembaruan Oktober) dan sebagai Teorema 2 dalam makalah arXiv Anda bukan prosedur pengujian yang valid karena mengambil tiga nilai, bukan dua nilai yang sesuai untuk menerima / menolak. Demikian pula, fungsi kerugian yang Anda gunakan dalam Teorema 3 (tidak direproduksi di sini) sama dengan menguji hipotesis satu sisi, , daripada hipotesis titik-nol .$\varphi$$H_0: \theta\le\theta_0$$H_0: \theta= \theta_0$

Namun masalah utama saya adalah bahwa bagi saya tampaknya baik Teorema 3 dan Teorema 4 dalam makalah arXiv Anda tidak valid ketika adalah hipotesis titik-nol, yaitu ketika , tanpa massa sebelumnya.$H_0$$\Theta_0=\{\theta_0\}$

Anda dapat menggunakan interval yang kredibel (atau wilayah HPD) untuk pengujian hipotesis Bayesian. Saya pikir itu tidak umum; meskipun, untuk bersikap adil saya tidak melihat banyak juga tidak saya menggunakan pengujian Hipotesis Bayesian formal dalam praktek. Faktor Bayes kadang-kadang digunakan (dan dalam "Bayesian Core" Robert agak dipuji) dalam pengujian hipotesis yang ditetapkan.

Wilayah yang kredibel hanyalah wilayah di mana integral dari kepadatan posterior di atas wilayah adalah probabilitas yang ditentukan misalnya 0,95. Salah satu cara untuk membentuk uji hipotesis Bayesian adalah untuk melihat apakah nilai nol yang dihipotesiskan dari parameter jatuh di wilayah yang kredibel. Dengan cara ini kita dapat memiliki korespondensi 1-1 yang serupa antara tes hipotesis dan daerah yang kredibel seperti yang sering dilakukan dengan interval kepercayaan dan tes hipotesis. Tetapi ini bukan satu-satunya cara untuk melakukan pengujian hipotesis.

Biarkan saya berikan bagaimana saya mendapatkannya membaca jawaban Tim .

Ini didasarkan pada tampilan tabel dengan hipotesis (estimasi parameter) dalam kolom dan pengamatan di baris.

Dalam tabel pertama, Anda memiliki jumlah probabilitas kol menjadi 1, yaitu probabilitas probabilitas bersyarat, yang kondisinya, masuk ke acara kolom disediakan di baris bawah, yang disebut 'prior'. Dalam tabel terakhir, jumlah baris yang sama dengan 1 dan di tengah Anda memiliki probabilitas gabungan, yaitu probabilitas bersyarat yang Anda temukan di tabel pertama dan terakhir dikalikan probabilitas kondisi, priors.

Tabel pada dasarnya melakukan transformasi Bayesian: pada tabel pertama, Anda memberikan pdf dari pengamatan (baris) di setiap kolom, tetapkan sebelum untuk hipotesis ini (ya, kolom hipotesis adalah pdf dari pengamatan di bawah hipotesis itu), Anda melakukan itu karena setiap kolom dan tabel membawanya pertama kali ke dalam tabel probabilitas gabungan dan, kemudian ke probabilitas hipotesis Anda, dikondisikan oleh pengamatan.

Seperti yang saya dapatkan dari jawaban Tim (koreksi saya jika saya salah), pendekatan Interval Kritis terlihat pada tabel pertama. Yaitu, setelah percobaan selesai, kita tahu deretan tabel (baik kepala atau ekor dalam contoh saya tetapi Anda dapat membuat percobaan yang lebih kompleks, seperti 100 koin membalik dan mendapatkan meja dengan 2 ^ 100 baris). Pemindaian frekuensi melalui kolom-kolomnya, yang, seperti telah saya katakan, adalah distribusi hasil yang mungkin dalam kondisi bahwa hipotesis masuk akal (misalnya koin adil dalam contoh saya), dan menolak hipotesis (kolom) yang telah memberikan nilai probabilitas sangat rendah pada baris yang diamati.

Bayesianist pertama-tama menyesuaikan probabilitas, mengubah col menjadi baris dan melihat tabel 3, menemukan deretan hasil yang diamati. Karena ini juga pdf, ia melewati baris hasil eksperimen dan memilih hipotesis probabilitas tertinggi hingga 95% kantong kredibilitasnya penuh. Sisa hipotesis ditolak.

Apa anda suka? Saya masih dalam proses belajar dan grafik sepertinya membantu saya. Saya percaya bahwa saya berada di jalur yang benar karena pengguna yang memiliki reputasi memberikan gambar yang sama, ketika menganalisis perbedaan dua pendekatan . Saya telah mengajukan pandangan grafis tentang mekanisme pemilihan hipotesis.

Saya mendorong semua orang untuk membaca jawaban terakhir Keith, tetapi gambaran saya tentang mekanika uji hipotesis dapat langsung mengatakan bahwa frequentist tidak melihat hipotesis lain ketika memverifikasi hipotesis saat ini sedangkan pertimbangan hipotesis kredibilitas tinggi sangat berdampak pada penerimaan / penolakan hipotesis lain di bayesian. analisys karena jika Anda memiliki hipotesis tunggal yang terjadi 95% dari waktu di bawah data yang diamati, Anda segera membuang semua hipotesis lainnya, terlepas dari seberapa baik data tersebut sesuai di dalamnya. Mari kita letakkan analisis kekuatan statistik, yang membedakan dua hipotesis berdasarkan interval kepercayaannya tumpang tindih.

Tapi, saya tampaknya telah menemukan kesamaan antara dua pendekatan: mereka tampaknya terhubung melalui P(A | B) > P(A) <=> P(B|A) > P(B)properti . Pada dasarnya, jika ada ketergantungan antara A dan B maka itu akan muncul sebagai korelasi di kedua tabel freq dan bayesian. Jadi, melakukan satu uji hipotesis berkorelasi dengan yang lain, mereka agak harus memberikan hasil yang sama. Mempelajari akar korelasinya, kemungkinan akan memberi Anda koneksi di antara keduanya. Dalam pertanyaan saya di sana saya sebenarnya bertanya mengapa perbedaan itu bukan korelasi absolut?