Prior tidak informatif Bayesian vs. hipotesis nol yang sering muncul: apa hubungannya?

11

Saya menemukan gambar ini di sebuah posting blog di sini .

Seseorang di mosh pit mengalami EUREKA!  saat

Saya kecewa karena membaca pernyataan itu tidak menghasilkan ekspresi wajah yang sama bagi saya seperti yang terjadi pada orang ini.

Jadi, apa yang dimaksud dengan pernyataan bahwa hipotesis nol adalah seberapa sering pengekspresi mengungkapkan informasi sebelumnya? Benarkah itu benar?


Sunting: Saya berharap seseorang dapat menawarkan interpretasi amal yang membuat pernyataan itu benar, bahkan dalam beberapa pengertian.

jerad
sumber
3
Saya pikir itu tidak akurat. Pertama, bisakah seseorang menuliskan Kemungkinan T-Test? Kemudian kita dapat mulai berbicara tentang analogi. Nah, dan jika Anda tidak bisa ... gambar itu tidak masuk akal.
joint_p

Jawaban:

10

Hipotesis nol tidak sama dengan Bayesian uninformative prior untuk alasan sederhana bahwa Bayesian juga dapat menggunakan hipotesis nol dan melakukan tes hipotesis menggunakan faktor Bayes. Jika mereka setara, Bayesia tidak akan menggunakan hipotesis nol.

Namun, pengujian hipotesis frequentist dan Bayesian menggabungkan unsur skeptisisme diri, di mana kita diharuskan untuk menunjukkan bahwa ada beberapa bukti bahwa hipotesis alternatif kita dalam beberapa hal merupakan penjelasan yang lebih masuk akal untuk pengamatan daripada kesempatan acak. Para frekuensi sering melakukan ini dengan memiliki tingkat signifikansi, orang Bayesian melakukan ini dengan memiliki skala interpretasi untuk faktor Bayes, sehingga kita tidak akan secara kuat mengumumkan hipotesis kecuali jika faktor Bayes atas hipotesis nol cukup tinggi.

Sekarang alasan mengapa pengujian hipotesis frequentist adalah kontra-intuitif adalah karena frequentist tidak dapat menetapkan probabilitas non-sepele terhadap kebenaran hipotesis, yang sayangnya umumnya adalah yang kita inginkan. Yang paling dekat yang bisa mereka dapatkan adalah menghitung nilai-p (kemungkinan pengamatan di bawah H0) dan kemudian menarik kesimpulan subyektif dari ini apakah H0 atau H1 masuk akal. Bayesian dapat menetapkan probabilitas pada kebenaran hipotesis, dan dengan demikian dapat menghitung rasio probabilitas ini untuk memberikan indikasi kemungkinan masuk akal relatif mereka, atau setidaknya bagaimana pengamatan mengubah rasio probabilitas ini (yang merupakan Faktor Bayes tidak).

Menurut pendapat saya itu adalah ide yang buruk untuk mencoba menarik terlalu dekat suatu paralel antara metode pengujian hipotesis frequentist dan Bayesian karena mereka secara fundamental berbeda dan menjawab pertanyaan yang berbeda secara fundamental. Memperlakukan mereka seakan-akan setara mendorong interpretasi Bayesian terhadap pengujian frequentist (mis. Fallacy nilai-p) yang berpotensi berbahaya (misalnya skeptis iklim sering berasumsi bahwa kurangnya tren yang signifikan secara statistik dalam suhu permukaan rata-rata global berarti bahwa ada tidak ada pemanasan - yang sama sekali tidak benar).

Dikran Marsupial
sumber
9

Alasan mengapa Anda tidak memiliki tampilan epiphanik yang sama di wajah Anda dengan pria itu adalah saya pikir begitu. . . pernyataan itu tidak benar.

Hipotesis nol adalah hipotesis bahwa perbedaan antara kontrol dan kondisi eksperimental adalah karena kebetulan.

Sebelumnya yang tidak informatif dimaksudkan untuk menyatakan bahwa Anda memiliki data sebelumnya tentang suatu pertanyaan, tetapi itu tidak memberi tahu Anda apa-apa tentang apa yang diharapkan pada putaran berikutnya. Seorang Bayesian kemungkinan akan mempertahankan bahwa ada informasi di awal, bahkan distribusi seragam.

Jadi hipotesis nol mengatakan bahwa tidak ada perbedaan antara kontrol dan eksperimen; Sebaliknya, informasi yang tidak informatif mungkin atau tidak mungkin dilakukan, dan jika hal itu tidak mengindikasikan apa-apa tentang perbedaan antara kontrol dan eksperimen (yang berbeda dengan menunjukkan bahwa perbedaan apa pun karena kebetulan).

Mungkin saya kurang dalam pemahaman saya tentang prior yang kurang informasi. Saya menantikan jawaban lain.

Krysta
sumber
2
Saya hanya akan menambahkan bahwa prior noninformative lebih tentang sikap peneliti daripada sifat menarik dari distribusi itu sendiri. Ini adalah sikap yang diperdebatkan Gelman dalam Analisis Data Bayesian, meskipun sepertinya saya tidak dapat menemukan nomor halaman.
Sycorax berkata Reinstate Monica
7
Hipotesis nol tidak selalu sama. Hipotesis nol hanyalah sebuah hipotesis "membosankan" alternatif yang Anda bandingkan dengan hipotesis "menarik" Anda, untuk melihat apakah data mendukung satu dari yang lainnya. Sebenarnya, "tidak ada perbedaan" sebenarnya adalah hipotesis nol yang buruk, karena Anda tahu a-priori itu salah. Lebih baik adalah "perbedaannya di bawah ambang batas aku peduli".
Stumpy Joe Pete
Terima kasih atas jawaban @Krysta, dan saya pada dasarnya memiliki pemikiran yang sama dengan pernyataan itu, tapi mungkin ada perasaan di mana pernyataan itu agak benar?
jerad
Tebakan terbaik saya adalah bahwa hipotesis nol adalah titik awal untuk sering, atau set hipotesis kosong ?; mungkin penulis ini berpikir bahwa prior yang tidak informatif adalah titik awal untuk Bayesians, tetapi prior informatif reguler adalah analog yang lebih baik jika itu yang mereka maksudkan. Hipotesis nol & tidak informatif sebelum melakukan agak memiliki kesamaan konseptual - mereka berdua tentang mengasumsikan tidak ada informasi / efek. Tapi itu cukup samar!
Krysta
"Seorang Bayesian kemungkinan akan mempertahankan bahwa ada informasi dalam setiap sebelumnya". Tapi, sebelumnya Jeffreys tidak informatif.
Neil G
4

Lihat artikel Wikipedia ini :

Untuk kasus parameter tunggal dan data yang dapat diringkas dalam satu statistik yang cukup, dapat ditunjukkan bahwa interval yang kredibel dan interval kepercayaan akan bertepatan jika parameter yang tidak diketahui adalah parameter lokasi (...) dengan yang sebelumnya adalah distribusi datar yang seragam (...) dan juga jika parameter yang tidak diketahui adalah parameter skala (...) dengan pendahuluan Jeffreys.

Bahkan, referensi menunjuk ke Jaynes:

Jaynes, ET (1976), Interval Keyakinan vs Interval Bayesian .

Di halaman 185 kita dapat menemukan:

Jika kasus (I) muncul (dan itu lebih sering daripada yang disadari), tes Bayesian dan ortodoks akan membawa kita ke hasil yang sama persis dan kesimpulan yang sama, dengan ketidaksepakatan verbal seperti apakah kita harus menggunakan 'probabilitas' atau ' pentingnya untuk menggambarkannya.

Jadi, sebenarnya ada kasus serupa, tapi saya tidak akan mengatakan pernyataan dalam gambar itu benar jika Anda, misalnya, menggunakan distribusi Cauchy sebagai kemungkinan ...

random_user
sumber
4

Akulah yang membuat grafik, meskipun seperti yang tercantum dalam posting yang menyertainya itu bukan wawasan saya. Biarkan saya memberikan beberapa konteks tentang bagaimana itu muncul dan melakukan yang terbaik untuk menjelaskan bagaimana saya memahaminya. Realisasi terjadi selama diskusi dengan seorang siswa yang sebagian besar telah mempelajari pendekatan Bayesian untuk menyimpulkan sampai saat itu. Dia mengalami kesulitan memahami keseluruhan paradigma pengujian hipotesis, dan saya melakukan yang terbaik untuk menjelaskan pendekatan yang membingungkan ini (jika Anda menganggap "perbedaan" sebagai negatif - seperti tidaksama dengan - maka pendekatan hipotesis nol standar adalah triple negative: tujuan para peneliti adalah untuk menunjukkan bahwa tidak ada perbedaan). Secara umum, dan sebagaimana dinyatakan dalam respons lain, para peneliti biasanya mengharapkan adanya perbedaan; yang benar-benar mereka harapkan adalah bukti meyakinkan untuk “menolak” nol. Agar tidak memihak, mereka mulai dengan berpura-pura ketidaktahuan pada dasarnya, seperti pada, "Yah, mungkin obat ini tidak memiliki efek pada orang." Kemudian mereka melanjutkan untuk menunjukkan melalui pengumpulan data dan analisis (jika mereka bisa), bahwa hipotesis nol ini, mengingat data, adalah asumsi yang buruk.

Bagi seorang Bayesian, ini harus tampak seperti titik awal yang berbelit-belit. Mengapa tidak mulai saja dengan mengumumkan keyakinan Anda sebelumnya secara langsung, dan jelaskan apa yang Anda (dan tidak) asumsikan dengan menyandikannya di prior? Poin kunci di sini adalah bahwa seragam sebelumnya bukansama seperti sebelumnya yang tidak informatif. Jika saya melempar koin 1000 kali dan mendapatkan 500 kepala, sebelumnya baru saya memberi bobot yang sama (seragam) untuk kedua kepala dan ekor, tetapi kurva distribusinya sangat curam. Saya menyandikan informasi tambahan yang sangat informatif! Sebelum benar-benar tidak informatif (dibawa ke batas) tidak akan membawa beban sama sekali. Ini berarti, pada dasarnya, mulai dari awal dan, untuk menggunakan ekspresi frequentist, biarkan data berbicara sendiri. Pengamatan yang dilakukan oleh "Clarence" adalah bahwa cara yang sering dilakukan untuk mengkodekan kurangnya informasi ini adalah dengan hipotesis nol. Ini tidak persis sama dengan sebelumnya yang tidak informatif; ini adalah pendekatan yang sering dilakukan untuk mengekspresikan ketidaktahuan maksimal dengan cara yang jujur, yang tidak menganggap apa yang ingin Anda buktikan.

Matt Asher
sumber
2
Hipotesis nol frequentist tidak mengungkapkan ketidaktahuan maksimal, itu dimulai dengan mengasumsikan bahwa hipotesis nol itu benar dan kita hanya boleh melanjutkan dengan hipotesis alternatif jika pengamatan cukup tidak mungkin di bawah H0. Mungkin diperdebatkan bahwa pengujian hipotesis nol mengkodekan beberapa sebelumnya, tetapi itu adalah yang jelas informatif. Menurut pendapat saya mencoba menafsirkan pengujian hipotesis yang sering dalam istilah Bayesian adalah sesat dan resep untuk kesalahan; mereka bukan jawaban untuk pertanyaan yang sama.
Dikran Marsupial
@Dikran Marsupial ini sampai batas tertentu merupakan perdebatan tanpa akhir, tetapi dari perspektif yang paling sering saya tidak melihat cara untuk melihat null sebagai "jelas informatif". Jika ini masalahnya, maka kegagalan untuk menolak nol akan dipandang sebagai bukti dari nol (karena kita "sudah" memiliki informasi tentang nol). IMO semua pendekatan untuk inferensi berusaha menjawab pertanyaan yang saling terkait yang sama: "Bagaimana seharusnya data ditafsirkan?" dan "seberapa kuat kasusnya?"
Matt Asher
1
Nol itu sendiri tidak informatif atau tidak informatif, tetapi pengujian hipotesis sering konvensional secara inheren (dan cukup tepat) bias terhadap H0 (kecuali Anda juga melakukan analisis kekuatan). Bias ini dapat dibandingkan dengan yang sebelumnya, tetapi itu akan menjadi informatif. Tidaklah berarti untuk membandingkan prior dan hipotesis, mereka melayani tujuan yang berbeda dalam analisis; perhatikan Bayesian juga menggunakan hipotesis nol dalam pengujian hipotesis (lihat jawaban saya untuk pertanyaan) di mana itu melayani tujuan yang sama seperti dalam pengujian hipotesis frequentist.
Dikran Marsupial
3
Supaya jelas, dengan menggunakan contoh obat, kita tidak memulai dengan berpura-pura tidak tahu, "Yah, mungkin obat ini memiliki efek nol pada manusia.", Kita mulai dengan mengasumsikan hipotesis nol itu benar. kepada perusahaan obat untuk memastikan bahwa itu memang berpengaruh dengan menunjukkan bahwa hasilnya tidak dapat dijelaskan secara kebetulan secara acak ". Skeptisisme diri yang diberikan oleh pendekatan ini adalah mengapa "ritual nol", terlepas dari banyak kesalahannya, masih memiliki nilai praktis dalam sains.
Dikran Marsupial