14

Jadi, ini mungkin pertanyaan umum, tetapi saya belum pernah menemukan jawaban yang memuaskan.

Bagaimana Anda menentukan probabilitas bahwa hipotesis nol itu benar (atau salah)?

Katakanlah Anda memberi siswa dua versi ujian yang berbeda dan ingin melihat apakah versinya setara. Anda melakukan Uji-t dan memberikan nilai-p 0,02. Nilai p yang bagus! Itu harus berarti tidak mungkin bahwa tes itu setara, kan? Tidak. Sayangnya, tampaknya P (hasil | nol) tidak memberi tahu Anda P (nol | hasil). Hal yang normal untuk dilakukan adalah menolak hipotesis nol ketika kita menemukan nilai-p rendah, tetapi bagaimana kita tahu bahwa kita tidak menolak hipotesis nol yang sangat mungkin benar? Untuk memberikan contoh konyol, saya dapat merancang tes untuk ebola dengan tingkat positif palsu 0,02: memasukkan 50 bola ke dalam ember dan menulis "ebola" pada satu. Jika saya menguji seseorang dengan ini dan mereka memilih bola "ebola", nilai-p (P (mengambil bola | mereka tidak memiliki ebola)) adalah 0,02,

Hal-hal yang saya pertimbangkan sejauh ini:

Dengan asumsi P (null | hasil) ~ = P (hasil | null) - jelas salah untuk beberapa aplikasi penting.
Terima atau tolak hipotesis tanpa mengetahui P (null | results) - Mengapa kita menerima atau menolaknya? Bukankah intinya kita menolak apa yang kita anggap LIKELY salah dan menerima apa yang benar?
Gunakan Bayes 'Theorem - Tapi bagaimana Anda mendapatkan prior Anda? Tidakkah Anda berakhir kembali di tempat yang sama mencoba untuk menentukannya secara eksperimen? Dan memilih mereka apriori tampaknya sangat sewenang-wenang.
Saya menemukan pertanyaan yang sangat mirip di sini: stats.stackexchange.com/questions/231580/. Satu jawaban di sini tampaknya pada dasarnya mengatakan bahwa tidak masuk akal untuk bertanya tentang kemungkinan hipotesis nol menjadi benar karena itu adalah pertanyaan Bayesian. Mungkin aku orang Bayesian, tapi aku tidak bisa membayangkan tidak mengajukan pertanyaan itu. Bahkan, tampaknya kesalahpahaman paling umum dari nilai-p adalah bahwa mereka adalah probabilitas dari hipotesis nol sejati. Jika Anda benar-benar tidak dapat mengajukan pertanyaan ini sebagai seorang yang sering, maka pertanyaan utama saya adalah # 3: bagaimana Anda mendapatkan prior Anda tanpa terjebak dalam satu lingkaran?

Sunting: Terima kasih atas semua balasan yang bijaksana. Saya ingin membahas beberapa tema umum.

Definisi probabilitas: Saya yakin ada banyak literatur tentang ini, tetapi konsepsi saya yang naif adalah sesuatu seperti "keyakinan bahwa makhluk yang sangat rasional akan memberikan informasi" atau "peluang taruhan yang akan memaksimalkan keuntungan jika situasi diulang dan tidak dikenal diizinkan bervariasi ".
Bisakah kita tahu P (H0 | hasil)? Tentu saja, ini sepertinya pertanyaan yang sulit. Saya percaya bahwa setiap probabilitas secara teori dapat diketahui, karena probabilitas selalu tergantung pada informasi yang diberikan. Setiap peristiwa akan terjadi atau tidak terjadi, sehingga kemungkinan tidak ada dengan informasi lengkap. Itu hanya ada ketika ada informasi yang tidak memadai, sehingga harus diketahui. Sebagai contoh, jika saya diberitahu bahwa seseorang memiliki koin dan menanyakan kemungkinan kepala, saya akan mengatakan 50%. Mungkin saja koin itu berbobot 70% ke kepala, tapi saya tidak diberi informasi itu, jadi probabilitasnya 50% untuk info yang saya miliki, sama seperti kebetulan mendarat di ekor, probabilitas itu 70% kepala ketika saya belajar itu. Karena probabilitas selalu tergantung pada serangkaian data (tidak cukup),
Sunting: "Selalu" mungkin sedikit terlalu kuat. Mungkin ada beberapa pertanyaan filosofis yang kita tidak dapat menentukan probabilitas. Namun, dalam situasi dunia nyata, sementara kita "hampir tidak pernah" memiliki kepastian absolut, harus ada "hampir selalu" menjadi perkiraan terbaik.

probability hypothesis-testing bayesian Kalev Maricq
sumber

1

H_{0} : θ = 0

$H_{0}: \theta = 0$

H_{A} : θ = 0

$H_{A}: \theta = 0$

H_{0} : | θ | \geq Δ

$H_{0}: |\theta| \ge \Delta$

Δ

$\Delta$

Δ

$\Delta$

H_{A} : | θ | < Δ

$H_{A}: |\theta| < \Delta$

- Δ < θ < Δ

$-\Delta < \theta < \Delta$

Kekuatan percobaan (dan uji statistik yang menganalisis hasil eksperimen) adalah probabilitas bahwa jika ada pengaruh ukuran tertentu atau lebih besar, percobaan akan mendeteksinya pada ambang batas signifikansi yang diberikan. statistikdonewrong.com/power.html

Bennett Brown

lihat stats.stackexchange.com/questions/166323/…

Contoh koin Anda bagus. Ini menunjukkan bahwa Anda tidak akan pernah tahu P (H0 | hasil) jika Anda hanya tahu hasilnya dan tidak membuat asumsi lebih lanjut . Apakah Anda tahu probabilitas kepala dalam lemparan yang diberikan 'dengan asumsi' keadilan tertentu dari koin? Iya. (tapi ini hipotetis, mengingat asumsi, dan Anda tidak akan pernah tahu apakah asumsi Anda benar) Apakah Anda tahu probabilitas kepala dalam lemparan yang diberikan sambil mengetahui sejumlah hasil sebelumnya. Tidak! dan tidak masalah seberapa besar jumlah hasil sebelumnya yang Anda tahu. Anda tidak bisa tahu persis kepala probabilitas di lemparan berikutnya.

Sextus Empiricus

13

Anda tentu telah mengidentifikasi masalah penting dan Bayesianisme adalah salah satu upaya untuk menyelesaikannya. Anda dapat memilih sebelum informasi jika Anda mau. Saya akan membiarkan orang lain mengisi lebih banyak tentang pendekatan Bayes.

Namun, dalam sebagian besar keadaan, Anda tahunull adalah salah dalam populasi, Anda hanya tidak tahu seberapa besar efeknya. Misalnya, jika Anda membuat hipotesis yang benar-benar menggelikan - misalnya bahwa berat badan seseorang terkait dengan apakah SSN mereka ganjil atau genap - dan Anda entah bagaimana berhasil mendapatkan informasi yang akurat dari seluruh populasi, kedua cara itu tidak akan persis sama. Mereka akan (mungkin) berbeda dengan jumlah yang tidak signifikan, tetapi mereka tidak akan sama persis. 'Jika Anda menggunakan rute ini, Anda akan mengurangi nilai p dan uji signifikansi dan menghabiskan lebih banyak waktu melihat perkiraan ukuran efek dan akurasinya. Jadi, jika Anda memiliki sampel yang sangat besar, Anda mungkin menemukan bahwa orang dengan SSN ganjil memiliki berat 0,001 pound lebih banyak daripada orang dengan SSN bahkan, dan bahwa kesalahan standar untuk perkiraan ini adalah 0,000001 pound, jadi p <0,05 tetapi tidak ada yang peduli.

Peter Flom - Pasang kembali Monica
sumber

1

n

$n$

1

Poin bagus tentang ukuran efek. Apakah ada analog dengan situasi seperti pengujian untuk suatu penyakit, di mana pertanyaannya adalah Boolean?

Kalev Maricq

1

FWIW, saya sangat bersedia untuk percaya bahwa tidak ada hubungan antara berat badan seseorang & apakah SSN mereka ganjil atau genap. Dalam penelitian observasional, variabel-variabel ini akan dikorelasikan dengan beberapa variabel lain, dll, sehingga akhirnya ada asosiasi marjinal non-0. Saya pikir poin yang valid adalah bahwa, bagi kebanyakan hal, para peneliti menginvestasikan waktu mereka untuk menyelidiki, ada beberapa alasan yang layak untuk mencurigai bahwa sebenarnya ada efek non-0.

gung - Reinstate Monica

1

@gung Anda bisa percaya apa pun yang Anda inginkan, tetapi pasti ada hubungan tidak-nol antara berat badan dan SSN. Kami tahu lebih banyak tentang hubungan selain dari keberadaannya dan mungkin itu kecil.

emory

1

Saya tahu bahwa berat badan adalah variabel kontinu. Meskipun kami mungkin merekamnya sebagai bilangan bulat kilogram. Komentar Anda adalah tentang studi observasional (menarik kesimpulan tentang populasi berdasarkan sampel). Karena studi saya didanai oleh dolar hipotetis, ini adalah studi populasi menggunakan skala presisi tak terbatas - tidak perlu inferensi statistik.

emory

3

Untuk menjawab pertanyaan ini, Anda perlu menentukan probabilitas. Ini karena hipotesis nol adalah benar (kecuali bahwa hampir tidak pernah ketika Anda mempertimbangkan hipotesis nol) atau salah. Salah satu definisi adalah bahwa probabilitas saya menggambarkan kepercayaan pribadi saya tentang seberapa besar kemungkinan data saya muncul dari hipotesis itu dibandingkan dengan seberapa besar kemungkinannya bahwa data saya muncul dari hipotesis lain yang saya pertimbangkan. Jika Anda mulai dari kerangka kerja ini, maka prior Anda hanyalah kepercayaan Anda berdasarkan semua informasi Anda sebelumnya tetapi tidak termasuk data yang ada.

jaradniemi
sumber

Poin yang bagus. Saya pikir ide saya tentang probabilitas adalah sesuatu seperti "keyakinan rasional yang sempurna" dan bukan keyakinan pribadi saya. Saya mengedit pertanyaan saya untuk membahas poin Anda.

Kalev Maricq

2

Gagasan utamanya adalah bahwa, secara longgar, Anda dapat secara empiris menunjukkan sesuatu itu salah (cukup berikan contoh tandingan), tetapi Anda tidak dapat menunjukkan bahwa sesuatu itu benar-benar benar (Anda perlu menguji "segalanya" untuk menunjukkan bahwa tidak ada contoh berlawanan).

Kepalsuan adalah dasar dari metode ilmiah: Anda menganggap teori itu benar, dan Anda membandingkan prediksinya dengan apa yang Anda amati di dunia nyata (mis. Teori gravitasi Netwon diyakini "benar", sampai diketahui bahwa teori itu benar. tidak bekerja dengan baik dalam kondisi ekstrim).

Ini juga yang terjadi dalam pengujian hipotesis: ketika P (hasil | nol) rendah, data tersebut bertentangan dengan teori (atau Anda kurang beruntung), sehingga masuk akal untuk menolak hipotesis nol. Faktanya, anggap nol benar, maka P (null) = P (null | hasil) = 1, jadi satu-satunya cara agar P (hasil | null) rendah adalah P (hasil) rendah (keberuntungan sulit).

Di sisi lain, ketika P (hasil | nol) tinggi, siapa tahu. Mungkin nol salah, tetapi P (hasil) tinggi, dalam hal ini Anda tidak dapat melakukan apa pun, selain merancang percobaan yang lebih baik.

Biarkan saya ulangi: Anda hanya dapat menunjukkan bahwa hipotesis nol (kemungkinan) salah. Jadi saya akan mengatakan jawabannya adalah setengah dari poin kedua Anda: Anda tidak perlu tahu P (null | hasil) ketika P (hasil | null) rendah untuk menolak nol, tetapi Anda tidak bisa mengatakan nol benar itu P (hasil | nol) tinggi.

Ini juga mengapa reproduktifitas sangat penting: mencurigakan untuk beruntung lima kali dari lima.

Beruang hitam
sumber

H_{0} :

$H_0:$

H_{a l t e r n a t i v e} :

$H_{alternative}:$

Saya setuju dengan Martijn. Jika Anda dapat memberi tahu saya cara menentukan probabilitas bahwa hipotesis nol salah, saya akan menganggap itu sebagai jawaban yang sukses untuk pertanyaan saya.

Kalev Maricq

μ_{1000}

$\mu_{1000}$

P (μ_{1000} = 3.50)

$P(\mu_{1000}=3.50)$

2

-------------------------------------------------- ---------------------

(sunting: Saya pikir akan bermanfaat untuk menempatkan versi komentar saya untuk pertanyaan ini di atas dalam jawaban ini, karena jauh lebih pendek)

Perhitungan non simetris p (a | b) terjadi ketika dilihat sebagai hubungan sebab akibat, seperti p (hasil | hipotesis). Perhitungan ini tidak bekerja di kedua arah: hipotesis menyebabkan distribusi hasil yang mungkin, tetapi hasil tidak menyebabkan distribusi hipotesis.

P (hasil | hipotesis) adalah nilai teoretis berdasarkan hipotesis hubungan sebab akibat -> hasil.

Jika p (a | b) menyatakan korelasi, atau frekuensi yang diamati (tidak harus hubungan sebab akibat), maka itu menjadi simetris. Sebagai contoh jika kita menuliskan jumlah permainan yang tim menang / kalah dan jumlah pertandingan tim olahraga kurang dari atau sama dengan / lebih dari 2 gol dalam tabel kontingensi. Kemudian P (win | score> 2) dan P (score> 2 | win) adalah objek eksperimen / observasional (bukan teoretis) yang serupa.

-------------------------------------------------- -------------------

Sangat sederhana

Ekspresi P (hasil | hipotesis) tampak sangat sederhana sehingga membuat orang dengan mudah berpikir bahwa Anda dapat membalikkan syarat-syaratnya. Namun, 'hasil' adalah variabel stokastik, dengan distribusi probabilitas (diberikan hipotesis). Dan 'hipotesis' bukan (biasanya) variabel stokastik. Jika kita membuat 'hipotesis' sebagai variabel stokastik maka itu menyiratkan distribusi probabilitas dari berbagai hipotesis yang mungkin, dengan cara yang sama seperti kita memiliki distribusi probabilitas dari hasil yang berbeda. (tetapi hasilnya tidak memberi kita distribusi probabilitas hipotesis ini, dan hanya mengubah distribusi, dengan menggunakan teorema Bayes)

Sebuah contoh

Katakanlah Anda memiliki vas dengan kelereng merah / biru dalam rasio 50/50 dari mana Anda menggambar 10 kelereng. Maka Anda dapat dengan mudah mengungkapkan sesuatu seperti P (eksperimen | hasil | vas), tetapi tidak masuk akal untuk mengekspresikan P (eksperimen vas | hasil). Hasil (pada itu sendiri) bukan distribusi probabilitas percobaan vas berbeda yang mungkin.

Jika Anda memiliki beberapa jenis percobaan vas, dalam hal ini dimungkinkan untuk menggunakan express sesuatu seperti P (jenis percobaan vas) dan menggunakan aturan Bayes untuk mendapatkan P (jenis percobaan vas | hasil), karena sekarang jenis Eksperimen vas adalah variabel stokastik. (catatan: lebih tepatnya itu adalah P (jenis percobaan vas | hasil & distribusi jenis percobaan vas))

Namun, P (jenis percobaan vas | hasil) ini membutuhkan (meta) hipotesis tentang P distribusi awal yang diberikan (jenis percobaan vas).

Intuisi

mungkin ungkapan di bawah ini membantu untuk memahami satu arah

X) Kita dapat menyatakan probabilitas X yang diberikan hipotesis tentang X.

jadi

1) Kita dapat mengungkapkan probabilitas untuk hasil yang diberikan hipotesis tentang hasil.

dan

2) Kita dapat mengungkapkan probabilitas hipotesis yang diberikan (meta) hipotesis tentang hipotesis ini.

Adalah aturan Bayes yang memungkinkan kita untuk menyatakan kebalikan dari (1) tetapi kita perlu (2) untuk ini, hipotesis perlu menjadi variabel stokastik.

Penolakan sebagai solusi

Jadi kita tidak bisa mendapatkan probabilitas absolut untuk hipotesis yang diberikan hasilnya. Itu adalah fakta kehidupan, berusaha untuk melawan fakta ini tampaknya menjadi asal dari tidak menemukan jawaban yang memuaskan. Solusi untuk menemukan jawaban yang memuaskan adalah: menerima bahwa Anda tidak bisa mendapatkan probabilitas (absolut) untuk suatu hipotesis.

Frekuensi

Dengan cara yang sama seperti tidak dapat menerima hipotesis, kita seharusnya tidak (secara otomatis) menolak hipotesis ketika P (hasil | hipotesis) mendekati nol. Itu hanya berarti bahwa ada bukti yang mendukung perubahan kepercayaan kita dan itu juga tergantung pada P (hasil) dan P (hipotesis) bagaimana kita harus mengekspresikan kepercayaan baru kita.

Ketika frequentist memiliki skema penolakan maka itu baik-baik saja. Apa yang mereka ungkapkan bukanlah apakah hipotesis itu benar atau salah, atau probabilitas untuk kasus seperti itu. Mereka tidak dapat melakukan itu (tanpa prior). Apa yang mereka ungkapkan adalah sesuatu tentang tingkat kegagalan (kepercayaan) dari metode mereka (mengingat asumsi tertentu benar).

Mahatahu

Salah satu cara untuk mengeluarkan semua ini adalah dengan mengeliminasi konsep probabilitas. Jika Anda mengamati seluruh populasi 100 kelereng dalam vas maka Anda dapat mengekspresikan pernyataan tertentu tentang suatu hipotesis. Jadi, jika Anda menjadi maha tahu dan konsep probabilitas tidak relevan, maka Anda dapat menyatakan apakah hipotesis itu benar atau tidak (walaupun probabilitas juga keluar dari persamaan)

Sextus Empiricus
sumber

Contoh vas Anda masuk akal. Namun, dalam kehidupan nyata, kita hampir tidak pernah tahu berapa kelereng dari masing-masing warna dalam vas. Saya selalu menemukan diri saya dengan pertanyaan lebih seperti "Apakah ada lebih banyak kelereng merah daripada biru" dan data saya adalah saya menggambar 4 kelereng merah dan 1 marmer biru dari vas. Sekarang, saya dapat membuat asumsi seperti "mungkin ada ~ 100 kelereng dan masing-masing marmer berwarna merah atau biru dengan probabilitas 50%" tetapi dalam kehidupan nyata, saya sering mendapati diri saya bingung bagaimana cara mendapatkan secara non-sewenang-wenang dan tidak sirkuler. prior ini.

Kalev Maricq

Itu lebih merupakan pertanyaan epistemologis daripada masalah tentang probabilitas. Ekspresi seperti P (hasil | hipotesis) dengan cara yang sama "salah", maksud saya, itu adalah ekspresi hipotetis. Anda dapat mengungkapkan probabilitas untuk suatu hasil, mengingat keyakinan hipotetis tertentu tentang 'kenyataan'. Dengan cara yang sama seperti probabilitas untuk hasil eksperimen adalah hipotetis, ekspresi untuk probabilitas beberapa teori (dengan atau tanpa beberapa pengamatan terhadap hasil), membutuhkan kepercayaan hipotetis tertentu tentang 'realitas'. Ya, prior agak arbitrer. Tapi begitu juga sebuah hipotesis.

Sextus Empiricus

Berbicara tentang probabilitas. Perhatikan bahwa aturan Bayes adalah tentang dua variabel stokastik: P (a | b) P (b) = P (b | a) P (a). Anda dapat menghubungkan probabilitas bersyarat. Jika salah satu dari P (b | a) adalah hubungan sebab akibat , seperti dalam 'teori mengarah ke distribusi hasil', maka Anda dapat menghitungnya dengan tepat. Kasus seperti itu hanya karena kausalitas (1 arah). Hipotesis memungkinkan untuk mengetahui (hipotesis) semua yang Anda butuhkan, kelereng dalam vas. Sebaliknya, tidak bekerja. Hasil percobaan 4 merah vs 1 biru, tidak menyebabkan distribusi probabilitas kelereng dalam vas.

Sextus Empiricus

Probabilitas bahwa Null Hipotesis Benar

Jawaban:

-------------------------------------------------- ---------------------

-------------------------------------------------- -------------------

Sangat sederhana

Sebuah contoh

Intuisi

Penolakan sebagai solusi

Frekuensi

Mahatahu