Yang mana adalah hipotesis nol? Konflik antara teori sains, logika dan statistik?

Saya mengalami kesulitan memahami logika yang mendasari dalam menetapkan hipotesis nol . Dalam jawaban ini proposisi yang diterima secara umum dinyatakan bahwa hipotesis nol adalah hipotesis bahwa tidak akan ada efek, semuanya tetap sama, yaitu tidak ada yang baru di bawah matahari, sehingga untuk berbicara.

Hipotesis alternatif adalah apa yang Anda coba buktikan, misalnya obat baru memenuhi janjinya.

Sekarang datang dari teori sains dan logika umum yang kita tahu bahwa kita hanya dapat memalsukan proposisi, kita tidak dapat membuktikan sesuatu (tidak ada jumlah angsa putih yang dapat membuktikan bahwa semua angsa berwarna putih tetapi satu angsa hitam dapat membantahnya). Inilah mengapa kami mencoba untuk menyangkal hipotesis nol, yang tidak setara dengan membuktikan hipotesis alternatif - dan ini adalah tempat skeptisisme saya dimulai - saya akan memberikan contoh mudah:

Katakanlah saya ingin mencari tahu hewan apa yang ada di balik tirai. Sayangnya saya tidak bisa secara langsung mengamati hewan itu tetapi saya memiliki tes yang memberi saya jumlah kaki hewan ini. Sekarang saya memiliki alasan logis berikut:

Jika hewan itu seekor anjing maka ia akan memiliki 4 kaki.

Jika saya melakukan tes dan mengetahui bahwa ia memiliki 4 kaki, ini bukan bukti bahwa ia adalah seekor anjing (itu bisa kuda, badak atau hewan berkaki 4 lainnya). Tetapi jika saya mengetahui bahwa ia tidak memiliki 4 kaki ini adalah bukti yang pasti bahwa ia tidak dapat menjadi seekor anjing (dengan asumsi hewan yang sehat).

Diterjemahkan ke dalam efektivitas obat Saya ingin mencari tahu apakah obat di balik tirai efektif. Satu-satunya hal yang akan saya dapatkan adalah angka yang memberi saya efek. Jika efeknya positif, tidak ada yang terbukti (4 kaki). Jika tidak ada efek, saya menyangkal efektivitas obat.

Mengatakan semua ini saya pikir - bertentangan dengan kebijaksanaan umum - satu-satunya hipotesis nol yang valid adalah

Obat ini efektif (yaitu: jika obat ini efektif, Anda akan melihat efeknya).

karena ini adalah satu-satunya hal yang dapat saya bantah - hingga babak berikutnya di mana saya mencoba untuk lebih spesifik dan seterusnya. Jadi itu adalah hipotesis nol yang menyatakan efek dan hipotesis alternatif adalah standar ( tidak ada efek ).

Mengapa tes statistik tampaknya mundur?

PS : Anda bahkan tidak dapat meniadakan hipotesis di atas untuk mendapatkan hipotesis setara yang valid, jadi Anda tidak dapat mengatakan "Obat tidak efektif" sebagai hipotesis nol karena satu-satunya bentuk yang setara secara logis adalah "jika Anda tidak melihat efek obat itu tidak akan efektif "yang tidak membawa Anda ke mana-mana karena sekarang kesimpulannya adalah apa yang ingin Anda ketahui!

PPS : Hanya untuk klarifikasi setelah membaca jawaban sejauh ini: Jika Anda menerima teori ilmiah, bahwa Anda hanya dapat memalsukan pernyataan tetapi tidak membuktikannya, satu-satunya hal yang secara logis konsisten adalah memilih hipotesis nol sebagai teori baru - yang kemudian dapat dipalsukan. Karena jika Anda memalsukan status quo Anda dibiarkan dengan tangan kosong (status quo ditolak tetapi teori baru jauh dari terbukti!). Dan jika Anda gagal memalsukannya, Anda juga tidak dalam posisi yang lebih baik.

Dalam statistik ada tes kesetaraan serta tes yang lebih umum Null dan memutuskan apakah cukup bukti yang menentangnya. Tes ekivalensi membalikkan hal ini dan berpendapat bahwa efeknya berbeda dengan Null dan kami menentukan apakah ada bukti yang cukup terhadap Null ini.

Saya tidak jelas pada contoh obat Anda. Jika responsnya adalah nilai / indikator efek, maka efek 0 akan mengindikasikan tidak efektif. Seseorang akan menetapkan itu sebagai Null dan mengevaluasi bukti terhadap ini. Jika efeknya cukup berbeda dari nol, kami akan menyimpulkan bahwa hipotesis tidak-efektif tidak konsisten dengan data. Uji dua sisi akan menghitung nilai efek negatif yang cukup sebagai bukti terhadap Null. Tes satu sisi, efeknya positif dan cukup berbeda dari nol, mungkin tes yang lebih menarik.

Jika Anda ingin menguji apakah efeknya 0, maka kita perlu membalikkan ini dan menggunakan uji ekivalensi di mana H0 adalah efeknya tidak sama dengan nol, dan alternatifnya adalah H1 = efek = 0. Itu akan mengevaluasi bukti terhadap gagasan bahwa efek berbeda dari 0.

Saya pikir ini adalah kasus lain di mana statistik frequentist tidak dapat memberikan jawaban langsung untuk pertanyaan yang sebenarnya ingin Anda tanyakan, dan karenanya menjawab (tidak begitu) pertanyaan yang agak berbeda, dan mudah untuk salah menafsirkan ini sebagai jawaban langsung ke pertanyaan yang sebenarnya ingin Anda tanyakan.

Apa yang ingin kita tanyakan biasanya adalah berapa probabilitas bahwa hipotesis alternatif itu benar (atau mungkin seberapa besar kemungkinannya benar daripada hipotesis nol). Namun analisis frequentist pada dasarnya tidak dapat menjawab pertanyaan ini, karena untuk frequentist probabilitas adalah frekuensi jangka panjang, dan dalam hal ini kami tertarik pada kebenaran hipotesis tertentu, yang tidak memiliki frekuensi jangka panjang - itu baik benar atau tidak. Seorang Bayesian di sisi lain dapat menjawab pertanyaan ini secara langsung, karena untuk Bayesian probabilitas adalah ukuran dari masuk akalnya beberapa proposisi, sehingga sangat masuk akal dalam analisis Bayesian untuk menetapkan probabilitas pada kebenaran hipotesis tertentu.

Cara frequentist menangani peristiwa-peristiwa tertentu adalah memperlakukan mereka sebagai sampel dari beberapa populasi (mungkin fiktif) dan membuat pernyataan tentang populasi tersebut sebagai pengganti pernyataan tentang sampel tertentu. Misalnya, jika Anda ingin mengetahui probabilitas bahwa suatu koin tertentu bias, setelah mengamati N membalik dan mengamati kepala dan ekor, analisis yang kerap kali tidak dapat menjawab pertanyaan itu, akan tetapi mereka dapat memberi tahu Anda proporsi koin dari distribusi koin. koin yang tidak bias yang akan memberikan h atau lebih banyak kepala ketika membalik N kali. Karena definisi alami dari probabilitas yang kita gunakan dalam kehidupan sehari-hari umumnya adalah definisi Bayesian, daripada definisi yang sering, terlalu mudah untuk menganggap ini sebagai kemungkinan bahwa hipotesis nol (koin tidak bias) adalah benar.

Pada dasarnya tes hipotesis frequentist memiliki komponen Bayesian subyektivisit implisit mengintai di hatinya. Tes frequentist dapat memberi tahu Anda kemungkinan mengamati suatu statistik paling tidak sama ekstrimnya di bawah hipotesis nol, namun keputusan untuk menolak hipotesis nol atas dasar itu sepenuhnya subjektif, tidak ada persyaratan rasional bagi Anda untuk melakukannya. Pengalaman Essentiall telah menunjukkan bahwa kita pada umumnya berada di tanah yang cukup kuat untuk menolak nol jika nilai-p cukup kecil (sekali lagi ambangnya subyektif), sehingga itu adalah tradisi. AFAICS tidak cocok dengan filsafat atau teori sains, pada dasarnya heuristik.

Itu tidak berarti itu adalah hal yang buruk, meskipun ketidaksempurnaan pengujian hipotesis frequentist memberikan rintangan bahwa penelitian kami harus menyelesaikan, yang membantu kita sebagai ilmuwan untuk menjaga skeptisisme diri kita dan tidak terbawa oleh antusiasme untuk teori kita. Jadi, meskipun saya orang Bayesian, saya masih menggunakan tes hipotesis frequentist secara teratur (setidaknya sampai pengulas jurnal merasa nyaman dengan alternatif Bayesain).

Untuk menambah jawaban Gavin, beberapa hal:

Pertama, saya pernah mendengar gagasan bahwa proposisi hanya dapat dipalsukan, tetapi tidak pernah terbukti. Bisakah Anda memposting tautan ke diskusi tentang ini, karena dengan kata-kata kami di sini tampaknya tidak bertahan dengan baik - jika X adalah proposisi, maka bukan (X) juga merupakan proposisi. Jika penolakan proposisi dimungkinkan, maka penolakan X sama dengan membuktikan tidak (X), dan kami telah membuktikan proposisi.

Kedua, analogi Anda antara P (efektif | ) dan P (anjing | 4 kaki) menarik. Kata-katanya harus diubah sedikit:$test_+$

Obat ini efektif (yaitu: jika obat ini efektif, Anda akan melihat efeknya).

Bahkan, P (efektif | ) sering lebih besar dari P ( | efektif), selama Anda menggunakan pengujian hipotesis dan model statistik yang tepat. Pengujian hipotesis memformalkan kemungkinan hasil tes positif di bawah . Tetapi obat yang efektif tidak menjamin tes positif; ketika obat ini efektif dan variansnya tinggi, efeknya dapat ditutupi dalam tes. t e s t + H $test_+$$test_+$$H_0$

Jika Anda mengamati Anda dapat menyimpulkan efektivitas, karena alternatifnya adalah , dan pengujian hipotesis diatur sehingga P ( | ) <0,05.H 0 t e s t + H $test_+$$H_0$$test_+$$H_0$

Jadi perbedaan antara kasus anjing dan kasus efektivitas adalah pada kesesuaian inferensi dari bukti ke kesimpulan. Dalam kasus anjing, Anda telah mengamati beberapa bukti yang tidak secara kuat menyiratkan seekor anjing. Tetapi dalam kasus uji klinis Anda telah mengamati beberapa bukti yang sangat menyiratkan kemanjuran.

Anda benar bahwa, dalam arti tertentu, pengujian hipotesis frequentist memilikinya mundur. Saya tidak mengatakan bahwa pendekatan itu salah, tetapi bahwa hasilnya seringkali tidak dirancang untuk menjawab pertanyaan yang paling diminati peneliti. Jika Anda menginginkan teknik yang lebih mirip dengan metode ilmiah, coba inferensi Bayesian .

Alih-alih berbicara tentang "hipotesis nol" yang dapat Anda tolak atau tolak untuk ditolak, dengan inferensi Bayesian Anda mulai dengan distribusi probabilitas sebelumnya berdasarkan pada pemahaman Anda tentang situasi yang dihadapi. Ketika Anda memperoleh bukti baru, kesimpulan Bayesian menyediakan kerangka kerja bagi Anda untuk memperbarui keyakinan Anda dengan bukti yang diperhitungkan. Saya rasa ini lebih mirip dengan cara kerja sains.

Saya pikir Anda punya kesalahan mendasar di sini (bukan berarti seluruh area pengujian hipotesis jelas!) Tetapi Anda mengatakan alternatifnya adalah apa yang kami coba buktikan. Tapi ini tidak benar. Kami berusaha menolak (memalsukan) yang nol. Jika hasil yang kami peroleh akan sangat tidak mungkin jika nol benar, kami menolak nol.

Sekarang, seperti yang dikatakan orang lain, ini biasanya bukan pertanyaan yang ingin kami tanyakan: Kami biasanya tidak peduli seberapa besar kemungkinan hasilnya jika nol itu benar, kami peduli seberapa besar kemungkinan nol itu, mengingat hasilnya.

Jika saya memahami Anda dengan benar, Anda setuju dengan Paul Meehl, almarhum. Lihat

Meehl, PE (1967). Teori-pengujian dalam psikologi dan fisika: Suatu paradoks metodologis . Philosophy of Science , 34 : 103-115.

Saya akan memperluas pada penyebutan Paul Meehl oleh @Doc:

1) Menguji kebalikan dari hipotesis penelitian Anda sebagai hipotesis nol membuatnya sehingga Anda hanya dapat menegaskan konsekuensinya yang merupakan argumen "tidak sah secara formal". Kesimpulan tidak harus mengikuti dari premis.

If Bill Gates owns Fort Knox, then he is rich.
Bill Gates is rich.
Therefore, Bill Gates owns Fort Knox.

http://rationalwiki.org/wiki/Affirming_the_consequent

Jika teorinya adalah "Obat ini akan meningkatkan pemulihan" dan Anda mengamati peningkatan pemulihan ini tidak berarti Anda dapat mengatakan teori Anda benar. Munculnya pemulihan yang membaik bisa terjadi karena beberapa alasan lain. Tidak ada dua kelompok pasien atau hewan yang akan persis sama pada awal dan akan berubah lebih lanjut dari waktu ke waktu selama penelitian. Ini adalah masalah yang lebih besar untuk penelitian observasional daripada penelitian eksperimental karena pengacakan "membela" terhadap ketidakseimbangan parah dari faktor pembaur yang tidak diketahui pada awal. Namun, pengacakan tidak benar-benar menyelesaikan masalah. Jika kekacauan tidak diketahui, kita tidak memiliki cara untuk mengetahui sejauh mana "pertahanan pengacakan" telah berhasil.

Juga lihat tabel 14.1 dan pembahasan mengapa tidak ada teori yang dapat diuji sendiri (selalu ada faktor tambahan yang ikut serta) di:

Paul Meehl. "Masalahnya Adalah Epistemologi, Bukan Statistik: Ganti Tes Signifikansi dengan Interval Keyakinan dan Kuantifikasi Akurasi Prediksi Numerik yang Beresiko" Di LL Harlow, SA Mulaik, & JH Steiger (Eds.), Bagaimana Jika Tidak Ada Tes Signifikansi? (hal. 393–425) Mahwah, NJ: Erlbaum, 1997.

2) Jika beberapa jenis bias diperkenalkan (misalnya, ketidakseimbangan pada beberapa faktor pembaur) kita tidak tahu ke arah mana bias ini akan terletak atau seberapa kuat itu. Tebakan terbaik yang dapat kita berikan adalah bahwa ada kemungkinan 50% untuk membiaskan kelompok pengobatan ke arah pemulihan yang lebih tinggi. Ketika ukuran sampel menjadi besar, ada juga kemungkinan 50% bahwa tes signifikansi Anda akan mendeteksi perbedaan ini dan Anda akan menginterpretasikan data sebagai bukti yang menguatkan teori Anda.

Situasi ini sama sekali berbeda dari kasus hipotesis nol bahwa "Obat ini akan meningkatkan pemulihan sebesar x%". Dalam hal ini kehadiran bias (yang saya katakan selalu ada dalam membandingkan kelompok hewan dan manusia) membuatnya lebih mungkin bagi Anda untuk menolak teori Anda.

Pikirkan "ruang" (Meehl menyebutnya "Spielraum") dari kemungkinan hasil yang dibatasi oleh pengukuran paling ekstrem. Mungkin bisa ada pemulihan 0-100%, dan Anda dapat mengukur dengan resolusi 1%. Dalam kasus pengujian signifikansi umum, ruang yang konsisten dengan teori Anda akan menjadi 99% dari hasil yang mungkin Anda bisa amati. Dalam kasus ketika Anda memprediksi perbedaan spesifik, ruang yang konsisten dengan teori Anda akan menjadi 1% dari hasil yang mungkin.

Cara lain untuk mengatakannya adalah bahwa menemukan bukti terhadap hipotesis nol mean1 = mean2 bukan tes yang berat dari hipotesis penelitian bahwa obat melakukan sesuatu. Nilai nol dari mean1 <mean2 lebih baik tetapi masih tidak terlalu baik.

Lihat gambar 3 dan 4 di sini: (1990). Teori penilaian dan perubahan: Strategi pertahanan Lakatosian dan dua prinsip yang menjamin penggunaannya . Penyelidikan Psikologis, 1, 108-141, 173-180

Bukankah semua statistik didasarkan pada asumsi bahwa tidak ada yang pasti di dunia alami (berbeda dari dunia game buatan manusia & c). Dengan kata lain, satu-satunya cara kita bisa mendekati untuk memahaminya adalah dengan mengukur probabilitas bahwa satu hal berkorelasi dengan yang lain dan ini bervariasi antara 0 dan 1 tetapi hanya bisa 1 jika kita bisa menguji hipotesis dalam jumlah tak terbatas kali dalam suatu jumlah tak terbatas dari keadaan berbeda, yang tentu saja tidak mungkin. Dan kita tidak pernah tahu itu nol karena alasan yang sama. Ini adalah pendekatan yang lebih dapat diandalkan untuk memahami realitas alam, daripada matematika, yang berurusan dengan absolut dan sebagian besar bergantung pada persamaan, yang kita tahu idealis karena jika, secara harfiah, sisi LH dari persamaan benar-benar = sisi RH, kedua sisi dapat dibalik dan kami tidak akan belajar apa pun. Sebenarnya, ini hanya berlaku untuk dunia yang statis, bukan dunia yang 'alami' yang secara intrinsik bergolak. Oleh karena itu, hipotesis nol bahkan harus menanggung matematika - setiap kali digunakan untuk memahami alam itu sendiri.

Saya pikir masalahnya ada di kata 'benar'. Realitas dunia alami secara bawaan tidak dapat diketahui karena sangat kompleks dan sangat bervariasi dari waktu ke waktu, sehingga 'kebenaran' yang diterapkan pada alam selalu bersyarat. Yang bisa kita lakukan adalah mencoba menemukan tingkat kemungkinan korespondensi antar variabel dengan percobaan berulang. Dalam upaya kami untuk memahami realitas, kami mencari apa yang tampak seperti keteraturan di dalamnya dan membangun model yang secara konseptual sadar dalam pikiran kami untuk membantu kami membuat keputusan yang masuk akal. TAPI itu sangat menjengkelkan karena selalu ada masalah. tak terduga. Hipotesis nol adalah satu-satunya titik awal yang dapat diandalkan dalam upaya kami untuk memahami realitas.

Kita harus memilih hipotesis nol yang ingin kita tolak.

Karena dalam skenario pengujian hipotesis kami, ada wilayah kritis, jika wilayah di bawah hipotesis datang di wilayah kritis, kami menolak hipotesis jika tidak kami menerima hipotesis.

Jadi misalkan kita memilih hipotesis nol, yang ingin kita terima. Dan wilayah di bawah hipotesis nol tidak berada di bawah wilayah kritis, Jadi kami akan menerima hipotesis nol. Tetapi masalahnya di sini adalah jika wilayah di bawah hipotesis nol berada di bawah wilayah yang dapat diterima, maka itu tidak berarti bahwa wilayah di bawah hipotesis alternatif tidak akan berada di bawah wilayah yang dapat diterima. Dan jika ini masalahnya maka interpretasi kita tentang hasil akan salah. Jadi kita hanya harus mengambil hipotesis itu sebagai hipotesis nol yang ingin kita tolak. Jika kita dapat menolak hipotesis nol, maka itu berarti hipotesis alternatif itu benar. Tetapi jika kita tidak dapat menolak hipotesis nol, maka itu berarti salah satu dari dua hipotesis itu bisa benar. Mungkin kita kemudian dapat mengambil tes lain, di mana kita dapat mengambil hipotesis alternatif kita sebagai hipotesis nol, dan kemudian kita dapat mencoba untuk menolaknya. Jika kita dapat menolak hipotesis alternatif (yang sekarang adalah hipotesis nol), maka kita dapat mengatakan bahwa hipotesis nol awal kita adalah benar.