Jika kita gagal menolak hipotesis nol dalam penelitian besar, bukankah itu bukti nol?

59

Keterbatasan dasar pengujian signifikansi hipotesis nol adalah bahwa hal itu tidak memungkinkan peneliti untuk mengumpulkan bukti yang mendukung nol ( Sumber )

Saya melihat klaim ini berulang di banyak tempat, tetapi saya tidak dapat menemukan pembenaran untuk itu. Jika kita melakukan penelitian besar dan kita tidak menemukan bukti signifikan secara statistik terhadap hipotesis nol , bukankah itu bukti untuk hipotesis nol?

hypothesis-testing Atte Juvonen
sumber

3

Tetapi kami memulai analisis kami dengan mengasumsikan hipotesis nol benar ... Asumsinya mungkin salah. Mungkin kita tidak memiliki kekuatan yang cukup tetapi itu tidak berarti asumsi itu benar.

SmallChess

13

Jika Anda belum membacanya, saya sangat merekomendasikan The Earth is Round karya Jacob Cohen (p <.05) . Dia menekankan bahwa dengan ukuran sampel yang cukup besar, Anda dapat menolak hampir semua hipotesis nol. Dia juga berbicara tentang penggunaan ukuran efek dan interval kepercayaan, dan dia menawarkan presentasi yang rapi tentang metode Bayesian. Plus, ini adalah kesenangan murni untuk membaca!

Dominic Comtois

7

Hipotesis kosong bisa saja salah. ... kegagalan untuk menolak nol bukanlah bukti terhadap alternatif yang cukup dekat.

Glen_b

3

Lihat stats.stackexchange.com/questions/85903 . Tetapi lihat juga stats.stackexchange.com/questions/125541 . Jika dengan melakukan "studi besar" yang Anda maksudkan "cukup besar untuk memiliki kekuatan tinggi untuk mendeteksi efek minimal yang diminati", maka kegagalan untuk menolak dapat diartikan sebagai menerima nol.

Amoeba berkata Reinstate Monica

7

Pertimbangkan paradoks konfirmasi Hempel. Memeriksa gagak dan melihat bahwa itu hitam adalah dukungan untuk "semua gagak hitam". Tetapi secara logis memeriksa benda yang bukan hitam, dan melihat bahwa itu bukan gagak, juga harus mendukung proposisi karena pernyataan "semua gagak hitam" dan "semua benda bukan hitam bukan gagak" secara logis setara ... resolusi adalah bahwa jumlah objek non-hitam jauh, jauh lebih besar dari jumlah gagak, sehingga dukungan yang diberikan gagak hitam pada proposisi lebih besar daripada dukungan kecil yang diberikan non-hitam non-gagak.

Ben

62

Gagal menolak hipotesis nol adalah bukti bahwa hipotesis nol itu benar, tetapi itu mungkin bukan bukti yang sangat baik , dan itu tentu saja tidak membuktikan hipotesis nol.

Mari kita mengambil jalan memutar singkat. Pertimbangkan klise lama:

Tidak adanya bukti bukanlah bukti ketidakhadiran.

Terlepas dari popularitasnya, pernyataan ini tidak masuk akal. Jika Anda mencari sesuatu dan gagal menemukannya, itu adalah bukti mutlak bahwa itu tidak ada di sana. Seberapa baik bukti itu tergantung pada seberapa teliti pencarian Anda. Pencarian sepintas memberikan bukti yang lemah; pencarian lengkap memberikan bukti kuat.

Sekarang, kembali ke pengujian hipotesis. Ketika Anda menjalankan tes hipotesis, Anda mencari bukti bahwa hipotesis nol itu tidak benar. Jika Anda tidak menemukannya, maka itu tentu bukti bahwa hipotesis nol itu benar, tetapi seberapa kuat bukti itu? Untuk mengetahuinya, Anda harus tahu seberapa besar kemungkinan bukti yang akan membuat Anda menolak hipotesis nol dapat menghindari pencarian Anda. Artinya, berapa probabilitas negatif palsu pada tes Anda? Ini terkait dengan kekuatan, , dari tes (khusus, itu adalah pelengkap, 1- .) $\beta$ $\beta$

Sekarang, kekuatan tes, dan karenanya tingkat negatif palsu, biasanya tergantung pada ukuran efek yang Anda cari. Efek besar lebih mudah dideteksi daripada efek kecil. Oleh karena itu, tidak ada satu untuk percobaan, dan oleh karena itu tidak ada jawaban pasti untuk pertanyaan seberapa kuat bukti untuk hipotesis nol. Dengan kata lain, selalu ada beberapa ukuran efek yang cukup kecil sehingga tidak dikesampingkan oleh percobaan. $\beta$

Dari sini, ada dua cara untuk melanjutkan. Terkadang Anda tahu Anda tidak peduli dengan ukuran efek yang lebih kecil dari ambang tertentu. Dalam hal itu, Anda mungkin harus membingkai ulang percobaan Anda sehingga hipotesis nol adalah bahwa efeknya berada di atas ambang itu, dan kemudian menguji hipotesis alternatif bahwa pengaruhnya di bawah ambang. Atau, Anda dapat menggunakan hasil Anda untuk menetapkan batas pada ukuran efek yang dapat dipercaya. Kesimpulan Anda adalah bahwa ukuran efek terletak pada beberapa interval, dengan beberapa probabilitas. Pendekatan itu hanya beberapa langkah dari perawatan Bayesian, yang mungkin ingin Anda pelajari lebih lanjut, jika Anda sering menemukan diri Anda dalam situasi seperti ini.

Ada jawaban yang bagus untuk pertanyaan terkait yang menyentuh pada bukti pengujian ketidakhadiran , yang mungkin berguna bagi Anda.

Tak seorangpun
sumber

9

Mari kita pertimbangkan tes hipotesis dengan , dengan dan nilai-p tidak signifikan. Menurut alasan Anda, ini adalah beberapa bukti untuk . Tes hipotesis lain dengan , dengan dan nilai-p tidak signifikan, kemudian akan memberikan beberapa bukti untuk . Bukti-bukti ini jelas bertentangan.

H_{1} : μ > 2

$H_1:\mu>2$

\bar{x} = 3

$\bar{x}=3$

μ \leq 2

$\mu \le 2$

H_{1} : μ < 4

$H_1:\mu<4$

\bar{x} = 3

$\bar{x}=3$

μ \geq 4

$\mu \ge 4$

Macond

4

Saya tidak yakin saya mengikuti argumen Anda. Dari apa yang saya dapat katakan Anda menggambarkan dua percobaan, masing-masing yang memasok (mungkin cukup lemah) bukti untuk salah satu dari dua hipotesis yang saling tidak konsisten. Mengapa ini mengejutkan?

Tak seorang pun

8

Contoh lain: umum . Jika Anda gagal menolaknya, apakah itu berarti Anda memiliki bukti bahwa di antara semua nilai lainnya di baris nyata, rata-rata sebenarnya adalah 0 ..? Jawaban ini menyesatkan!

H_{0} : μ = 0

$H_0: \mu = 0$

Tim

3

Saya suka akun bukti Anda - tampaknya mengarah dengan cepat ke faktor Bayes sebagai mengukur dukungan data satu model vs yang lain. Apakah memberikan bukti untuk atau melawan ? Nah itu tergantung pada kepadatan sebelum Anda untuk : jika Anda berpikir bahwa 's baik di suatu tempat hanya di bawah 2 atau di suatu tempat jauh lebih tinggi dari 3, data memberikan bukti untuk itu; jika Anda berpikir 's kemungkinan yang sama untuk berada di mana saja antara -10 & 10, data memberikan bukti terhadap hal itu. Tetapi dalam analisis yang sering terjadi, tingkat kepercayaan Anda tidak diwakili oleh angka, jadi konsep bukti apa yang berlaku?

\bar{x} = 3

$\bar{x}=3$

μ \leq 2

$\mu\leq2$

μ

$\mu$

μ

$\mu$

μ

$\mu$

Scortchi

6

Ini mengingatkan saya pada hipotesis Riemann. Kami mencari dan mencari nol yang tidak sepele di luar garis dengan bagian asli 1/2, tetapi tidak dapat menemukannya. Dan sementara kami tidak menganggap hipotesis Riemann benar karena kami tidak membuktikannya, sebagian besar ahli matematika percaya itu benar dan ada banyak hasil yang benar secara kondisional pada hipotesis Riemann benar :) Jadi dalam kasus ini kami telah menafsirkan tidak adanya bukti sebagai bukti tidak ada

Semut

29

NHST bergantung pada nilai-p, yang memberi tahu kita: Mengingat hipotesis nol itu benar, berapakah probabilitas bahwa kita mengamati data kita (atau data yang lebih ekstrem)?

Kami berasumsi bahwa hipotesis nol itu benar — dimasukkan ke dalam NHST bahwa hipotesis nol itu 100% benar. Nilai-p kecil memberi tahu kami bahwa, jika hipotesis nol benar, data kami (atau data yang lebih ekstrem) tidak mungkin.

Tapi apa yang dikatakan nilai p besar? Ini memberitahu kita bahwa, dengan hipotesis nol, data kita (atau lebih banyak data ekstrem) kemungkinan besar.

Secara umum, P (A | B) ≠ P (B | A).

Bayangkan Anda ingin mengambil nilai p yang besar sebagai bukti untuk hipotesis nol. Anda akan mengandalkan logika ini:

~~Jika nol benar, maka nilai-p tinggi kemungkinan.~~ ( Pembaruan: Tidak benar. Lihat komentar di bawah. )
Nilai p tinggi ditemukan.
Oleh karena itu, nol itu benar.

Ini mengambil bentuk yang lebih umum:

Jika B benar, maka A kemungkinannya.
A terjadi.
Karena itu, B benar.

Ini keliru, seperti yang bisa dilihat dengan contoh:

Jika hujan di luar, maka kemungkinan tanahnya basah.
Tanahnya basah.
Karena itu, hujan turun di luar.

Tanahnya bisa basah karena hujan. Atau bisa juga karena alat penyiram, seseorang membersihkan talang air, saluran air pecah, dll. Contoh lebih ekstrem dapat ditemukan di tautan di atas.

Ini adalah konsep yang sangat sulit untuk dipahami. Jika kita menginginkan bukti untuk null, inferensi Bayesian diperlukan. Bagi saya, penjelasan paling mudah dari logika ini adalah oleh Rouder et al. (2016). in paper Apakah ada makan siang gratis? diterbitkan dalam Topics in Cognitive Science, 8, hlm. 520–547.

Mark White
sumber

3

Saya tidak suka bahwa semua contoh Anda menyimpulkan "X itu benar". Memiliki bukti untuk sesuatu tidak sama dengan menyimpulkan sesuatu dengan kepastian 100%. Jika saya pergi ke luar dan tanahnya basah, itu adalah bukti "hujan". Bukti itu membuatnya jauh lebih mungkin bahwa hujan telah terjadi.

Atte Juvonen

Itu adil. Itu Rouder et al. makalah yang saya tautkan pada akhir jawaban saya tidak memiliki contoh yang memiliki kesimpulan dengan pasti.

Mark White

6

@ AntteJuvonen ya, kami memiliki beberapa bukti untuk hujan, tetapi kami tidak tahu seberapa besar kemungkinannya, jadi satu-satunya kesimpulan yang dapat Anda buat adalah bahwa "hujan bisa turun, atau bisa jadi sesuatu yang membuat tanah basah" . Jadi, Anda memiliki bukti yang tidak meyakinkan . Hanya dengan alasan statistik Bayesian Anda dapat membuat argumen sebaliknya.

Tim

3

Saya tidak setuju dengan kesimpulan Anda, "Jika kami ingin bukti untuk null, diperlukan kesimpulan Bayesian"; studi yang Anda kutip adalah dari Wagenmakers yang merupakan pendukung hard-core statistik Bayesian yang sangat vokal sehingga jelas mereka berpendapat demikian. Tetapi pada kenyataannya seseorang dapat dengan mudah memiliki bukti "untuk nol" dalam paradigma frequentist, misalnya dengan melakukan TOST (dua tes satu sisi) untuk kesetaraan. (cc @AtteJuvonen).

Amoeba berkata Reinstate Monica

10

"Jika nol itu benar, maka nilai-p tinggi kemungkinan." - ini tidak benar. Jika hipotesis nol benar, maka

p \sim U [0, 1]

$p\sim U[0,1]$ , sehingga nilai tinggi tidak lebih mungkin daripada yang rendah di bawah hipotesis nol. Yang bisa Anda katakan adalah bahwa nilai tinggi lebih mungkin di bawah nol daripada di bawah hipotesis lain - tetapi hipotesis baik bertahan atau tidak, sehingga hipotesis bukanlah ruang probabilitas di mana kami beroperasi. Kecuali jika kita bekerja dalam paradigma Bayesian! Dan di situlah argumen Anda sayangnya rusak.

p

$p$

p

$p$

S. Kolassa - Reinstate Monica

14

Untuk memahami apa yang salah dengan asumsi tersebut, lihat contoh berikut:

Bayangkan sebuah kandang di kebun binatang di mana Anda tidak bisa melihat penghuninya. Anda ingin menguji hipotesis bahwa itu dihuni oleh monyet dengan memasukkan pisang ke dalam kandang dan memeriksa apakah sudah hilang pada hari berikutnya. Ini diulangi N kali untuk meningkatkan signifikansi statistik.

Sekarang Anda dapat merumuskan hipotesis nol: Mengingat ada monyet di kandang, sangat mungkin mereka akan menemukan dan memakan pisang, jadi jika pisang tidak disentuh setiap hari, sangat tidak mungkin ada monyet di dalamnya.

Tetapi sekarang Anda melihat bahwa pisang hilang (hampir) setiap hari. Apakah itu memberitahu Anda bahwa ada monyet di dalam?

Tentu saja tidak, karena ada hewan lain yang menyukai pisang juga, atau mungkin penjaga kebun binatang yang penuh perhatian menghilangkan pisang setiap malam.

Jadi apa kesalahan yang dibuat dalam logika ini? Intinya adalah bahwa Anda tidak tahu apa-apa tentang kemungkinan pisang hilang jika tidak ada monyet di dalamnya. Untuk menguatkan hipotesis nol, probabilitas pisang hilang harus kecil jika hipotesis nol salah, tetapi ini tidak perlu menjadi kasusnya. Bahkan, peristiwa itu mungkin sama-sama probabilitas (atau bahkan lebih mungkin) jika hipotesis nol salah.

Tanpa mengetahui tentang probabilitas ini, Anda tidak dapat mengatakan apa-apa tentang validitas hipotesis nol. Jika penjaga kebun binatang menghapus semua pisang setiap malam, percobaan ini sama sekali tidak berharga, meskipun tampaknya pada pandangan pertama Anda telah menguatkan hipotesis nol.

Thern
sumber

Ini harus menjadi jawaban yang diterima.

Emily L.

2

@amoeba Dalam hal ini, null hyp berarti monyet berada di dalam kandang. Alt hyp adalah bahwa tidak ada monyet di dalam kandang. Sampel yang saya kumpulkan adalah pengamatan "pisang hilang" dan "pisang masih ada" setiap pagi. Membuat beberapa asumsi tentang monyet dan kemampuan mereka untuk menemukan pisang, saya dapat menghitung probabilitas p bahwa saya akan melihat hasil aktual dengan monyet di dalam kandang. Jika pisang masih sering ada, saya akan menolak hip nol. Jika pisang selalu hilang, ini cocok dengan hip nol, tetapi tidak membuktikan bahwa monyet ada di dalam kandang.

Thern

1

@amoeba Saya tidak yakin apakah mungkin untuk langsung menerjemahkan contoh monyet ke skenario uji-t Anda. Sepengetahuan saya, pengujian hipotesis nol secara umum berarti apa yang juga ditulis Mark White dalam jawabannya: "Mengingat hipotesis nol itu benar, berapakah probabilitas bahwa kita mengamati data kita (atau data yang lebih ekstrem)?". Skenario uji-t Anda adalah kasus khusus untuk ini, tetapi saya saat ini tidak melihat bagaimana skenario ini dapat digeneralisasi. Dari perasaan saya, saya akan mengatakan bahwa skenario Anda dan contoh monyet adalah dua cara pengujian hipotesis yang berbeda yang tidak dapat dipetakan satu sama lain secara langsung.

Thern

1

Jika demikian @Nebr, maka saya lagi sangat bingung tentang arti contoh monyet Anda. T-test mungkin adalah tes hipotesis yang paling umum; Saya menyebutkannya dalam komentar saya hanya karena itu adalah contoh ujian yang khas. Jika contoh monyet Anda tidak berlaku (seperti yang Anda katakan) - ini tipikal! - Situasi, maka saya bingung tentang artinya. Bahkan, jika Anda mengatakan bahwa uji-t dan contoh monyet adalah "dua cara pengujian hipotesis yang berbeda", maka dapatkah Anda memberikan contoh uji statistik yang mengikuti contoh monyet Anda "jalan"? Apa sebenarnya contoh analogi monyet Anda?

Amuba mengatakan Reinstate Monica

1

@ Nebr Saya setuju bahwa ini adalah pertanyaan umum. Tetapi jika Anda tidak dapat memberi saya satu contoh uji statistik nyata yang akan memiliki properti yang sama dengan contoh monyet Anda, maka saya minta maaf tetapi saya harus mempertimbangkan contoh monyet Anda yang tidak relevan untuk utas ini. Saya tidak mengatakan bahwa contoh monyet harus sesuai dengan uji-t secara khusus. Tapi itu harus berhubungan dengan sesuatu !!

Amuba mengatakan Reinstate Monica

14

Dalam makalahnya yang terkenal Mengapa Temuan Penelitian Terbanyak Salah , Ioannidis menggunakan penalaran Bayesian dan tingkat dasar-kekeliruan untuk menyatakan bahwa sebagian besar temuan adalah positif palsu. Singkatnya, probabilitas pasca-studi bahwa hipotesis penelitian tertentu benar tergantung - antara lain - pada probabilitas pra-studi hipotesis tersebut (yaitu tingkat dasar).

Sebagai tanggapan, Moonesinghe et al. (2007) menggunakan kerangka kerja yang sama untuk menunjukkan bahwa replikasi sangat meningkatkan probabilitas post-studi dari hipotesis yang benar. Ini masuk akal: Jika banyak penelitian dapat mereplikasi temuan tertentu, kami lebih yakin bahwa hipotesis dugaan itu benar.

Saya menggunakan formula di Moonesinghe et al. (2007) untuk membuat grafik yang menunjukkan probabilitas pasca-studi dalam kasus kegagalan untuk mereplikasi temuan. Asumsikan bahwa hipotesis penelitian tertentu memiliki probabilitas pra-studi menjadi benar sebesar 50%. Lebih lanjut, saya berasumsi bahwa semua studi tidak memiliki bias (tidak realistis!) Memiliki kekuatan 80% dan menggunakan 0,05. $\alpha$

Grafik menunjukkan bahwa jika setidaknya 5 dari 10 studi gagal mencapai signifikansi, probabilitas pasca-studi kami bahwa hipotesis itu benar hampir 0. Hubungan yang sama ada untuk studi lebih lanjut. Temuan ini juga masuk akal secara intuitif: Kegagalan berulang untuk menemukan efek memperkuat keyakinan kami bahwa efek tersebut kemungkinan besar salah. Alasan ini sejalan dengan jawaban yang diterima oleh @RPL.

Sebagai skenario kedua, mari kita asumsikan bahwa studi hanya memiliki kekuatan 50% (semuanya sama).

Sekarang probabilitas pasca-studi kami menurun lebih lambat, karena setiap studi hanya memiliki daya yang rendah untuk menemukan efeknya, jika benar-benar ada.

COOLSerdash
sumber

Perhatikan bahwa Anda mendapatkan semua bukti tentang hipotesis nol dari kasus di mana tes gagal hipotesis ini. Tetapi asumsi dari OP adalah bahwa tes menguatkan hipotesis nol ("Jika kita melakukan penelitian besar dan kami tidak menemukan bukti signifikan secara statistik terhadap hipotesis nol, bukankah itu bukti untuk hipotesis nol?"). Ini sesuai dengan bagian paling kiri dari diagram Anda, dan dengan demikian untuk kasus di mana probabilitas efeknya masih 50% (atau, secara umum, probabilitas pra-studi), sehingga Anda tidak memperoleh apa-apa.

Thern

@Nebr, saya tidak mengerti. Jika kita melakukan 1 penelitian besar, bertenaga baik (katakanlah kekuatan 95%) dan kita gagal menemukan bukti terhadap hipotesis nol (yaitu uji hipotesis statistik tidak signifikan pada tingkat 5%), probabilitas pasca-studi kita akan menjadi 0,05 dalam kerangka kerja yang disebutkan (dengan probabilitas pra-studi 50%).

COOLSerdash

1

@Nebr Komentar terakhir Anda tidak masuk akal: jika hasilnya tidak signifikan, itu tidak mungkin menjadi "false positive".

Amoeba berkata Reinstate Monica

1

@Nebr If you have a negative, you found evidence against the null- Apa? Kata "negatif" memiliki arti sebaliknya. Nilai p yang signifikan disebut hasil "positif"; yang tidak signifikan adalah "negatif".

Amuba mengatakan Reinstate Monica

1

@Nebr 100% power TIDAK berarti "bahwa jika H0 benar, kita dapat yakin bahwa kita akan selalu melihat H1". Ini berarti bahwa jika H1 benar, kita akan selalu melihat H1. Saya tidak akan mencoba membaca komentar Anda lebih jauh, karena setiap kalimat membingungkan.

Amuba kata Reinstate Monica

12

Penjelasan terbaik yang pernah saya lihat untuk ini adalah dari seseorang yang pelatihannya dalam matematika.

Pengujian Signifikansi Null-Hipotesis pada dasarnya adalah bukti dengan kontradiksi: anggap , apakah ada bukti untuk $H_0$ $H_1$ ? Jika ada bukti untuk , tolak dan terima . Tetapi jika tidak ada bukti untuk , itu bulat untuk mengatakan bahwa benar karena Anda menganggap bahwa benar untuk memulai. $H_1$ $H_0$ $H_1$ $H_1$ $H_0$ $H_0$

Klarinetis
sumber

4

Mungkin Anda harus melihat utas ini: stats.stackexchange.com/questions/163957/...

10

Jika Anda tidak menyukai konsekuensi pengujian hipotesis ini tetapi tidak siap untuk melakukan lompatan penuh ke metode Bayesian, bagaimana dengan interval kepercayaan?

Misalkan Anda membalik koin kali dan melihat kepala, membuat Anda mengatakan bahwa interval kepercayaan 95% untuk probabilitas kepala adalah . $42078$ $20913$ $[0.492,0.502]$

Anda belum mengatakan bahwa Anda telah melihat bukti bahwa itu sebenarnya , tetapi bukti tersebut menunjukkan keyakinan tentang seberapa dekat mungkin dengan . $\frac12$ $\frac12$

Henry
sumber

2

Apa Bayesian tentang interval kepercayaan?

kjetil b halvorsen

3

@kjetilbhalvorsen: Interval kepercayaan bukan Bayesian (interval kredibel akan menjadi), tetapi interval kepercayaan memberikan informasi lebih lanjut tentang bukti kemudian akan penolakan / non-penolakan hipotesis sederhana

Henry

9

Mungkin akan lebih baik untuk mengatakan bahwa non-penolakan terhadap hipotesis nol tidak dengan sendirinya menjadi bukti untuk hipotesis nol. Setelah kami mempertimbangkan kemungkinan penuh data, yang lebih eksplisit mempertimbangkan jumlah data, maka data yang dikumpulkan dapat memberikan dukungan untuk parameter yang termasuk dalam hipotesis nol.

Namun, kita juga harus hati-hati memikirkan hipotesis kita. Secara khusus, kegagalan untuk menolak hipotesis titik nol bukanlah bukti yang sangat baik bahwa hipotesis titik nol itu benar. Secara realistis, ia mengumpulkan bukti bahwa nilai sebenarnya dari parameter tidak jauh dari titik yang dimaksud. Hipotesis titik nol sampai batas tertentu adalah konstruksi buatan dan paling sering Anda tidak benar-benar percaya bahwa itu akan benar.

Menjadi jauh lebih masuk akal untuk berbicara tentang penolakan yang mendukung hipotesis nol, jika Anda dapat membalikkan hipotesis nol dan alternatif secara bermakna dan jika saat melakukannya Anda akan menolak hipotesis nol baru Anda. Ketika Anda mencoba melakukan itu dengan hipotesis nol titik standar, Anda segera melihat bahwa Anda tidak akan pernah berhasil menolak komplemennya, karena hipotesis nol terbalik Anda berisi nilai yang mendekati nilai yang dipertimbangkan.

Di sisi lain, jika Anda, katakanlah, uji hipotesis nol terhadap alternatif untuk rata-rata distribusi normal, maka untuk setiap nilai sebenarnya dari ada ukuran sampel - kecuali jika tidak realistis nilai sebenarnya dari adalah atau - yang kita punya probabilitas hampir 100% bahwa interval kepercayaan level akan jatuh sepenuhnya dalam atau di luar interval ini. Untuk ukuran sampel terbatas, tentu saja Anda bisa mendapatkan interval kepercayaan yang terletak di seberang batas, dalam hal ini tidak semua bukti kuat untuk hipotesis nol. $H_0: |\mu| \leq \delta$ $H_A: |\mu| > \delta$ $\mu$ $\mu$ $-\delta$ $+\delta$ $1-\alpha$ $[-\delta, +\delta]$

Björn
sumber

4

+1. IMHO ini harus menjadi jawaban yang diterima. Saya tidak mengerti mengapa hanya ada sedikit upvotes.

Amuba kata Reinstate Monica

1

@amoeba karena ini diposting terlambat, tapi saya setuju dan sudah memberi +1.

Tim

6

Ini lebih tergantung pada bagaimana Anda menggunakan bahasa. Di bawah teori keputusan Pearson dan Neyman, itu bukan bukti untuk nol, tetapi Anda harus bersikap seolah-olah nol itu benar.

Kesulitan datang dari modus tollens. Metode Bayesian adalah bentuk penalaran induktif dan, dengan demikian, adalah bentuk penalaran tidak lengkap. Metode hipotesis nol adalah bentuk probabilistik dari modus tollens dan karena itu merupakan bagian dari penalaran deduktif dan karenanya merupakan bentuk penalaran yang lengkap.

Modus tollens memiliki bentuk "jika A benar maka B benar, dan B tidak benar; karena itu A tidak benar." Dalam bentuk ini, itu akan menjadi jika nol benar maka data akan muncul dengan cara tertentu, mereka tidak muncul dengan cara itu, oleh karena itu (untuk beberapa tingkat kepercayaan) nol tidak benar (atau setidaknya "dipalsukan" . "

Masalahnya adalah Anda ingin "Jika A maka B dan B." Dari sini, Anda ingin menyimpulkan A, tetapi itu tidak valid. "Jika A maka B," tidak mengecualikan "jika bukan A maka B" juga menjadi pernyataan yang valid. Pertimbangkan pernyataan "jika itu beruang, maka ia bisa berenang. Itu adalah ikan (bukan beruang)." Pernyataan itu tidak mengatakan apa-apa tentang kemampuan non-beruang untuk berenang.

Probabilitas dan statistik adalah cabang retorika dan bukan cabang matematika. Ini adalah pengguna matematika yang berat tetapi bukan bagian dari matematika. Itu ada karena berbagai alasan, persuasi, pengambilan keputusan atau kesimpulan. Ini meluas retorika ke diskusi bukti yang disiplin.

Dave Harris
sumber

1

+1 untuk menyebut Neyman dan Pearson (lihat stats.stackexchange.com/questions/125541 ).

Amuba mengatakan Reinstate Monica

5

Saya akan mencoba menggambarkan ini dengan sebuah contoh.

Mari kita berpikir bahwa kita mengambil sampel dari suatu populasi, dengan maksud untuk menguji mean . Kami mendapatkan sampel dengan mean . Jika kita mendapatkan nilai p tidak signifikan, kita juga akan mendapatkan nilai p tidak signifikan jika kita telah menguji hipotesis nol lainnya , sehingga berada di antara dan . Sekarang untuk nilai apa kita punya bukti? $\mu$ $\bar{x}$ $H_0:\mu=\mu_i$ $\mu_i$ $\mu_0$ $\bar{x}$ $\mu$

Juga ketika kami mendapatkan nilai p yang signifikan, kami tidak mendapatkan bukti untuk tertentu , sebaliknya itu merupakan bukti terhadap (yang dapat dijadikan bukti untuk , atau tergantung situasi). Sifat pengujian hipotesis tidak memberikan bukti untuk sesuatu, itu hanya melawan sesuatu, jika itu benar. $H_1:\mu=M$ $H_0:\mu=\mu_0$ $\mu\ne\mu_0$ $\mu<\mu_0$ $\mu>\mu_0$

Macond
sumber

"Sekarang untuk nilai μ apa kita punya bukti?" - Kami memiliki bukti kuat untuk nilai yang lebih dekat dengan mean sampel dan bukti yang lebih lemah untuk nilai lebih jauh dari mean sampel. Seberapa kuat atau lemah tergantung pada ukuran dan varians sampel. Apakah ada yang salah dengan interpretasi ini?

Atte Juvonen

Ya ini adalah salah tafsir. Nilai P bukanlah probabilitas hipotesis nol menjadi benar, atau kekuatan bukti yang mendukung hipotesis nol. Demikian pula, Anda dapat membuat estimasi interval, dengan sampel rata-rata di tengah-tengah interval, tetapi ini tidak berarti bahwa ada probabilitas populasi yang lebih tinggi yang dekat dengan pertengahan interval. Ada referensi ke penjelasan yang bagus tentang kesalahan penafsiran ini dalam komentar Dominic Comtois untuk pertanyaan Anda.

Macond

"Ini tidak berarti bahwa ada probabilitas populasi yang lebih tinggi yang mendekati pertengahan interval." - Ini tidak benar. Saya membaca koran tetapi tidak dapat menemukan apa pun untuk menguatkan ini.

Atte Juvonen

Di tengah interval kepercayaan sesuai dengan , yang akan menghasilkan mean sampel yang diamati dengan probabilitas yang lebih tinggi. Tapi ini tidak sama dengan pernyataan: " lebih dekat ke tengah memiliki kemungkinan lebih tinggi untuk menjadi rata-rata yang benar". Seperti yang dinyatakan berkali-kali oleh orang lain: .

μ

$\mu$

μ

$\mu$

P (A | B) \neq P (B | A)

$P(A|B) \ne P(B|A)$

Macond

4

$\bar x \approx 0$ $t$ $H_0: \bar x = \mu$ $\mu = -0.5$ $p > 0.05$ $H_0$ $\mu = 0.5$ $t$ $p$ $\mu = -0.5$ $\mu = 0.5$

$p$ $H_0$ $p$ $H_0$ $H_1$ $\mu$ $\mu$ $\mu$

L (μ | X) = f (X | μ)

$L(\mu | X) = f(X | \mu)$

$\hat\mu$ $\hat\mu$ $\hat\mu$ $f(\mu|X) \ne f(X|\mu)$ $f(\mu|X)$ $\hat\mu$ . Ini mengarah pada teorema Bayes

f (μ | X) = \frac{f (X | μ) f (μ)}{\int f (X | μ) f (μ) d μ}

$f(\mu|X) = \frac{ f(X|\mu) \, f(\mu) }{ \int \, f(X|\mu) \, f(\mu) \, d\mu }$

$\mu$ $\hat\mu$ $\mu$

$H_1$ $H_0$ $H_0$ , dll. Jika Anda memintanya untuk beberapa nomor, dia akan memberikannya kepada Anda, tetapi jumlahnya tidak akan sebanding . Masalahnya adalah bahwa uji hipotesis / oracle beroperasi dalam suatu kerangka kerja, di mana dia dapat memberikan jawaban konklusif hanya untuk pertanyaan yang menanyakan apakah data konsisten dengan beberapa hipotesis , bukan sebaliknya, karena Anda tidak mempertimbangkan hipotesis lain.

Tim
sumber

2

Mari kita ikuti contoh sederhana.

Hipotesis nol saya adalah bahwa data saya mengikuti distribusi normal. Hipotesis alternatif adalah bahwa distribusi untuk data saya tidak normal.

Saya menarik dua sampel acak dari distribusi yang seragam pada [0,1]. Saya tidak bisa berbuat banyak dengan hanya dua sampel, jadi saya tidak akan bisa menolak hipotesis nol saya.

Apakah itu berarti saya dapat menyimpulkan data saya mengikuti distribusi normal? Tidak, ini distribusi yang seragam !!

Masalahnya adalah saya telah membuat asumsi normal dalam hipotesis nol saya. Jadi, saya tidak bisa menyimpulkan asumsi saya benar karena saya tidak bisa menolaknya.

Catur kecil
sumber

3

Saya tidak berpikir studi dengan 2 sampel memenuhi syarat sebagai "studi". Segera setelah kami menggambar sejumlah titik data yang masuk akal, contoh ini tidak berfungsi. Jika kita menggambar 1000 poin data dan terlihat seperti distribusi yang seragam, kita memiliki bukti terhadap hipotesis nol kami. Jika kita menggambar 1000 poin data dan terlihat seperti distribusi normal, kita memiliki bukti untuk hipotesis nol kami.

Atte Juvonen

1

@AtteJuvonen Jawaban saya bukanlah upaya untuk mendefinisikan apa yang seharusnya menjadi studi. Saya hanya mencoba memberikan contoh sederhana untuk menggambarkan kurangnya kekuatan statistik untuk pertanyaan itu. Kita semua tahu 2 sampel buruk.

SmallChess

4

Baik. Saya hanya mengatakan contoh Anda menggambarkan masalah menggambar kesimpulan dari 2 sampel. Itu tidak menggambarkan masalah menggambar bukti untuk hipotesis nol.

Atte Juvonen

2

$H_0$ $H_0$

$H_0$ $H_0$ $H_0$

Dmitry Grigoryev
sumber

H_{0}

$H_0$

H_{0}

$H_0$

H_{0}

$H_0$

0

Tidak, ini bukan bukti kecuali Anda memiliki bukti bahwa itu adalah bukti. Saya tidak mencoba untuk menjadi imut, tetapi secara literal. Anda hanya memiliki kemungkinan melihat data tersebut dengan asumsi Anda bahwa nol itu benar. Itu adalah SEMUA yang Anda dapatkan dari nilai-p (jika itu, karena nilai-p didasarkan pada asumsi itu sendiri).

Bisakah Anda menyajikan penelitian yang menunjukkan bahwa untuk studi yang "gagal" untuk mendukung hipotesis nol, mayoritas hipotesis nol ternyata benar? Jika Anda dapat menemukan studi ITU, maka kegagalan Anda untuk menyangkal hipotesis nol setidaknya mencerminkan kemungkinan yang SANGAT digeneralisasi bahwa nol itu benar. Saya yakin Anda tidak memiliki studi itu. Karena Anda tidak bukti yang berkaitan dengan hipotesis nol yang benar berdasarkan nilai-p, Anda hanya perlu pergi dengan tangan kosong.

Anda mulai dengan mengasumsikan nol Anda benar untuk mendapatkan nilai-p itu, sehingga nilai-p tidak dapat memberi tahu Anda apa pun tentang nol, hanya tentang data. Berpikir tentang itu. Ini inferensi satu arah - titik.

Roger Dodger
sumber

Jika kita gagal menolak hipotesis nol dalam penelitian besar, bukankah itu bukti nol?

Jawaban: