Apakah nilai p 0,04993 cukup untuk menolak hipotesis nol?

Dalam Wilcoxon signed-peringkat uji signifikansi statistik, kami datang di beberapa data yang menghasilkan -nilai dari . Dengan ambang , apakah hasil ini cukup untuk menolak hipotesis nol, atau lebih aman untuk mengatakan tes itu tidak meyakinkan, karena jika kita membulatkan nilai p ke 3 tempat desimal menjadi ? $p$ $0.04993$ $p < 0.05$ $0.050$

hypothesis-testing statistical-significance p-value Islam El-Nabarawy
sumber

0,04993 <0,05, jadi itu lebih rendah. Naluri Anda baik sehingga tidak ada nilai-P yang dapat dipercaya ke beberapa tempat desimal, tetapi jika program tersebut mengatakan kurang dari 0,05, orang-orang biasanya menganggapnya seperti yang disampaikan. Masalah sebenarnya di sini adalah membuat fetish pengujian tingkat signifikansi sehingga <0,05 berarti "nyata", "dapat diterbitkan", "menyebabkan kebahagiaan" dan sebaliknya berarti "ilusi", "tidak dapat diterbitkan", "menyebabkan kesengsaraan" . Sebagian besar teks pengantar statistik yang bagus membahas hal ini sampai batas tertentu. Satu yang bagus adalah Freedman, Pisani, Purves, Statistics . New York: WW Norton, edisi apa pun.

Nick Cox

Anda harus bertanya pada diri sendiri apa keputusan Anda jika nilai-p adalah 0,051? bagaimana jika 0,049? Apakah Anda akan membuat keputusan yang berbeda? Mengapa?

AlefSin

Terima kasih atas komentar anda Dalam kasus kami, kami tidak mempertimbangkan apakah data dapat dipublikasikan atau tidak, dll ... Kami hanya mempertimbangkan untuk membuat pernyataan di makalah tentang signifikansi statistik dari hasil ini, dan kami ingin memastikan pernyataan kami tidak salah atau tidak akurat. .

Islam El-Nabarawy

Pelaporan P = 0,04993 adalah apa yang muncul dalam pikiran. Sulit untuk memprediksi komentar pengulas atau editor. Jika Anda ingin membulatkan, menetapkan konvensi pembulatan konsisten selalu merupakan ide yang baik dan dapat diterima secara luas. Beberapa orang akan membulatkan ke 3 dp dan mungkin juga menggunakan beberapa jenis konvensi yang dibintangi sehingga melaporkan 0,050 (3 dp) dan membintanginya sebagai <0,05 konsisten.

Nick Cox

Saya tidak tahu ... mungkin kita harus menjalankan bootstrap ganda dan menghitung interval kepercayaan untuk nilai- ! Dalam semua kejujuran, saya akan melaporkan: "Temuan itu signifikan batas, ." Pada titik itu, Anda membelah rambut, dan semua orang tiba-tiba ingat bahwa 1/20 peluang positif palsu adalah cara yang sepenuhnya sewenang-wenang untuk menjalankan ilmu pengetahuan.

p

$p$

0.049 < p < 0.050

$0.049 < p < 0.050$

AdamO

Jawaban:

Ada dua masalah di sini:

1) Jika Anda sedang melakukan uji hipotesis formal (dan jika Anda sudah terlalu jauh mengutip nilai p dalam buku saya, sudah), apa aturan penolakan formal?

Saat membandingkan statistik uji dengan nilai kritis, nilai kritis ada di wilayah penolakan . Meskipun formalitas ini tidak terlalu menjadi masalah ketika semuanya kontinu, itu penting ketika distribusi statistik uji terpisah.

Sejalan dengan itu, ketika membandingkan nilai p dan tingkat signifikansi, aturannya adalah:

Tolak jika $p\leq\alpha$

Harap dicatat bahwa, bahkan jika Anda membulatkan nilai p Anda hingga 0,05, bahkan jika nilai $p$ tepat 0,05, secara formal, Anda tetap harus menolak .

2) Dalam hal 'apa yang dikatakan nilai-p kami', maka dengan asumsi Anda bahkan dapat menafsirkan nilai-p sebagai 'bukti terhadap nol' (misalkan pendapat tentang itu agak terbagi), 0,0499 dan 0,0501 tidak benar-benar mengatakan hal-hal berbeda tentang data (ukuran efek akan cenderung hampir identik).

$\alpha = 0.05$

Glen_b -Reinstate Monica
sumber

Tapi, sekali lagi, Anda bisa menggunakan argumen yang sangat mirip untuk tidak menolak nol. Tidak ada yang istimewa dari 0,05, jika Anda memilih 0,06 sebagai batas Anda, Anda mungkin tidak akan mengajukan pertanyaan, tetapi situasinya tidak akan jauh berbeda ... Sebaliknya dalam situasi ini saya akan bertanya: "apa yang sebenarnya- makna hidup dari hasil ini? " Sebagai contoh jika ini adalah eksperimen biologis saya akan mencari signifikansi biologis dari hasil spesifik, laporkan nilai-p sebagaimana adanya dan lebih baik mengomentari biologi.

nico

@nico ini sudah menjadi poin dari item saya (2); itu membantah ketergantungan yang berlebihan pada pendekatan formal dalam (1)

Glen_b -Reinstate Monica

Glen terima kasih dan nico. Bagian data ini adalah sekunder dari percobaan kami, jadi kami akhirnya melaporkan nilainya seperti apa adanya. Bagaimanapun, saya menandai ini sebagai jawaban yang diterima. Terima kasih sekali lagi kepada semua orang yang berpartisipasi dengan jawaban atau komentar.

Islam El-Nabarawy

Itu terletak di mata yang melihatnya.

$\alpha$ $\alpha=0.05$

Jadi itu benar-benar bermuara pada apa yang dikatakan AlefSin sebelumnya. Tidak mungkin ada "jawaban yang benar" untuk pertanyaan Anda. Laporkan apa yang Anda dapatkan, bulat atau tidak.

Ada banyak literatur tentang "signifikansi signifikansi"; lihat misalnya makalah baru-baru ini dari salah satu ahli statistik terkemuka Jerman Walter Krämer tentang "Kultus signifikansi statistik - Apa yang harus dan tidak boleh dilakukan oleh para ekonom untuk membuat data mereka berbicara", Schmollers Jahrbuch 131 , 455-468, 2011.

Kejahatan
sumber

-6

$p=0.05$

Masalah utama adalah frasa ini: "Kami menemukan beberapa data ...".

$p$ $p$

Ada nama untuk jenis penyimpangan statistik ini: pengerukan data . Saya ambivalen melaporkannya di koran sebagai hipotesis yang menarik; apakah ada alasan fisik yang Anda harapkan?

Namun, ada satu jalan keluar. Mungkin Anda memutuskan apriori untuk melakukan hanya ini satu tes pada hanya ini satu set data. Anda menuliskannya di buku catatan laboratorium Anda, di depan seseorang sehingga Anda bisa membuktikannya nanti. Lalu Anda melakukan tes Anda.

$p=0.05$

Mike McCoy
sumber

Ini mungkin terlalu mengandalkan pada pilihan ungkapan tertentu; Anda mengasumsikan agak banyak dari apa yang mungkin hanya pilihan kata yang buruk - tidak semua orang di sini memiliki bahasa Inggris sebagai bahasa pertama. Ini benar-benar layak diangkat sebagai masalah potensial, tetapi untuk sekadar menyatakan segala sesuatu dengan begitu terang-terangan ("sama sekali tidak") menyiratkan Anda tahu lebih banyak daripada yang bisa kami katakan dari apa yang ada di sini. (Selanjutnya, referensi ke 'notebook lab' menyiratkan OP sedang melakukan pekerjaan di lab. Saya ragu ini masalahnya. Sekali lagi, Anda menyiratkan Anda tahu lebih banyak dari yang kita miliki di sini.)

Glen_b -Reinstate Monica

Mike McCoy, terima kasih atas jawaban Anda, tetapi saya khawatir dalam kasus ini Glen_b benar. Saya bukan penutur asli bahasa Inggris, dan sementara saya berusaha keras untuk menulis dan berbicara dengan lancar sejauh kemampuan saya memungkinkan, penggunaan dan konotasi terus menjauhi saya. Jadi, dalam kasus khusus ini, kami tidak mencoba hal yang berbeda sampai kami menemukan sesuatu yang signifikan. Sebenarnya, apa yang kami coba buktikan adalah bahwa tidak ada peningkatan signifikan secara statistik pada beberapa nilai kesalahan, dan dalam satu kasus tertentu kami menemukan bahwa kesalahan itu benar-benar berkurang, dan ketika kami menjalankan uji W, ini adalah tempat kami mendapat 0,0499 .

Islam El-Nabarawy

Mike, saya juga tidak melihat masalah dalam pengungkapan pertanyaan. Dan sepertinya tidak ada orang lain yang melihat tanda-tanda data yang mengintip, menambang, mengeruk, apa pun di sini ... Dan itu pasti terletak di mata yang melihatnya. Tidak ada fakta matematika selain aturan keputusan yang dipilih oleh ahli statistik. Baca kembali apa yang ditulis oleh AlefSin, Glen dalam poinnya (2) dan saya.

Skullduggery

@ IslamEl-Nabarawy Jika Anda ingin menetapkan kesetaraan / kurangnya perbedaan, Anda memiliki banyak masalah lain selain cara menginterpretasikan nilai yang dekat dengan ambang batas atau data potensial yang mengintai. Hanya menemukan nilai p- sedikit lebih dari 0,05 (atau tingkat kesalahan apa pun yang Anda pilih) jelas tidak cukup. Cari “pengujian kesetaraan” di sini dan di tempat lain atau ajukan pertanyaan khusus tentang itu karena ini adalah masalah yang sama sekali berbeda.

Gala

"Namun, ada satu jalan keluar. Mungkin Anda memutuskan apriori untuk melakukan tes yang satu ini hanya pada kumpulan data yang satu ini. Anda menuliskannya di buku catatan laboratorium Anda, di depan seseorang sehingga Anda bisa membuktikannya nanti. Kemudian Anda melakukan tes Anda. Jika Anda melakukan ini, maka hasil Anda valid pada level p = 0,05, dan Anda dapat mendukungnya kepada orang-orang skeptis seperti saya. Jika tidak, maaf, ini bukan hasil yang signifikan secara statistik " Bicara tentang kesalahan sampai terbukti tidak bersalah. Jadi, dengan tidak adanya bukti forensik yang mengesampingkan ketidakjujuran akademik, analisis tidak ada gunanya? Sheesh.

GoF_Logistic