Sanity check: seberapa rendah nilai p bisa?

24

Saya menggunakan uji ranksum untuk membandingkan rata-rata dua sampel ( ) dan telah menemukan bahwa mereka berbeda secara signifikan dengan: . Haruskah saya curiga dengan nilai- kecil atau haruskah saya menghubungkannya dengan kekuatan statistik tinggi yang terkait dengan memiliki sampel yang sangat besar? Apakah ada yang namanya nilai rendah yang mencurigakan ?n=120000p = 1.12E-207pp

N26
sumber
Ini hampir merupakan duplikat dari stats.stackexchange.com/questions/78839 .
Amuba kata Reinstate Monica

Jawaban:

30

Nilai-P pada komputer standar (menggunakan pelampung presisi ganda IEEE) dapat mencapai serendah kira-kira . Ini bisa menjadi perhitungan yang benar secara sah ketika ukuran efek besar dan / atau kesalahan standar rendah. Nilai Anda, jika dihitung dengan T atau distribusi normal, sesuai dengan ukuran efek sekitar 31 kesalahan standar. Mengingat bahwa kesalahan standar biasanya berskala dengan akar kuadrat resiprokal dari10-303 , yang mencerminkan perbedaan kurang dari 0,09 standar deviasi (dengan asumsi semua sampel independen). Dalam sebagian besar aplikasi, tidak akan ada yang mencurigakan atau tidak biasa tentang perbedaan seperti itu.n

Menafsirkan nilai-p seperti itu adalah masalah lain. Melihat angka sekecil atau bahkan 10 - 10 sebagai probabilitas melebihi batas akal, mengingat semua cara di mana realitas cenderung menyimpang dari model probabilitas yang mendukung perhitungan nilai-p ini. Pilihan yang baik adalah melaporkan nilai p sebagai kurang dari ambang terkecil yang Anda rasa dapat didukung oleh model ini: seringkali antara 0,01 dan 0,0001 .10-20710-100.010.0001

whuber
sumber
13
Ketika saya melaporkan ' ' 'di sebuah makalah konferensi, seorang pengulas mengatakan kepada saya bahwa saya harus mengubahnya ke' ' p < 0,001 ' 'untuk mengikuti pedoman APA. hal<10-26hal<0,001
Thomas Levine
4
@whuber - Dinyatakan dengan indah.
rolando2
2
(+1) Pada titik tertentu, kemungkinan besar pemerintah secara tidak sengaja membalik bit-bit Anda dalam RAM dari jarak jauh dengan teknologi mata-mata super ...
JMS
4
(+1) Anda benar-benar bisa turun hingga tepat di bawah di titik mengambang presisi ganda IEEE. Tetapi, rutinitas numerik Anda untuk menghitung nilai- p hampir dijamin akan berantakan sebelum itu. Kecuali jika Anda tahu fakta bahwa asumsi pemodelan Anda benar-benar benar (dan kapan itu?), Nilai p akhirnya menjadi ukuran ukuran sampel begitu sampel menjadi cukup besar. 5×10-324halhal
kardinal
1
@ Cardinal kami berdua salah tentang batasan: selain dari nilai yang didenormalkan, IEEE double terkecil adalah sekitar , sesuai dengan sepuluh bit untuk eksponen basis-2. 10-308
whuber
16

Tidak ada yang mencurigakan - nilai p yang sangat rendah seperti milik Anda cukup umum ketika ukuran sampel besar (seperti milik Anda adalah untuk membandingkan median). Seperti yang disebutkan whuber, biasanya nilai-p tersebut dilaporkan kurang dari beberapa ambang batas (mis. <0,001).

Satu hal yang perlu diperhatikan adalah bahwa nilai-p hanya memberi tahu Anda apakah perbedaan dalam median signifikan secara statistik . Apakah perbedaannya cukup signifikan dalam besarnya adalah sesuatu yang harus Anda putuskan: misalnya untuk set sampel besar, perbedaan sangat kecil dalam rata-rata / median dapat signifikan secara statistik, tetapi itu mungkin tidak terlalu berarti.

xuexue
sumber
3

Nilai p dapat mencapai nilai 0.

θH0:θ=1X=1.1

AdamO
sumber