Bagaimana seharusnya nilai- kecil dilaporkan? (dan mengapa R menempatkan minimum pada 2.22e-16?)

Untuk beberapa pengujian R, ada batas yang lebih rendah pada perhitungan nilai p . Saya tidak yakin mengapa ini nomor ini, apakah ada alasan yang bagus untuk itu atau apakah itu hanya sewenang-wenang. Banyak paket statistik lain hanya pergi , jadi ini adalah tingkat presisi yang jauh lebih tinggi. Tapi saya belum melihat banyak makalah yang melaporkan atau .$2.22 \cdot 10^{-16}$0.0001$p < 2.22\cdot 10^{-16}$$p = 2.22\cdot 10^{-16}$

Apakah ini merupakan praktik umum / terbaik untuk melaporkan nilai yang dihitung ini atau apakah lebih umum melaporkan sesuatu yang lain (seperti p < 0.000000000000001)?

Ada alasan bagus untuk itu.

Nilai dapat ditemukan melalui noquote(unlist(format(.Machine)))

           double.eps        double.neg.eps           double.xmin 
         2.220446e-16          1.110223e-16         2.225074e-308 
          double.xmax           double.base         double.digits 
        1.797693e+308                     2                    53 
      double.rounding          double.guard     double.ulp.digits 
                    5                     0                   -52 
double.neg.ulp.digits       double.exponent        double.min.exp 
                  -53                    11                 -1022 
       double.max.exp           integer.max           sizeof.long 
                 1024            2147483647                     4 
      sizeof.longlong     sizeof.longdouble        sizeof.pointer 
                    8                    12                     4 

Jika Anda melihat bantuannya, ( ?".Machine"):

double.eps  

the smallest positive floating-point number x such that 1 + x != 1. It equals 
double.base ^ ulp.digits if either double.base is 2 or double.rounding is 0; 
otherwise, it is (double.base ^ double.ulp.digits) / 2. Normally 2.220446e-16.

Ini pada dasarnya adalah nilai di bawah ini yang bisa Anda yakini nilainya akan sangat tidak bermakna secara numerik - dalam hal ini nilai yang lebih kecil tidak mungkin merupakan perhitungan akurat dari nilai yang kami coba hitung. (Setelah mempelajari sedikit analisis numerik, tergantung pada perhitungan apa yang dilakukan oleh prosedur tertentu, ada kemungkinan besar ketidakberartikan numerik muncul secara wajar di atas itu.)

Tetapi makna statistik akan hilang jauh lebih awal. Perhatikan bahwa nilai-p tergantung pada asumsi, dan semakin jauh ke ekor ekstrem yang Anda gunakan semakin besar nilai p yang sebenarnya (daripada nilai nominal yang kami hitung) akan dipengaruhi oleh asumsi yang salah, dalam beberapa kasus bahkan ketika mereka Hanya sedikit yang salah. Karena asumsi tidak akan sepenuhnya puas, nilai-nilai menengah mungkin cukup akurat (dalam hal akurasi relatif, mungkin hanya dengan sebagian kecil), tetapi nilai-p sangat kecil mungkin keluar oleh banyak pesanan dari besarnya.

Artinya latihan biasa (seperti "<0,0001" yang Anda katakan adalah umum dalam paket, atau aturan APA yang disebutkan Jaap dalam jawabannya) mungkin tidak jauh dari praktik yang masuk akal, tetapi titik perkiraan di mana hal-hal kehilangan makna di luar mengatakan ' ini sangat sangat kecil ' tentu saja akan sangat bervariasi tergantung keadaan.

Ini adalah salah satu alasan mengapa saya tidak bisa menyarankan aturan umum - tidak mungkin ada aturan tunggal yang bahkan cocok untuk semua orang di semua keadaan - mengubah keadaan sedikit dan garis abu-abu yang luas menandai perubahan dari yang agak berarti ke relatif tidak berarti akan berubah, terkadang dengan cara yang jauh.

Jika Anda adalah untuk menentukan informasi yang cukup tentang keadaan yang sebenarnya (misalnya itu regresi, dengan ini banyak non-linear, bahwa jumlah variasi dalam variabel independen ini, ini jenis dan jumlah ketergantungan dalam jangka kesalahan, bahwa jenis dan jumlah heteroskedastisitas, ini bentuk distribusi error), saya bisa mensimulasikan 'benar' p-nilai bagi Anda untuk membandingkan dengan p-nilai nominal, sehingga Anda bisa melihat ketika mereka terlalu berbeda untuk nilai nominal untuk membawa makna.

Tapi itu membawa kita ke alasan kedua mengapa - bahkan jika Anda menentukan informasi yang cukup untuk mensimulasikan nilai-p yang sebenarnya - saya masih tidak dapat secara bertanggung jawab menyatakan cut-off bahkan untuk keadaan tersebut.

Apa yang Anda laporkan tergantung pada preferensi orang - milik Anda, dan audiens Anda. Bayangkan Anda mengatakan kepada saya cukup tentang keadaan bagi saya untuk memutuskan bahwa saya ingin menarik garis pada nominal dari .10 - $p$$10^{-6}$

Semua baik dan bagus, kita mungkin berpikir - kecuali fungsi preferensi Anda sendiri (apa yang tampak benar bagi Anda, apakah Anda melihat perbedaan antara nilai-p nominal yang diberikan oleh paket statistik dan yang dihasilkan dari simulasi ketika Anda mengira suatu set tertentu kegagalan asumsi) mungkin menaruhnya di dan editor jurnal yang ingin Anda ajukan mungkin meletakkan aturan selimut mereka untuk memotong di , sedangkan jurnal berikutnya mungkin menaruhnya pada dan yang berikutnya mungkin tidak memiliki aturan umum dan editor khusus yang Anda dapatkan mungkin menerima nilai yang bahkan lebih rendah daripada yang saya berikan ... tetapi salah satu wasit kemudian dapat memotong secara spesifik! 10 - 4 10 - $10^{-5}$$10^{-4}$$10^{-3}$

Dengan tidak adanya pengetahuan tentang fungsi dan aturan preferensi mereka, dan tidak adanya pengetahuan tentang utilitas Anda sendiri, bagaimana saya secara bertanggung jawab menyarankan setiap pilihan umum tentang tindakan apa yang harus diambil?

Setidaknya saya bisa memberi tahu Anda hal-hal yang saya lakukan (dan saya sama sekali tidak menyarankan ini adalah pilihan yang baik untuk Anda):

Ada beberapa keadaan (di luar simulasi nilai-p) di mana saya akan membuat banyak kurang dari (saya mungkin atau mungkin tidak menyebutkan nilai yang dilaporkan oleh paket, tapi saya tidak akan membuat apa pun dari itu selain sangat kecil, saya biasanya akan menekankan arti dari jumlah yang tepat). Terkadang saya mengambil nilai di suatu tempat di wilayah hingga dan mengatakan bahwa p jauh lebih sedikit dari itu. Kadang-kadang saya benar-benar melakukan seperti yang disarankan di atas - melakukan beberapa simulasi untuk melihat seberapa sensitif nilai-p di ujung ke berbagai pelanggaran asumsi, terutama jika ada jenis pelanggaran tertentu yang saya khawatirkan. 10 - 5 10 - $10^{-6}$$10^{-5}$$10^{-4}$

Itu tentu membantu dalam menginformasikan pilihan - tetapi saya cenderung mendiskusikan hasil simulasi dengan menggunakannya untuk memilih nilai batas, memberi orang lain kesempatan untuk memilih sendiri.

Alternatif untuk simulasi adalah melihat beberapa prosedur yang lebih kuat * terhadap berbagai potensi kegagalan asumsi dan melihat seberapa besar perbedaan nilai p yang mungkin terjadi. Nilai-p mereka juga tidak akan terlalu berarti, tetapi mereka setidaknya memberikan sedikit pengertian tentang seberapa besar dampak yang mungkin terjadi. Jika beberapa sangat berbeda dari nominal, itu juga memberikan lebih banyak ide yang pelanggaran asumsi untuk menyelidiki dampak. Bahkan jika Anda tidak melaporkan salah satu dari alternatif itu, itu memberikan gambaran yang lebih baik tentang betapa berartinya nilai p kecil Anda.

* Perhatikan bahwa di sini kita tidak benar-benar membutuhkan prosedur yang kuat untuk pelanggaran berat terhadap beberapa asumsi; yang kurang terpengaruh oleh penyimpangan yang relatif ringan dari asumsi yang relevan harus baik untuk latihan ini.

Saya akan mengatakan bahwa ketika / jika Anda datang untuk melakukan simulasi seperti itu, bahkan dengan pelanggaran yang cukup ringan, dalam beberapa kasus itu bisa mengejutkan pada seberapa jauh bahkan nilai p yang tidak kecil itu bisa salah. Itu telah berbuat lebih banyak untuk mengubah cara saya menginterpretasikan nilai-p lebih dari yang telah menggeser cut-off spesifik yang mungkin saya gunakan.

Ketika mengirimkan hasil tes hipotesis aktual ke jurnal, saya mencoba mencari tahu apakah mereka memiliki aturan. Jika tidak, saya cenderung menyenangkan diri sendiri, dan kemudian menunggu wasit untuk mengeluh.

Praktik umum apa yang mungkin tergantung pada bidang penelitian Anda. Manual dari American Psychological Association (APA), yang merupakan salah satu gaya kutipan yang paling sering digunakan, menyatakan (hal. 139, edisi ke-6):

Jangan gunakan nilai yang lebih kecil dari p <0,001

Nilai p yang ekstrem seperti ini lebih sering terjadi di bidang dengan jumlah data yang sangat besar, seperti genomik dan pemantauan proses. Dalam kasus tersebut, kadang-kadang dilaporkan sebagai -log ₁₀ (nilai-p). Lihat misalnya, gambar ini dari Nature , di mana nilai-p turun ke 1e-26.

-log ₁₀ (p-value) disebut "LogWorth" oleh ahli statistik yang bekerja dengan saya di JMP.

dalam R, "<2e-16" tidak berarti secara harfiah <2e-16, tetapi sebaliknya, ini berarti nilainya sangat kecil sehingga R tidak dapat merekam atau menampilkannya.

Dalam tes regresi, saya sering mendapatkan p sekecil 4,940656e-324, ketika output "<2e-16", ini adalah angka yang bahkan lebih kecil dari 4,940656e-324