Dalam http://surveyanalysis.org/wiki/Multiple_Comparisons_(Post_Hoc_Testing) menyatakan
Sebagai contoh, jika kita memiliki nilai p 0,05 dan kita menyimpulkan itu signifikan, probabilitas penemuan palsu, menurut definisi, 0,05.
Pertanyaan saya: Saya selalu berpikir bahwa penemuan yang salah adalah kesalahan Tipe I, yang sama dengan tingkat signifikansi yang dipilih dalam kebanyakan tes. Nilai-P adalah nilai yang dihitung dari sampel. Memang, Wikipedia menyatakan
Nilai p tidak boleh bingung dengan tingkat signifikansi dalam pendekatan Neyman-Pearson atau tingkat kesalahan Tipe I [false positive rate] "
Jadi mengapa artikel yang ditautkan mengklaim bahwa tingkat kesalahan Tipe I diberikan oleh nilai-p?
hypothesis-testing
statistical-significance
p-value
false-discovery-rate
type-i-and-ii-errors
Halo Dunia
sumber
sumber
Jawaban:
Tingkat penemuan palsu Anda tidak hanya tergantung pada ambang nilai p, tetapi juga pada kebenaran. Bahkan, jika hipotesis nol Anda ternyata salah, tidak mungkin bagi Anda untuk membuat penemuan yang salah.
Mungkin bermanfaat untuk memikirkannya seperti itu: ambang batas p-value adalah probabilitas untuk membuat penemuan yang salah ketika tidak ada penemuan yang benar untuk dibuat (atau dengan kata lain, jika hipotesis nol itu benar).
Pada dasarnya,
Tipe 1 Tingkat Kesalahan = "Probabilitas menolak nol jika itu benar" = ambang batas p-value
dan
Tipe 1 Tingkat Kesalahan = Tingkat Penemuan Salah JIKA hipotesis nol itu benar
sudah benar, tetapi perhatikan persyaratan pada null yang benar. Tingkat penemuan palsu tidak memiliki persyaratan ini dan dengan demikian tergantung pada kebenaran yang tidak diketahui tentang berapa banyak hipotesis nol Anda yang benar atau tidak.
Juga bermanfaat untuk mempertimbangkan bahwa ketika Anda mengendalikan laju penemuan palsu menggunakan prosedur seperti Benjamini-Hochberg Anda tidak pernah dapat memperkirakan tingkat penemuan yang benar-benar palsu, sebaliknya Anda mengendalikannya dengan memperkirakan batas atas. Untuk melakukan lebih banyak, Anda sebenarnya perlu dapat mendeteksi bahwa hipotesis nol benar menggunakan statistik, ketika Anda hanya dapat mendeteksi pelanggaran dengan besaran tertentu (tergantung pada kekuatan tes Anda).
sumber
Perbedaan antara nilai P dan tingkat positif palsu (atau tingkat penemuan palsu) dijelaskan, jelas saya harap, di http://rsos.royalsocietypublishing.org/content/1/3/140216
Meskipun makalah itu menggunakan istilah False Discovery Rate, saya sekarang lebih suka False Positive Rate, karena istilah sebelumnya sering digunakan dalam konteks koreksi untuk beberapa perbandingan. Itu masalah yang berbeda. Makalah ini menunjukkan bahwa untuk uji tunggal yang tidak bias, tingkat positif palsu jauh lebih tinggi daripada nilai P dalam hampir semua keadaan.
Ada juga deskripsi kualitatif dari logika yang mendasarinya di https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistically-significant
sumber