Mengakomodir pandangan p-value yang mengakar

Terkadang dalam laporan saya menyertakan penafian tentang nilai-p dan statistik inferensial lainnya yang saya berikan. Saya mengatakan bahwa karena sampel tidak acak, maka statistik seperti itu tidak akan berlaku ketat. Kata-kata spesifik saya biasanya diberikan dalam catatan kaki:

"Sementara, secara nyata, statistik inferensial hanya berlaku dalam konteks pengambilan sampel acak, kami mengikuti konvensi dalam melaporkan tingkat signifikansi dan / atau interval kepercayaan sebagai tolok ukur yang nyaman bahkan untuk sampel nonrandom. Lihat kesimpulan statistik Michael Oakes : Sebuah komentar untuk sosial dan ilmu perilaku (NY: Wiley, 1986).

Pada beberapa kesempatan - satu kali untuk makalah yang ditinjau sejawat, sekali atau dua kali dalam lingkungan non-akademik - editor atau peninjau keberatan dengan penolakan ini, menyebutnya membingungkan, dan merasa bahwa temuan inferensialnya harus hanya berdiri seperti tertulis (dan diberi mantel otoritas). Adakah orang lain yang mengalami masalah ini dan menemukan solusi yang baik? Di satu sisi, pemahaman masyarakat tentang nilai-p pada umumnya suram, bahkan dalam konteks pengambilan sampel acak, jadi mungkin tidak terlalu penting apa yang kita katakan. Di sisi lain, untuk berkontribusi lebih jauh ke kesalahpahaman tampaknya membuat satu bagian dari masalah. Saya harus menambahkan bahwa saya sering berurusan dengan studi survei, di mana tugas acak tidak berlaku dan di mana simulasi Monte Carlo akan sering gagal untuk mengatasi masalah keterwakilan.

Memang ada argumen yang harus diambil untuk tidak menyertakan disclaimer. Terus terang, saya menemukan risalah singkat tentang sifat nilai-p dalam artikel jurnal yang sedikit mengecewakan, dan untuk sesaat harus berhenti dan mencoba mencari tahu apakah Anda telah melakukan sesuatu yang khusus .. .esoteric ... untuk menjamin pengabdian ruang itu ke titik definisi.

Pada dasarnya, sebagai peninjau, saya akan menyebutnya tidak perlu karena pembaca harus sudah tahu apa nilai-p dan apa. Saya bahkan mungkin keberatan karena membuat catatan semacam itu tidak benar-benar mencegah dari banyak kejahatan analisis dan interpretasi yang menyertai nilai-p, itu hanya memakai jubah "percayalah, saya tahu apa yang saya lakukan". Ini juga agak aneh - "Saya akan berani menentang nilai-p, tetapi tidak begitu berani saya tidak melaporkannya".

Ketika saya mempertimbangkan "pandangan yang mengakar pada nilai-p", saya tidak terlalu khawatir tentang sesuatu seperti apa yang Anda posting di atas, dan jauh lebih peduli tentang desakan pengulas tentang signifikansi statistik untuk dipublikasikan atau fokus makalah ini (cantumkan sebuah bintang dengan sebuah penemuan dan tiba-tiba itu adalah Kesepakatan Besar) atau memadukan signifikansi statistik dengan signifikansi sebuah temuan.

Penggunaan statistik inferensial dapat dibenarkan tidak hanya berdasarkan pada model populasi, tetapi juga berdasarkan pada model pengacakan. Yang terakhir tidak membuat asumsi tentang cara sampel telah diperoleh. Bahkan, Fisher adalah orang yang menyarankan bahwa model pengacakan harus menjadi dasar untuk inferensi statistik (sebagai lawan dari Neyman dan Pearson). Lihat, misalnya:

Ernst, MD (2004). Metode permutasi: Dasar untuk inferensi yang tepat. Ilmu Statistik, 19, 676-685. [tautan (akses terbuka)]

Ludbrook, J. & Dudley, H. (1998). Mengapa tes permutasi lebih unggul daripada tes t dan F dalam penelitian biomedis. Ahli Statistik Amerika, 52, 127-132. [tautan (jika Anda memiliki akses JSTOR)]

Namun saya ragu bahwa editor atau pengulas yang bersangkutan menggunakan ini sebagai alasan untuk menyebut penolakan Anda sebagai "membingungkan".

$p$nilai-nilai sebenarnya perlu untuk dilaporkan meskipun ketidakabsahannya yang tidak dapat diabaikan dalam studi yang bermasalah (kelas yang terlalu banyak artikel yang diterbitkan jatuh), orang mungkin meremehkannya secara implisit. Pertimbangkan untuk memfokuskan narasi Anda — mungkin bahkan secara eksklusif — pada ukuran efek. Jika penelitian Anda cukup representatif untuk menjadi informatif bermanfaat (ini seharusnya tidak mengharuskan pengambilan sampel acak sempurna, hanya hati-hati dalam generalisasi interpretasi), ukuran efek Anda harus memiliki implikasi yang lebih luas daripada sekadar menunjukkan keberadaan dan arah hubungan atau perbedaan saja. Memfokuskan diskusi seseorang pada ukuran efek dapat memfasilitasi pemahaman yang lebih dalam tentang seberapa besar hubungan atau perbedaan itu penting dalam arti praktis, meskipun ini masih perlu dipertimbangkan dalam konteks subjek penelitian (misalnya,$r = .03$$p$$p$$p$

Opsi lain yang berpotensi melengkapi adalah memperluas catatan kaki Anda. Baik uraian Anda tentang masalah yang dialami oleh pengulas, dan jawaban yang saat ini diterima di halaman ini, menunjukkan bahwa tidak cukup informasi yang disampaikan untuk menjelaskan motivasi Anda untuk memasukkan catatan kaki, juga tidak cukup untuk memotivasi pembaca untuk mengikuti kutipan Anda ke referensi. yang Anda gunakan untuk menjelaskannya dengan singkat. Satu kalimat tambahan, bahkan kutipan singkat dari referensi Anda, bisa sangat membantu menjelaskan nilai catatan kaki Anda dan memotivasi pembaca untuk membaca lebih dalam. Jelaslah, catatan kaki Anda sebagai yang lebih cepat memotivasi reaksi sederhana, negatif, dan menolak terhadap upaya Anda yang bersahaja untuk mengacaukan rasa puas diri mereka tentang asumsi-asumsi mereka yang tidak tepat. Pembaca mungkin kurang malas secara intelektual jika Anda menyuapi mereka satu atau dua poin utama tentang masalah yang mungkin mereka abaikan secara rutin. Juga, untuk banyak masalah khusus$p$

$p$

• Apa arti dari nilai p dan nilai t dalam uji statistik?
• Memahami nilai-p

$p$$p$$p$

Referensi

<sup>- Goodman, SN (1992). Sebuah komentar tentang replikasi, nilai- P dan bukti. Statistik dalam Kedokteran, 11 (7), 875–879.
- Goodman, SN (2001). Nilai- P dan Bayes: Sebuah proposal sederhana. Epidemiologi, 12 (3), 295–297. Diperoleh dari http://swfsc.noaa.gov/uploadedFiles/Divisions/PRD/Programs /ETP_Cetacean_Assessment/Of_P_Values_and_Bayes__A_Modest_Proposal.6.pdf .
- Goodman, S. (2008). Selusin kotor: Dua Belas P- nilai kesalahpahaman. Seminar dalam Hematologi, 45 (3), 135-140. Diperoleh dari http://xa.yimg.com/kq/groups/18751725/636586767/name/twelve+P+value+misconceptions.pdf .
- Gorroochurn, P., Hodge, SE, Heiman, GA, Durner, M., & Greenberg, DA (2007). Non-replikasi studi asosiasi: "pseudo-kegagalan" untuk mereplikasi? Genetika dalam Kedokteran, 9 (6), 325–331. Diperoleh dari http://www.nature.com/gim/journal/v9/n6/full/gim200755a.html .
- Hurlbert, SH, & Lombardi, CM (2009). Keruntuhan akhir kerangka teori keputusan Neyman-Pearson dan kebangkitan neoFisherian. Annales Zoologici Fennici, 46 (5), 311–349. Diperoleh dari http://xa.yimg.com/kq/groups/1542294/508917937/name/HurlbertLombardi2009AZF.pdf .
- Lew, MJ (2013). Ke P atau tidak ke P: Tentang sifat bukti nilai-P dan tempatnya dalam inferensi ilmiah. arXiv: 1311.0081 [stat.ME]. Diterima darihttp://arxiv.org/abs/1311.0081 .
- Nuzzo, R. (2014, 12 Februari). Metode ilmiah: Kesalahan statistik. Berita Alam, 506 (7487). Diperoleh dari http://www.nature.com/news/scientific-method-statribution-errors-1.14700 .
- Rosenthal, R., Rosnow, RL, & Rubin, DB (2000). Kontras dan efek ukuran dalam penelitian perilaku: Pendekatan korelasional. Cambridge University Press.
- Senn, S. (2001). Dua sorakan untuk nilai-P? Jurnal Epidemiologi dan Biostatistik, 6 (2), 193–204. Diperoleh dari http://www.phil.vt.edu/dmayo/conference_2010/Senn%20Two%20Cheers%20Paper.pdf .
- Wagenmakers, EJ (2007). Solusi praktis untuk masalah meresap dinilai p . Buletin & Ulasan Psikonomis , 14 (5), 779–804. Diperoleh dari http://www.brainlife.org/reprint/2007/Wagenmakers_EJ071000.pdf .</sup>