Referensi yang berisi argumen terhadap pengujian signifikansi hipotesis nol?

Dalam beberapa tahun terakhir saya telah membaca sejumlah makalah yang menentang penggunaan pengujian signifikansi nol hipotesis dalam sains, tetapi tidak berpikir untuk membuat daftar persisten. Seorang kolega baru-baru ini meminta saya daftar seperti itu, jadi saya pikir saya akan meminta semua orang di sini untuk membantu membangunnya. Untuk memulai, inilah yang saya miliki sejauh ini:

• Johansson (2011) "Salam yang mustahil: nilai-p, bukti, dan kemungkinan."
• Haller & Kraus (2002) "Misinterpretasi signifikansi: Masalah yang dibagikan siswa dengan guru mereka."
• Wagenmakers (2007) "Sebuah solusi praktis untuk masalah meresap nilai-p."
• Rodgers (2010) "Epistemologi pemodelan matematika dan statistik: Sebuah revolusi metodologis yang tenang."
• Dixon (1998) "Mengapa para ilmuwan menghargai nilai-p."
• Glover & Dixon (2004) "Rasio kemungkinan: statistik sederhana dan fleksibel untuk psikolog empiris."

Chris Fraley telah mengajarkan seluruh kursus tentang sejarah perdebatan (tautannya tampaknya rusak, meskipun masih di situs resminya; di sini ada salinan di Internet Archive ). Ringkasan / kesimpulannya ada di sini (sekali lagi, salinan yang diarsipkan ). Menurut beranda Fraley, terakhir kali ia mengajar kursus ini adalah pada tahun 2003.

Ia memilih daftar ini dengan "Bias instruktur":

Meskipun tujuan saya adalah untuk memfasilitasi diskusi yang hidup, mendalam, dan adil tentang masalah yang dihadapi, saya percaya bahwa perlu untuk membuat bias saya secara eksplisit sejak awal. Paul Meehl pernah menyatakan bahwa "Sir Ronald [Fisher] telah membingungkan kita, membuat kita terpesona, dan membawa kita ke jalan primrose. Saya percaya bahwa ketergantungan yang hampir universal pada hanya menyangkal hipotesis nol sebagai metode standar untuk menguatkan teori-teori substantif dalam soft daerah adalah kesalahan yang mengerikan, pada dasarnya tidak sehat, strategi ilmiah yang buruk, dan salah satu hal terburuk yang pernah terjadi dalam sejarah psikologi. " Saya menggemakan sentimen Meehl. Salah satu tujuan saya dalam seminar ini adalah untuk memperjelas mengapa saya percaya ini adalah masalahnya. Selanjutnya, saya berharap Anda, pada saat Anda telah menyelesaikan seminar ini,

Saya akan menyalin dalam daftar bacaan jika halaman kursus pernah hilang:

Minggu 1. Pendahuluan: Apa itu Tes Signifikansi Hipotesis Null? Fakta, Mitos, dan Keadaan Ilmu Pengetahuan Kita

• Lyken, DL (1991). Apa yang salah dengan psikologi? Dalam D. Cicchetti & WM Grove (eds.), Berpikir Jelas tentang Psikologi, vol. 1: Hal-hal Kepentingan Umum, Esai untuk menghormati Paul E. Meehl (hlm. 3 - 39). Minneapolis, MN: University of Minnesota Press.

Minggu 2. Kritik Awal NHST

• Meehl, PE (1967). Teori-pengujian dalam psikologi dan fisika: Suatu paradoks metodologis. Filsafat Ilmu, 34, 103-115.

• Meehl, PE (1978). Risiko teoretis dan tanda bintang: Sir Karl, Sir Ronald, dan lambatnya perkembangan psikologi lunak. Jurnal Konsultasi dan Psikologi Klinis, 46, 806-834.

• Rozeboom, WW (1960). Kesalahan dari uji signifikansi hipotesis nol. Buletin Psikologis, 57, 416-428.

• Bakan, D. (1966). Tes signifikansi dalam penelitian psikologis. Buletin Psikologis, 66, 423-437. [pilihan]

Minggu 3. Kritik Kontemporer NHST

• Cohen, J. (1994). Bumi itu bulat (p <.05). Psikolog Amerika, 49, 997-1003.

• Gigerenzer, G. (1993). Superego, ego, dan id dalam penalaran statistik. Dalam G. Keren & C. Lewis (Eds.), Buku pegangan untuk analisis data dalam ilmu perilaku: Masalah metodologis (hlm. 311-339). Hillsdale, NJ: Lawrence Erlbaum Associates.

• Schmidt, FL & Hunter, JE (1997). Delapan keberatan umum tetapi salah untuk penghentian pengujian signifikansi dalam analisis data penelitian. Dalam Lisa A. Harlow, Stanley A. Mulaik, dan James H. Steiger (Eds.) Bagaimana jika tidak ada tes signifikansi? (hlm. 37-64). Mahwah, NJ: Lawrence Erlbaum Associates.

• Oakes, M. (1986). Kesimpulan statistik: Sebuah komentar untuk ilmu sosial dan perilaku. New York: Wiley. (Bab 2 [Kritik atas Tes Signifikansi]) [opsional]

Minggu 4. Sanggahan: Pengacara NHST Datang ke Pertahanannya

• Frick, RW (1996). Penggunaan yang sesuai dari pengujian hipotesis nol. Metode Psikologis, 1, 379-390.

• Hagen, RL (1997). Memuji uji statistik hipotesis nol. Psikolog Amerika, 52, 15-24.

• Wilkinson, L., & Gugus Tugas tentang Statistik Inferensi. (1999). Metode statistik dalam jurnal psikologi: Pedoman dan penjelasan. Psikolog Amerika, 54, 594-604.

• Wainer, H. (1999). Satu sorakan untuk pengujian signifikansi nol hipotesis. Metode Psikologis, 6, 212-213.

• Mulaik, SA, Raju, NS, & Harshman, RA (1997). Ada waktu dan tempat untuk pengujian signifikansi. Dalam Lisa A. Harlow, Stanley A. Mulaik, dan James H. Steiger, Eds. Bagaimana jika tidak ada tes signifikansi? (hal. 65-116). Mahwah, NJ: Lawrence Erlbaum Associates. [pilihan]

Minggu 5. Sanggahan: Pengacara NHST Datang ke Pertahanannya

• Abelson, RP (1997). Tentang umur panjang yang mengejutkan dari kuda yang dicambuk: Mengapa ada kasus untuk uji signifikansi. Ilmu Psikologi, 8, 12-15.

• Krueger, J. (2001). Pengujian signifikansi hipotesis nol: Pada kelangsungan hidup metode yang cacat. Psikolog Amerika, 56, 16-26.

• Scarr, S. (1997). Aturan bukti: Konteks yang lebih besar untuk debat statistik. Ilmu Psikologi, 8, 16-17.

• Greenwald, AG, Gonzalez, R., Harris, RJ, & Guthrie, D. (1996). Ukuran efek dan nilai p: Apa yang harus dilaporkan dan apa yang harus direplikasi? Psikofisiologi, 33, 175-183.

• Nickerson, RS (2000). Pengujian signifikansi hipotesis nol: Tinjauan terhadap kontroversi lama dan berkelanjutan. Metode Psikologis, 5, 241-301. [pilihan]

• Harris, RJ (1997). Tes signifikansi ada di tempatnya. Ilmu Psikologi, 8, 8-11. [pilihan]

Minggu 6. Ukuran Efek

• Rosenthal, R. (1984). Prosedur meta-analitik untuk penelitian sosial. Beverly Hills, CA: Sage. [Ch. 2, Menentukan Hasil Penelitian]

• Chow, SL (1988). Tes signifikansi atau efek ukuran? Buletin Psikologis, 103, 105-110.

• Abelson, RP (1985). Sebuah paradoks penjelasan varians: Ketika sedikit banyak. Buletin Psikologis, 97, 129-133. [pilihan]

Minggu 7. Kekuatan Statistik

• Hallahan, M., & Rosenthal, R. (1996). Kekuatan statistik: Konsep, prosedur, dan aplikasi. Penelitian dan Terapi Perilaku, 34, 489-499.

• Sedlmeier, P., & Gigerenzer, G. (1989). Apakah studi tentang kekuatan statistik berpengaruh pada kekuatan studi? Buletin Psikologis, 105, 309-316.

• Cohen, J. (1962). Kekuatan statistik dari penelitian psikologis abnormal-sosial: Tinjauan. Jurnal Abnormal dan Psikologi Sosial, 65, 145-153. [pilihan]

• Maddock, JE, Rossi, JS (2001). Kekuatan statistik dari artikel yang diterbitkan dalam tiga jurnal terkait kesehatan-psikologi. Psikologi Kesehatan, 20, 76-78. [pilihan]

• Thomas, L. & Juanes, F. (1996). Pentingnya analisis kekuatan statistik: Contoh dari Perilaku Hewan. Perilaku Hewan, 52, 856-859. [pilihan]

• Rossi, JS (1990). Kekuatan statistik penelitian psikologis: Apa yang telah kita dapatkan dalam 20 tahun? Jurnal Konsultasi dan Psikologi Klinis, 58, 646-656. [pilihan]

• Tukey, JW (1969). Menganalisis data: Pengudusan atau pekerjaan detektif? Psikolog Amerika, 24, 83-91. [pilihan]

Minggu 8. Interval Keyakinan dan pengujian Signifikansi

• Gardner, MJ, & DG Altman. 1986. Interval kepercayaan daripada nilai P: Estimasi daripada pengujian hipotesis. British Medical Journal, 292, 746-750.

• Cumming, G., & Finch, S. (2001). Sebuah primer pada pemahaman, penggunaan, dan perhitungan interval kepercayaan yang didasarkan pada distribusi pusat dan noncentral. Pengukuran Pendidikan dan Psikologis, 61, 532-574.

• Loftus, GR, & Masson, MEJ (1994). Menggunakan interval kepercayaan dalam desain dalam-subjek. Buletin dan Ulasan Psikonomis, 1, 476-490.

Minggu 9 [catatan: kami melewatkan bagian ini]. Pemodelan Teoritis: Mengembangkan Model Formal Fenomena Alam

• Haefner, JW (1996). Pemodelan sistem biologis: Prinsip dan aplikasi. New York: Penerbitan Thomson Internasional. (Bab 1 [Model Sistem] & 2 [Proses Pemodelan])

• Loehlin, JC (1992). Model variabel laten: Pengantar faktor, jalur, dan analisis struktural. Hillsdale, NJ: Lawrence Erlbaum Associates. (Bab 1 [Model lintasan dalam faktor, lintasan, dan analisis struktural], hal. 1-18]

• Grant, DA (1962). Menguji hipotesis nol dan strategi menyelidiki model teoritis. Ulasan Psikologis, 69, 54-61. [pilihan]

• Binder, A. (1963). Pertimbangan lebih lanjut tentang pengujian hipotesis nol dan strategi dan taktik dalam menyelidiki model teoritis. Ulasan Psikologis, 70, 107-115. [pilihan]

• Edwards, W. (1965). Catatan taktis tentang hubungan antara hipotesis ilmiah dan statistik. Buletin Psikologis, 63, 400-402. [pilihan]

Minggu 10. Apa Arti Peluang? Kontroversi Mengenai Frekuensi Relatif dan Probabilitas Subjektif

• Salsburg, D. (2001). Wanita itu mencicipi teh: Bagaimana statistik merevolusi sains di abad kedua puluh. New York: WH Freeman. (Bab 10, 11, & 12)

• Oakes, M. (1986). Kesimpulan statistik: Sebuah komentar untuk ilmu sosial dan perilaku. New York: Wiley. (Bab 4, 5, & 6)

• Pruzek, RM (1997). Pengantar inferensi Bayesian dan penerapannya. Dalam Lisa A. Harlow, Stanley A. Mulaik, dan James H. Steiger, Eds. Bagaimana jika tidak ada tes signifikansi? (hal. 287-318). Mahwah, NJ: Lawrence Erlbaum Associates.

• Rindskoph, DM (1997). Menguji "kecil," bukan nol, hipotesis: Pendekatan Klasik dan Bayesian. Dalam Lisa A. Harlow, Stanley A. Mulaik, dan James H. Steiger (Eds). Bagaimana jika tidak ada tes signifikansi? (hlm. 319-332). Mahwah, NJ: Lawrence Erlbaum Associates.

• Edwards, W., Lindman, H., Savage, LJ (1963). Kesimpulan statistik Bayesian untuk penelitian psikologis. Ulasan Psikologis, 70, 193-242. [pilihan]

Minggu 11. Penilaian Teori: Filsafat Ilmu Pengetahuan dan Pengujian dan Amandemen Teori

• Meehl, PE (1990). Teori penilaian dan perubahan: Strategi pertahanan Lakatosian dan dua prinsip yang menjaminnya. Penyelidikan Psikologis, 1, 108-141.

• Roberts, S. & Pashler, H. (2000). Seberapa persuasif itu cocok? Sebuah komentar tentang pengujian teori. Ulasan Psikologis, 107, 358-367.

Minggu 12. Penilaian Teori: Filsafat Ilmu Pengetahuan dan Pengujian dan Amandemen Teori

• Urbach, P. (1974). Kemajuan dan kemunduran dalam "debat IQ" (I). British Journal of Philosophy of Science, 25, 99-125.

• Serlin, RC & Lapsley, DK (1985). Rasionalitas dalam penelitian psikologis: Prinsip yang cukup baik. Psikolog Amerika, 40, 73-83.

• Dar, R. (1987). Pandangan lain pada Meehl, Lakatos, dan praktik ilmiah psikolog. Psikolog Amerika, 42, 145-151.

• Gholson, B. & Barker, P. (1985). Kuhn, Lakatos, & Laudan: Aplikasi dalam sejarah fisika dan psikologi. Psikolog Amerika, 40, 755-769. [pilihan]

• Faust, D., & Meehl, PE (1992). Menggunakan metode ilmiah untuk menyelesaikan pertanyaan dalam sejarah dan filsafat ilmu: Beberapa ilustrasi. Terapi Perilaku, 23, 195-211. [pilihan]

• Urbach, P. (1974). Kemajuan dan kemunduran dalam "debat IQ" (II). British Journal of Philosophy of Science, 25, 235-259. [pilihan]

• Salmon, WC (1973, Mei). Konfirmasi. Scientific American, 228, 75-83. [pilihan]

• Meehl, PE (1993). Filsafat ilmu: Bantuan atau halangan? Laporan Psikologis, 72, 707-733. [opsional] Manica. PT, & Secord, PF (1983). Implikasi untuk psikologi filsafat ilmu baru. Psikolog Amerika, 38, 399-413. [pilihan]

Minggu 13. Apakah Tradisi NHST Melemahkan Pangkalan Pengetahuan Kumulatif Non-Bias dalam Psikologi?

• Cooper, H., DeNeve, K., & Charlton, K. (1997). Menemukan ilmu yang hilang: Nasib studi yang diajukan untuk ditinjau oleh komite subyek manusia. Metode Psikologis, 2, 447-452.

• Schmidt, FL (1996). Pengujian signifikansi statistik dan pengetahuan kumulatif dalam psikologi: Implikasi untuk pelatihan para peneliti. Metode Psikologis, 1, 115-129.

• Greenwald, AG (1975). Konsekuensi prasangka terhadap hipotesis nol. Buletin Psikologis, 82, 1-20.

• Berger, JO & Berry, DA (1988). Analisis statistik dan ilusi objektivitas. American Scientist, 76, 159-165.

Minggu 14. Replikasi dan Integritas Ilmiah

• Smith, NC (1970). Studi replikasi: Aspek diabaikan dari penelitian psikologis. Psikolog Amerika, 25, 970-975.

• Sohn, D. (1998). Signifikansi statistik dan replikasi: Mengapa yang pertama tidak menunjukkan yang terakhir. Teori dan Psikologi, 8, 291-311.

• Meehl, PE (1990). Mengapa ringkasan penelitian tentang teori-teori psikologis seringkali tidak dapat diinterpretasikan. Laporan Psikologis, 66, 195-244.

• Platt, JR (1964). Inferensi yang kuat. Sains, 146, 347-353.

• Feynman, RL (1997). Tentunya Anda bercanda, Tuan Feynman! New York: WW Norton. (Bab: ilmu Kultus Kargo).

• Rorer, LG (1991). Beberapa mitos sains dalam psikologi. Dalam D. Cicchetti & WM Grove (eds.), Berpikir Jelas tentang Psikologi, vol. 1: Hal-hal Kepentingan Umum, Esai untuk menghormati Paul E. Meehl (hlm. 61 - 87). Minneapolis, MN: University of Minnesota Press. [pilihan]

• Lindsay, RM & Ehrenberg, ASC (1993). Desain penelitian yang direplikasi. The American Statistician, 47, 217-228. [pilihan]

Minggu 15. Pemikiran Kuantitatif: Mengapa Kita Membutuhkan Matematika (dan bukan NHST per se) dalam Ilmu Psikologi

• Aiken, LS, Barat, SG, Sechrest, L., & Reno, RR (1990). Pelatihan pascasarjana dalam statistik, metodologi, dan pengukuran dalam psikologi: Sebuah survei Ph.D. program di Amerika Utara. Psikolog Amerika, 45, 721-734.

• Meehl, PE (1998, Mei). Kekuatan pemikiran kuantitatif. Alamat yang diundang sebagai penerima James McKeen Cattell Award pada pertemuan tahunan American Psychological Society, Washington, DC.

Ini adalah referensi yang sangat baik. Saya memiliki selebaran yang mungkin bermanfaat di http://biostat.mc.vanderbilt.edu/wiki/pub/Main/FHHandouts/whyBayesian.pdf

402 Kutipan Mempertanyakan Penggunaan Uji Signifikansi Hipotesis Null dalam Studi Observasional: http://warnercnr.colostate.edu/~anderson/thompson1.html