Saya terus melihat kutipan terkenal ini di mana-mana, tetapi gagal memahami bagian yang ditekankan setiap saat.
Seorang pria yang 'menolak' hipotesis untuk sementara, sebagai praktik kebiasaan, ketika signifikansinya di level 1% atau lebih tinggi, tentu akan keliru jika tidak lebih dari 1% dari keputusan semacam itu. Karena ketika hipotesisnya benar dia akan keliru hanya dalam 1% dari kasus-kasus ini, dan ketika itu salah dia tidak akan pernah salah dalam penolakan. [...] Namun, kalkulasi ini tidak masuk akal secara akademis, karena pada kenyataannya tidak ada pekerja ilmiah yang memiliki tingkat signifikansi tetap di mana dari tahun ke tahun, dan dalam semua keadaan, ia menolak hipotesis; dia lebih suka memberikan pikirannya untuk setiap kasus tertentu berdasarkan bukti dan idenya.Tidak boleh dilupakan bahwa kasus-kasus yang dipilih untuk menerapkan tes secara nyata adalah set yang sangat dipilih, dan bahwa kondisi seleksi tidak dapat ditentukan bahkan untuk seorang pekerja tunggal; atau bahwa dalam argumen yang digunakan jelas tidak sah bagi seseorang untuk memilih tingkat signifikansi aktual yang ditunjukkan oleh uji coba tertentu seolah-olah itu adalah kebiasaan seumur hidupnya untuk menggunakan tingkat ini saja.
(Metode Statistik dan Inferensi Ilmiah, 1956, hlm. 42-45)
Lebih khusus lagi, saya tidak mengerti
- Mengapa kasus yang dipilih untuk menerapkan tes "sangat dipilih"? Katakan Anda bertanya-tanya apakah ketinggian rata-rata orang di suatu daerah kurang dari 165 cm, dan memutuskan untuk melakukan tes. Prosedur standar, sejauh yang saya tahu, adalah mengambil sampel acak dari area dan mengukur tinggi mereka. Bagaimana ini bisa sangat dipilih?
- Misalkan kasus-kasus tersebut sangat dipilih, tetapi bagaimana ini terkait dengan pilihan tingkat signifikansi? Pertimbangkan lagi contoh di atas, jika metode pengambilan sampel Anda (yang saya duga adalah apa yang Fisher sebut sebagai kondisi seleksi ) condong dan entah bagaimana menguntungkan orang-orang yang tinggi, maka seluruh penelitian hancur, dan penentuan subyektif dari tingkat signifikansi tidak dapat menyelamatkannya.
sumber
Mencoba melihat latar belakang kutipan saya datang ke versi buku (saya tidak yakin yang mana versi) yang memiliki kutipan yang sedikit berbeda
https://archive.org/details/in.ernet.dli.2015.134555/page/n47
Bagi saya ini adalah kritik untuk menggunakan ekspresi matematika dari kemungkinan penolakan, kesalahan tipe I, seperti beberapa argumen yang keras. Ungkapan-ungkapan itu seringkali bukan ungkapan yang baik untuk apa yang relevan dan juga tidak teliti.
Mengapa kasus yang dipilih untuk menerapkan tes "sangat dipilih"?
Ini sepertinya berhubungan dengan kalimat
Kami tidak acuh terhadap hipotesis yang sedang diuji, dan seringkali hipotesis yang sedang diuji tidak diyakini benar.
bagaimana ini terkait dengan pilihan tingkat signifikansi?
Ini berhubungan dengan
P-value adalah frekuensi membuat kesalahan ketika hipotesis nol adalah benar. Tetapi frekuensi sebenarnya melakukan kesalahan akan berbeda (lebih rendah).
apa yang dimaksud dengan "tingkat signifikansi aktual yang ditunjukkan oleh uji coba tertentu"
Saya percaya bahwa bagian ini merujuk pada semacam peretasan nilai-p. Mengubah tingkat signifikansi, alfa, setelah pengamatan telah terjadi untuk mencocokkan nilai p yang diamati, dan berpura-pura bahwa ini adalah nilai cut-off sejak awal.
sumber