Bisakah Anda mereproduksi hasil tes chi-squared ini?

Di Skeptics.StackExchange , sebuah jawaban mengutip sebuah studi tentang hipersensitivitas elektro-magnetik:

• McCarty, Carrubba, Chesson, Frilot, Gonzalez-Toledo & Marino, Hipersensitivitas Elektromagnetik: Bukti untuk Sindrom Neurologis Novel Jurnal Internasional Neuroscience, 00, 1-7 2011, DOI: 10.3109 / 00207454.2011.608139

Saya meragukan beberapa statistik yang digunakan, dan akan sangat menghargai beberapa keahlian dalam memeriksa ulang apakah mereka digunakan dengan tepat.

Gambar 5a menunjukkan hasil subjek yang berusaha mendeteksi ketika generator medan elektromagnetik dihidupkan.

Ini adalah versi yang disederhanakan:

 Actual:   Yes  No
Detected:
  Yes       32  19
  No       261 274

Mereka mengklaim telah menggunakan uji chi-squared, dan menemukan signifikansi (p <0,05, tanpa menyatakan apa p.)

Frekuensi respon somatik dan perilaku di hadapan dan tidak adanya lapangan dievaluasi menggunakan uji chi-square (2 × 2 tabel) atau ekstensi Freeman-Halton dari uji probabilitas eksak Fisher (2 × 3 tabel; Freeman & Halton, 1951).

Saya melihat beberapa masalah.

• Mereka mengecualikan beberapa data - lihat Tabel 5b - di mana mereka meninggalkan perangkat untuk waktu yang lama. Saya tidak bisa melihat pembenaran dalam memisahkan data itu.

• Mereka tampaknya mengklaim hasilnya signifikan secara statistik ketika perangkat yang sebenarnya aktif, tetapi tidak ketika itu tidak. (Saya mungkin salah membaca ini; tidak jelas.) Itu bukan hasil yang bisa diberikan oleh uji chi-square, bukan?

• Ketika saya mencoba mereproduksi tes ini dengan kalkulator on-line, saya menganggapnya tidak signifikan secara statistik.

Ini adalah pertanyaan saya yang sebenarnya: Apakah saya benar mengatakan ini ?: Tes dua-sisi, uji kuadrat menggunakan Fisher's Exact Test adalah cara yang tepat untuk menganalisis data ini DAN TIDAK signifikan secara statistik.

Tampak bagi saya bahwa ada tiga hal yang salah dengan kesimpulannya.

Pertama, seperti yang dikatakan @caracal: Mereka melaporkan "signifikansi" menggunakan tes satu sisi, tanpa mengatakan bahwa mereka melakukannya. Kebanyakan orang, saya pikir, merekomendasikan untuk menggunakan tes dua sisi hampir selalu. Tentu saja tidak masalah menggunakan tes satu-ekor tanpa mengatakannya.

Kedua, efeknya kecil. Ketika ada sinyal, subjek (hanya ada satu) mendeteksi itu 11% dari waktu (32/293). Ketika tidak ada sinyal, dia mendeteksi sinyal 6,5% dari waktu. Perbedaan itu tampaknya sangat kecil. Dan subjek tidak dapat mendeteksi sinyal 89% dari waktu!

Ketiga, seperti yang ditunjukkan oleh @oddthinking, ada beberapa pelaporan data selektif yang tidak dijelaskan atau dibenarkan dengan benar (saya tidak membaca koran dengan cermat, jadi saya hanya mengulangi apa yang ada di pos asli).

Tes Fisher pada tabel yang diberikan memberikan, sesuai kode ini

actual <- c(rep("Y", 32), rep("N", 19), rep("Y", 261), rep("N", 274))
det <- c(rep("Y", 51), rep("N", 535))
table(det,actual) 
fisher.test(det,actual)

ap = 0,08