Bisakah sampel terlalu besar untuk ANOVA atau uji-t?

9

Saya memiliki hampir satu juta kumpulan data dan setiap kali saya menjalankan uji perbandingan rata-rata, baik ANOVA atau uji-t, saya mendapatkan tingkat signifikansi kurang dari 0,0001 pada SPSS. Saya khawatir sampel saya sangat besar sehingga tentu saja ketika saya membandingkan cara itu akan terlihat sangat berbeda. Bisakah sampel terlalu besar untuk ANOVA atau uji-t?

anova t-test effect-size large-data pengguna24232
sumber
3
Pertanyaannya cukup baik, jadi hanya sebuah komentar - ini lebih merupakan pertanyaan yang Anda ajukan pertanyaan yang sudah Anda ketahui jawabannya (Anda tidak benar-benar berpikir populasi berarti sama persis , bukan?), Dan Anda memiliki ukuran sampel yang cukup untuk memberikan jawaban yang sudah-jelas-tetapi-tidak-sangat-menarik bahwa sebenarnya ada perbedaan, bahkan jika mereka kecil. Ukuran efek dan interval kepercayaan lebih berguna daripada nilai-p, dan pertanyaan menarik Anda cenderung lebih mengarah ke masalah bias dan menggambarkan perbedaan yang ada dan menilai kepentingan praktisnya.
Glen_b -Reinstate Monica

Jawaban:

16

Tidak, sampel tidak boleh terlalu besar untuk ANOVA atau uji-t. Anda akan hampir selalu mendapatkan hasil yang signifikan secara statistik karena Anda memiliki kekuatan yang besar; Namun, ini tidak berarti bahwa Anda mendeteksi perbedaan yang salah. Memang, terlepas dari berapa banyak kasus yang Anda miliki, efek yang tidak ada tidak akan menjadi signifikan. Ini adalah kesalahpahaman umum.

Namun, banyak kekuatan berarti Anda dapat mendeteksi perbedaan yang hampir tidak berarti dalam hal ukuran. Sebagai contoh, mungkin Anda menemukan bahwa dua balapan rata-rata dari ketinggian yang berbeda, tetapi perbedaannya hanya setengah milimeter.

Pastikan untuk menginterpretasikan ukuran efek yang terkait dengan uji statistik Anda. Dalam hal ini, nilai p bernilai kurang dari ukuran efek (seperti biasanya)!

Behacad
sumber
Cukup benar (+1). Satu-satunya masalah yang bisa saya lihat adalah jika Anda mengalami masalah memori dan waktu eksekusi. Dengan komputer modern, saya pikir itu akan membutuhkan lebih dari 1 juta kasus untuk hal-hal sederhana seperti ANOVA atau uji-t.
Peter Flom
Apa yang terjadi ketika ukuran sampel sama dengan ukuran populasi? Bagaimana cara memilih p-value?
Sharath
2

Pertama, Anda melihat yang berikut (semua sangat mudah dibaca dan non-teknis).
1. Anderson DR, Burnham KP, Thompson WL (2000) Pengujian hipotesis nol: Masalah, prevalensi, dan alternatif. Jurnal Manajemen Satwa Liar 64: 912-923. 2. Gigerenzer G (2004) Statistik Mindless. Jurnal Sosial-Ekonomi 33: 587-606. 3. Johnson DH (1999) The Signifikansi Pengujian Statistik Signifikansi. Jurnal Pengelolaan Satwa 63: 763-772.

Tom Wilding
sumber