Apa hal terburuk yang dapat terjadi ketika asumsi homoscedasticity dilanggar di ANOVA?

Ini adalah pertanyaan tindak lanjut yang saya miliki setelah meninjau posting ini: Perbedaan dalam uji statistik rata-rata untuk data heteroscedastic yang tidak normal?

Untuk lebih jelasnya, saya meminta dari perspektif pragmatis (bukan untuk menyarankan bahwa tanggapan teoritis tidak diterima). Ketika normalitas antara kelompok-kelompok yang hadir (yang berbeda dari judul pertanyaan tersebut di atas), tetapi varians kelompok yang secara substansial berbeda, apa hal terburuk yang seorang peneliti bisa mengamati?

Dalam pengalaman saya, masalah yang paling banyak muncul dengan skenario ini adalah pola "aneh" dalam perbandingan post hoc . (Ini telah diamati baik dalam karya saya yang diterbitkan, tetapi juga dalam pengaturan pedagogik ... senang memberikan detail tentang ini di komentar di bawah.) Apa yang saya amati adalah sesuatu yang mirip dengan ini: Anda memiliki tiga grup dengan . ANOVA (omnibus) memberikan , dan uji berpasangan menunjukkan berbeda secara statistik dari dua kelompok lainnya ... tetapi dan$M_1 < M_2 < M_3$$p<\alpha$$t$$M_2$$M_1$$M_3$secara statistik tidak berbeda nyata. Bagian dari pertanyaan saya adalah apakah ini yang telah diamati orang lain, tetapi juga, masalah apa lagi yang Anda amati dengan skenario yang sebanding?

Tinjauan singkat atas teks referensi saya menunjukkan ANOVA agak kuat untuk pelanggaran ringan hingga sedang dari asumsi homoseksualitas, dan bahkan lebih lagi dengan ukuran sampel yang besar. Namun, referensi ini tidak secara khusus menyatakan (1) apa yang bisa salah atau (2) apa yang mungkin terjadi dengan sejumlah besar kelompok.

Perbandingan kelompok cara berdasarkan model linier umum sering dikatakan kuat untuk pelanggaran homogenitas asumsi varians. Namun, ada kondisi tertentu di mana ini jelas tidak terjadi, dan yang relatif sederhana adalah situasi di mana homogenitas asumsi varians dilanggar dan Anda memiliki perbedaan dalam ukuran kelompok. Kombinasi ini dapat meningkatkan tingkat kesalahan Tipe I atau Tipe II Anda, tergantung pada distribusi perbedaan dalam varian dan ukuran sampel di seluruh kelompok .

Serangkaian simulasi sederhana nilai- akan menunjukkan caranya. Pertama, mari kita lihat bagaimana nilai distribusi seharusnya terlihat ketika nol benar, homogenitas asumsi varians terpenuhi, dan ukuran kelompok sama. Kami akan mensimulasikan skor standar yang sama untuk 200 pengamatan dalam dua kelompok ( x dan y ), menjalankan uji parametrik , dan menyimpan nilai dihasilkan (dan mengulangi ini 10.000 kali). Kami kemudian akan memplot histogram dari nilai- disimulasikan:$p$$p$$t$$p$$p$

nSims <- 10000
h0 <-numeric(nSims)

for(i in 1:nSims){ 
x<-rnorm(n = 200, mean = 0, sd = 1) 
y<-rnorm(n = 200, mean = 0, sd = 1)  
z<-t.test(x,y, var.equal = T) 
h0[i]<-z$p.value 
}

hist(h0, main="Histogram of p-values [H0 = T, HoV = T, Cell.Eq = T]", xlab=("Observed p-value"), breaks=100)

Distribusi nilai- relatif sama, sebagaimana seharusnya. Tetapi bagaimana jika kita membuat standar deviasi grup y 5 kali lebih besar dari grup x (yaitu, homogenitas varians dilanggar)?$p$

Masih cukup seragam. Tetapi ketika kami menggabungkan homogenitas asumsi varians yang dilanggar dengan perbedaan dalam ukuran kelompok (sekarang mengurangi ukuran sampel kelompok x menjadi 20), kami mengalami masalah besar.

Kombinasi dari deviasi standar yang lebih besar dalam satu kelompok dan ukuran kelompok yang lebih kecil di kelompok lain menghasilkan inflasi yang agak dramatis dalam tingkat kesalahan Tipe I kami. Tetapi perbedaan dalam keduanya dapat bekerja sebaliknya. Sebaliknya, jika kita menentukan populasi di mana nol adalah false ( rerata kelompok x adalah .4 bukan 0), dan satu kelompok (dalam hal ini, kelompok y ) memiliki standar deviasi yang lebih besar dan ukuran sampel yang lebih besar, maka kita benar-benar dapat melukai kekuatan kita untuk mendeteksi efek nyata:

Jadi secara ringkas, homogenitas varians bukan masalah besar ketika ukuran grup relatif sama, tetapi ketika ukuran grup tidak sama (seperti yang mungkin ada di banyak bidang penelitian eksperimental semu), homogenitas varians dapat benar-benar mengembang Tipe I Anda atau tingkat kesalahan II.

Gregg, maksud Anda untuk data heteroscedastic normal? Paragraf kedua Anda tampaknya menyarankan demikian.

Saya menambahkan jawaban ke referensi posting asli Anda, di mana saya menyarankan bahwa jika data normal tetapi heteroscedastic, menggunakan kuadrat terkecil umum memberikan pendekatan yang paling fleksibel untuk berurusan dengan fitur data yang Anda sebutkan. Tidak memperhitungkan secara eksplisit untuk fitur-fitur tersebut akan mengarah pada hasil yang kurang optimal dan mungkin menyesatkan, seperti yang Anda perhatikan dalam praktik Anda sendiri. Seberapa suboptimal atau menyesatkan hasil mungkin pada akhirnya akan tergantung pada kekhasan masing-masing kumpulan data.

Cara yang bagus untuk memahami hal ini adalah dengan membuat studi simulasi di mana Anda dapat memvariasikan dua faktor: jumlah kelompok dan sejauh mana variabilitas berubah antar kelompok. Kemudian Anda dapat melacak dampak dari faktor-faktor ini pada hasil uji perbedaan antara salah satu cara dan hasil perbandingan post-hoc antara pasangan cara ketika Anda menggunakan ANOVA standar (yang mengabaikan heteroskedastisitas) versus gls (yang bertanggung jawab untuk heteroskedastisitas).

Mungkin Anda bisa memulai latihan simulasi Anda dengan contoh sederhana hanya dengan 3 kelompok, di mana Anda menjaga variabilitas dari dua kelompok yang sama tetapi mengubah variabilitas kelompok ketiga dengan faktor f di mana f menjadi semakin besar. Ini akan memungkinkan Anda untuk melihat apakah dan kapan kelompok ketiga mulai mendominasi hasil. (Untuk kesederhanaan, perbedaan dalam nilai-nilai hasil rata-rata antara masing-masing tiga kelompok dapat tetap sama, meskipun Anda dapat melihat bagaimana besarnya perbedaan umum bermain dengan besarnya variabilitas dalam kelompok ketiga.)

Saya pikir akan sulit untuk membuat penilaian umum tentang apa yang mungkin salah ketika heteroskedastisitas diabaikan, selain memperingatkan orang-orang yang mengabaikan heteroskedastisitas tidak disarankan ketika ada metode yang lebih baik untuk mengatasinya.

Nah, untuk data heteroskedastik yang tidak normal, dalam kasus terburuk, Anda bisa tidak memiliki makna sama sekali. Pertimbangkan variabel yang diambil dari yang akan Anda dapatkan jika Anda menarik kembali dari dua sekuritas ekuitas, maka ANOVA akan menghasilkan hasil yang sepenuhnya acak yang tidak berkorelasi dengan kenyataan. Itu akan memiliki kekuatan nol terlepas dari ukuran sampel.