Bagaimana cara membenarkan istilah kesalahan dalam ANOVA faktorial?

Sebuah pertanyaan yang mungkin sangat mendasar tentang ANOVA multi-faktorial. Asumsikan desain dua arah di mana kami menguji kedua efek utama A, B, dan interaksi A: B. Ketika menguji efek utama untuk A dengan tipe I SS, efek SS dihitung sebagai perbedaan , di mana adalah jumlah kesalahan residual kuadrat untuk model dengan hanya memotong, dan RSS untuk model dengan faktor A ditambahkan. Pertanyaan saya menyangkut pilihan untuk istilah kesalahan:$RSS(1) - RSS(A)$$RSS(1)$$RSS(A)$

Bagaimana Anda membenarkan bahwa istilah kesalahan untuk tes ini biasanya dihitung dari RSS model penuh A + B + A: B yang mencakup efek utama dan interaksi?

... sebagai kebalikan dari mengambil istilah kesalahan dari model tidak dibatasi dari perbandingan aktual (RSS hanya dari efek utama A dalam kasus di atas):

Ini membuat perbedaan, karena istilah kesalahan dari model penuh mungkin sering (tidak selalu) lebih kecil dari istilah kesalahan dari model tidak dibatasi dalam perbandingan. Tampaknya pilihan untuk istilah kesalahan agak sewenang-wenang, menciptakan ruang untuk perubahan nilai p yang diinginkan hanya dengan menambahkan / menghilangkan faktor-faktor yang tidak benar-benar menarik, tetapi tetap mengubah istilah kesalahan.

Dalam contoh berikut, nilai-F untuk A berubah sangat tergantung pada pilihan untuk model lengkap, meskipun perbandingan aktual untuk efek SS tetap sama.

> DV  <- c(41,43,50, 51,43,53,54,46, 45,55,56,60,58,62,62,
+          56,47,45,46,49, 58,54,49,61,52,62, 59,55,68,63,
+          43,56,48,46,47, 59,46,58,54, 55,69,63,56,62,67)

> IV1 <- factor(rep(1:3, c(3+5+7, 5+6+4, 5+4+6)))
> IV2 <- factor(rep(rep(1:3, 3), c(3,5,7, 5,6,4, 5,4,6)))
> anova(lm(DV ~ IV1))                           # full model = unrestricted model (just A)
          Df  Sum Sq Mean Sq F value Pr(>F)
IV1        2  101.11  50.556  0.9342 0.4009
Residuals 42 2272.80  54.114

> anova(lm(DV ~ IV1 + IV2))                     # full model = A+B
          Df  Sum Sq Mean Sq F value   Pr(>F)    
IV1        2  101.11   50.56  1.9833   0.1509    
IV2        2 1253.19  626.59 24.5817 1.09e-07 ***
Residuals 40 1019.61   25.49                     

> anova(lm(DV ~ IV1 + IV2 + IV1:IV2))           # full model = A+B+A:B
          Df  Sum Sq Mean Sq F value    Pr(>F)    
IV1        2  101.11   50.56  1.8102    0.1782    
IV2        2 1253.19  626.59 22.4357 4.711e-07 ***
IV1:IV2    4   14.19    3.55  0.1270    0.9717    
Residuals 36 1005.42   27.93

Pertanyaan yang sama berlaku untuk tipe II SS, dan secara umum untuk hipotesis linear umum, yaitu, untuk perbandingan model antara model terbatas dan tidak dibatasi dalam model penuh. (Untuk tipe III SS, model tidak terbatas selalu merupakan model lengkap, jadi pertanyaannya tidak muncul di sana)

Ini adalah pertanyaan yang sangat lama, dan saya percaya bahwa jawaban @ung sangat bagus (+1). Tetapi karena itu tidak sepenuhnya meyakinkan untuk @caracal, dan karena saya juga tidak sepenuhnya mengikuti semua seluk beluknya, saya ingin memberikan gambaran sederhana yang menggambarkan bagaimana saya memahami masalah ini.

Pertimbangkan ANOVA dua arah (faktor A memiliki tiga tingkat, faktor B memiliki dua tingkat) dengan kedua faktor tersebut jelas sangat signifikan:

SS untuk faktor A sangat besar. SS untuk faktor B jauh lebih kecil, tetapi dari gambar di atas jelas bahwa faktor B juga sangat signifikan.

Kesalahan SS untuk model yang mengandung kedua faktor diwakili oleh salah satu dari enam Gaussians, dan ketika membandingkan SS untuk faktor B dengan kesalahan SS ini, tes akan menyimpulkan bahwa faktor B adalah signifikan.

Kesalahan SS untuk model yang hanya mengandung faktor B, sangat besar! Membandingkan SS untuk faktor B dengan kesalahan masif SS ini pasti akan menghasilkan B tampak tidak signifikan. Yang jelas bukan itu masalahnya.

Itulah mengapa masuk akal untuk menggunakan SS kesalahan dari model lengkap.

Pembaruan: Untuk memperjelas beberapa poin yang saya sampaikan di sini, saya telah menambahkan beberapa tautan ke tempat-tempat di mana saya mendiskusikan ide-ide yang relevan secara lebih lengkap.

Tes F memeriksa apakah ada lebih banyak variabilitas (khususnya kuadrat rata-rata) yang dikaitkan dengan faktor daripada yang diharapkan secara kebetulan. Berapa banyak variasi yang kita harapkan secara kebetulan diperkirakan dari jumlah kesalahan kuadrat, yaitu, seberapa banyak variabilitas disebabkan (terkait dengan) tidak ada faktor yang diketahui. Ini adalah residu Anda, apa yang tersisa setelah memperhitungkan semua yang Anda ketahui. Dalam contoh Anda, berisi lebih dari sekadar kesalahan residual, ia juga mengandung variabilitas karena faktor-faktor yang diketahui. Sementara berteori untuk memantul ke beberapa derajat secara kebetulan, jumlah itu tidak berteori untuk didorong oleh faktor-faktor lain yang diketahui ¹ . Dengan demikian, tidak pantas menggunakan S S A M S A M S A + B + A ∗ $RSS_{A}$$SS_{A}$$MS_{A}$sebagai penyebut dalam uji F Anda. Selain itu, menggunakan memberi Anda lebih banyak kekuatan, mengurangi kemungkinan kesalahan tipe II dan tidak seharusnya mengembang kesalahan tipe I. $MS_{A+B+A*B}$

Ada beberapa masalah lebih lanjut dalam pertanyaan Anda. Anda menyebutkan bahwa tidak selalu yang terendah, dan dalam contoh Anda, . Ini karena interaksi sebenarnya tidak terkait dengan variabilitasnya sendiri. Itu muncul disebabkan oleh tidak lebih dari kesempatan. Ada formula yang tepat, tetapi agak rumit, yang menentukan bagaimana daya akan berubah jika faktor-faktor yang berbeda dimasukkan atau dikeluarkan dari model. Saya tidak memilikinya di ujung jari saya, tetapi intinya sederhana: Ketika Anda memasukkan faktor lain, RSS berkurang (memberi Anda lebih banyak kekuatan), tetapi$RSS_{full}$$MS_{A+B+A*B} > MS_{A+B}$$SS_{A*B} = 14.19$$df_{R}$turun juga (menghasilkan lebih sedikit daya). Saldo tradeoff ini pada dasarnya ditentukan oleh apakah SS yang terkait dengan faktor itu nyata, atau hanya karena kebetulan, yang dalam praktiknya, secara longgar ditunjukkan oleh apakah faktor tersebut signifikan ² . Namun, menghilangkan faktor dari model yang tidak signifikan sehingga untuk mendapatkan istilah kesalahan yang tepat secara logis setara dengan prosedur pencarian model otomatis, bahkan jika Anda tidak memiliki perangkat lunak Anda melakukannya secara otomatis untuk Anda. Anda harus tahu bahwa ada banyak masalah dengan melakukan ini. Masalah-masalah itu, dan prosedur alternatif dibahas di tempat lain di CV ³ .

Topik terakhir menyangkut berbagai jenis SS. Pertama, penggunaan berbagai jenis SS tidak membuat Anda keluar dari memerlukan pembenaran logis dari analisis Anda. Namun, tipe I - III SS terkait dengan masalah yang berbeda. Dalam contoh Anda, saya mengumpulkan faktor-faktor Anda ortogonal, yaitu Anda menjalankan percobaan di mana Anda menetapkan sama n untuk setiap kombinasi tingkat faktor. Namun, jika Anda melakukan penelitian observasional, atau jika Anda memiliki masalah putus sekolah, faktor-faktor Anda akan dikorelasikan. Implikasinya adalah bahwa tidak ada cara unik untuk mempartisi SS dan oleh karena itu tidak ada jawaban unik untuk analisis Anda. Dengan kata lain, berbagai jenis SS harus dilakukan dengan pembilang yang mungkin berbeda untuk uji F Anda ketika faktor Anda berkorelasi ⁴ .

<sub>1. Perhatikan bahwa dengan model multi-level, suatu faktor dapat berteori untuk memasukkan variabilitas dari faktor-faktor lain, tergantung pada bagaimana model tersebut ditentukan. Saya sedang mendiskusikan ANOVA biasa di sini, yang sepertinya Anda tanyakan.
2. Lihat: Bagaimana menambahkan IV kedua membuat IV pertama signifikan?
3. Lihat: Algoritma untuk pemilihan model otomatis .
4. Lihat: Bagaimana menafsirkan ANOVA dan MANOVA tipe I (berurutan)?</sub>

Pembenarannya adalah bahwa faktor A menjelaskan persentase yang lebih besar dari variasi yang tidak dapat dijelaskan dalam model A + B dibandingkan dengan model A, karena faktor B menjelaskan bagian yang signifikan (dan dengan demikian 'menghilangkannya' dari analisis).