Perbedaan Regresi vs ANOVA (aov vs lm dalam R)

Saya selalu mendapat kesan bahwa regresi hanyalah bentuk yang lebih umum dari ANOVA dan hasilnya akan sama. Namun baru-baru ini, saya telah menjalankan regresi dan ANOVA pada data yang sama dan hasilnya berbeda secara signifikan. Artinya, dalam model regresi kedua efek utama dan interaksi adalah signifikan, sedangkan di ANOVA satu efek utama tidak signifikan. Saya berharap ini ada hubungannya dengan interaksi, tetapi tidak jelas bagi saya apa yang berbeda tentang dua cara pemodelan pertanyaan yang sama. Jika ini penting, satu prediktor adalah kategoris dan yang lainnya adalah kontinu, seperti ditunjukkan dalam simulasi di bawah ini.

Berikut adalah contoh tampilan data saya dan analisis apa yang saya jalankan, tetapi tanpa nilai p atau efek yang sama yang signifikan dalam hasil (hasil aktual saya diuraikan di atas):

group<-c(1,1,1,0,0,0)
moderator<-c(1,2,3,4,5,6)
score<-c(6,3,8,5,7,4)

summary(lm(score~group*moderator))
summary(aov(score~group*moderator))

The summaryfungsi panggilan metode yang berbeda tergantung pada kelas objek. Perbedaannya bukan pada aovvs lm, tetapi pada informasi yang disajikan tentang model. Misalnya, jika Anda menggunakan anova(mod1)dan anova(mod2)sebaliknya, Anda harus mendapatkan hasil yang sama.

Seperti yang dikatakan @Glen, kuncinya adalah apakah tes yang dilaporkan didasarkan pada jumlah kuadrat Tipe 1 atau Tipe 3. Ini akan berbeda ketika korelasi antara variabel penjelas Anda tidak tepat 0. Ketika mereka berkorelasi, beberapa SS unik untuk satu prediktor dan beberapa lainnya, tetapi beberapa SS dapat dikaitkan dengan salah satu atau keduanya. ( Anda dapat memvisualisasikan ini dengan membayangkan simbol MasterCard--ada daerah kecil yang tumpang tindih di tengah.) Tidak ada jawaban unik dalam situasi ini, dan sayangnya, ini adalah norma untuk data non-eksperimental. Salah satu pendekatan adalah bagi analis untuk menggunakan penilaian mereka dan menetapkan SS yang tumpang tindih ke salah satu variabel. Variabel itu masuk ke dalam model terlebih dahulu. Variabel lain masuk ke model kedua dan mendapatkan SS yang terlihat seperti cookie dengan gigitan yang dikeluarkan. Efeknya dapat diuji dengan apa yang kadang-kadang disebut$R^2$ubah atau perubahan F. Pendekatan ini menggunakan Tipe 1 SS. Atau, Anda bisa melakukan ini dua kali dengan masing-masing masuk terlebih dahulu, dan melaporkan uji perubahan F untuk kedua prediktor. Dengan cara ini, kedua variabel tidak mendapatkan SS karena tumpang tindih. Pendekatan ini menggunakan Tipe 3 SS. (Saya juga harus memberi tahu Anda bahwa pendekatan yang terakhir dianggap rendah.)

Mengikuti saran dari @BrettMagill dalam komentar di bawah ini, saya dapat mencoba membuatnya lebih jelas. (Perhatikan bahwa, dalam contoh saya, saya hanya menggunakan 2 prediktor dan tidak ada interaksi, tetapi gagasan ini dapat ditingkatkan untuk memasukkan apa pun yang Anda suka.)

Tipe 1: SS (A) dan SS (B | A)

Tipe 3: SS (A | B) dan SS (B | A)

Hasil dari output aov memberi Anda probabilitas berdasarkan jumlah kuadrat Tipe 1. Inilah sebabnya mengapa hasil interaksi adalah sama dan efek utamanya berbeda.

Jika Anda menggunakan probabilitas berdasarkan jumlah kuadrat Tipe 3 maka mereka akan cocok dengan hasil regresi linier.

library(car)
Anova(aov(score~group*moderator),type=3)

Perbedaan utama antara regresi linier dan ANOVA adalah, dalam ANOVA variabel prediktor diskrit (yaitu mereka memiliki level yang berbeda). Sedangkan dalam regresi linier, variabel prediktor adalah kontinu.