Mengapa tabel anova regresi ini identik?

Saya memiliki dua regresi dari Y yang sama dan tiga tingkat X. Secara keseluruhan n = 15, dengan n = 5 di setiap kelompok atau tingkat X. Regresi pertama memperlakukan X sebagai kategori, menetapkan variabel indikator ke level 2 dan 3 dengan level satu menjadi rujukan. Indikator / boneka seperti: X1 = 1 jika level = 2, 0 jika lagi X2 = 1 jika level = 3, 0 jika lagi

Hasilnya, model yang saya pasang terlihat seperti ini: y = b0 + b1 (x1) + b2 (x2)

Saya menjalankan regresi, dan hasilnya termasuk tabel Analisis Varians ini:

Sisa dari output tidak relevan di sini.

Oke jadi sekarang saya menjalankan regresi yang berbeda pada data yang sama. Saya membuang analisis kategorikal dan memperlakukan X sebagai kontinu, tapi saya menambahkan variabel ke persamaan: X ^ 2, kuadrat X. Jadi sekarang saya memiliki model berikut: y = b0 + b1 (X) + b2 (X) ^ 2

Jika saya menjalankannya, itu memuntahkan tabel Analisis Varians yang sama persis seperti yang saya tunjukkan di atas. Mengapa kedua regresi ini memunculkan tabel yang sama?

[Penghargaan untuk teka-teki kecil ini diberikan kepada Thomas Belin di Departemen Biostatistik di University of California Los Angeles.]

$E[Y]=X\beta$

$(1,0,0)$$X$$(1,1,0)$$(1,0,1)$

$(1,1,1^2)=(1,1,1)$$(1,2,2^2)=(1,2,4)$$(1,3,3^2)=(1,3,9)$

$X_1$$X_2$

$$V = \pmatrix{1&1&1 \\ 0&1&3 \\ 0&2&8}.$$

Lalu sejak itu

$$\pmatrix{1&0&0 \\ 1&1&0 \\ 1&0&1} V = \pmatrix{1&1&1 \\ 1&2&4 \\ 1&3&9},$$

mengikuti itu

$$X_1 V = X_2.$$

Oleh karena itu model itu sendiri terkait oleh

$$X_1\beta_1 = E[Y] = X_2\beta_2 = (X_1V)\beta_2 = X_1(V\beta_2).$$

$\beta_2$

$$\beta_1 = V\beta_2.$$

Karena itu, hubungan yang sama berlaku untuk estimasi kuadrat terkecil mereka. Ini menunjukkan bahwa model memiliki kesesuaian yang identik : mereka hanya mengekspresikannya secara berbeda.

Karena kolom pertama dari dua model matriks adalah sama, setiap tabel ANOVA yang menguraikan varians antara kolom pertama dan kolom lainnya tidak akan berubah. Tabel ANOVA yang membedakan antara kolom kedua dan ketiga, bagaimanapun, akan tergantung pada bagaimana data dikodekan.

$\mathbb{R}^{15}$$X_1$$X_2$

---

Sebagai ilustrasi, berikut adalah data seperti milik Anda (tetapi dengan respons berbeda) dan analisis yang sesuai seperti yang dihasilkan di R.

set.seed(17)
D <- data.frame(group=rep(1:3, each=5), y=rnorm(3*5, rep(1:3, each=5), sd=2))

Sesuai dengan dua model:

fit.1 <- lm(y ~ factor(group), D)
fit.2 <- lm(y ~ group + I(group^2), D)

Tampilkan tabel ANOVA mereka:

anova(fit.1)
anova(fit.2)

Output untuk model pertama adalah

              Df Sum Sq Mean Sq F value   Pr(>F)    
factor(group)  2 51.836  25.918  14.471 0.000634 ***
Residuals     12 21.492   1.791 

Untuk model kedua itu

           Df Sum Sq Mean Sq F value    Pr(>F)    
group       1 50.816  50.816 28.3726 0.0001803 ***
I(group^2)  1  1.020   1.020  0.5694 0.4650488    
Residuals  12 21.492   1.791  

Anda dapat melihat bahwa jumlah residu kuadrat adalah sama. Dengan menambahkan dua baris pertama dalam model kedua Anda akan mendapatkan DF dan jumlah kuadrat yang sama, dari mana kuadrat rata-rata yang sama, nilai F, dan nilai-p dapat dihitung.

Akhirnya, mari kita bandingkan estimasi koefisien.

beta.1.hat <- coef(fit.1)
beta.2.hat <- coef(fit.2)

Outputnya adalah

(Intercept) factor(group)2 factor(group)3 
  0.4508762      2.8073697      4.5084944 

(Intercept)       group  I(group^2) 
 -3.4627385   4.4667371  -0.5531225 

$V$

$$\pmatrix{1&1&1 \\ 0&1&3 \\ 0&2&8}\pmatrix{-3.4627385 \\ 4.4667371 \\-0.5531225} = \pmatrix{ 0.4508762 \\ 2.8073697 \\ 4.5084944 }.$$

Cocok benar-benar sama seperti yang diklaim.

Secara singkat, kedua model jenuh dalam arti bahwa mereka memberikan prediksi empiris yang unik dari respons pada ketiga level X. Mungkin jelas untuk variabel faktor pengkodean dalam model 1. Untuk tren kuadratik, menarik untuk dicatat bahwa rumus kuadrat dapat menginterpolasi 3 poin. Sementara perbedaannya berbeda, pada kedua model, uji global terhadap nol hanya model intersep memberikan inferensi yang identik.