Mengapa model efek campuran mengatasi ketergantungan?

Katakanlah kami tertarik pada bagaimana nilai ujian siswa dipengaruhi oleh jumlah jam belajar siswa tersebut. Untuk mengeksplorasi hubungan ini, kita dapat menjalankan regresi linier berikut:

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$$

Tetapi jika kita mengambil sampel murid dari beberapa sekolah yang berbeda, kita mungkin berharap murid di sekolah yang sama lebih mirip satu sama lain daripada murid dari sekolah yang berbeda. Untuk mengatasi masalah ketergantungan ini, saran dalam banyak buku pelajaran / di web, adalah menjalankan efek campuran dan masuk sekolah sebagai efek acak. Jadi modelnya akan menjadi: Tapi mengapa ini menyelesaikan masalah ketergantungan yang ada dalam regresi linier?

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$$

Harap tanggapi seolah Anda berbicara dengan anak berusia 12 tahun

Termasuk istilah acak dalam model adalah cara untuk menginduksi beberapa struktur kovarians antara nilai. Faktor acak untuk sekolah menginduksi kovarian tidak nol antara siswa yang berbeda dari sekolah yang sama, sedangkan itu adalah ketika sekolah berbeda.$0$

Mari kita tulis model Anda sebagai mana s mengindeks sekolah dan saya mengindeks siswa (di setiap sekolah). Istilah sekolah s adalah variabel-variabel acak independen ditarik dalam N ( 0 , τ ) . The e s , i adalah variabel independen acak ditarik dalam N ( 0 ,

$$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$$ $s$$i$$\text{school}_s$$\mathcal N(0, \tau)$$e_{s, i}$ .$\mathcal N(0, \sigma^2)$

Vektor ini memiliki nilai yang diharapkan yang ditentukan oleh jumlah jam kerja.

$$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$$

Kovarians antara dan Y s ′ , i ′ adalah 0 ketika s ≠ s ′ , yang berarti bahwa keberangkatan nilai dari nilai yang diharapkan adalah independen ketika siswa tidak berada di sekolah yang sama.$Y_{s,i}$$Y_{s',i'}$$0$$s \ne s'$

Kovarians antara dan Y s , i ′ adalah τ ketika i ≠ i ′ , dan varian Y s , i adalah τ + σ 2 : nilai siswa dari sekolah yang sama akan memiliki korelasi keberangkatan dari nilai yang mereka harapkan .$Y_{s,i}$$Y_{s,i'}$$\tau$$i \ne i'$$Y_{s,i}$$\tau + \sigma^2$

Contoh dan data simulasi

Berikut ini adalah simulasi R pendek untuk lima puluh siswa dari lima sekolah (di sini saya ambil ); nama-nama variabel tersebut mendokumentasikan diri: $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

$\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

$\text{school}_s$$\alpha + \text{hours} \beta$

Matriks varians untuk contoh ini

$\text{school}_s$$e_{s,i}$

$$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$$ $10\times 10$$A$ $$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$$