Dalam prakteknya bagaimana matriks efek kovarians acak dihitung dalam model efek campuran?

Pada dasarnya apa yang saya pikirkan adalah bagaimana struktur kovarian yang berbeda ditegakkan, dan bagaimana nilai-nilai di dalam matriks ini dihitung. Fungsi seperti lme () memungkinkan kami untuk memilih struktur mana yang kami inginkan, tetapi saya ingin tahu bagaimana perkiraannya.

Pertimbangkan model efek campuran linier .$Y=X\beta+Zu+\epsilon$

Di mana dan . Selanjutnya:$u \stackrel{d}{\sim} N(0,D)$$\epsilon \stackrel{d}{\sim} N(0,R)$

$Var(Y|X,Z,\beta,u)=R$

$Var(Y|X,\beta)=Z'DZ+R=V$

Untuk mempermudah, kami akan menganggap .$R=\sigma^2I_n$

Pada dasarnya pertanyaan saya adalah: Bagaimana tepatnya diperkirakan dari data untuk berbagai parameterisasi? Katakanlah jika kita menganggap adalah diagonal (efek acak independen) atau sepenuhnya parameter (jika saya lebih tertarik pada saat ini) atau salah satu dari berbagai parameterisasi lainnya? Apakah ada estimator / persamaan sederhana untuk ini? (Itu tidak diragukan lagi akan diperkirakan berulang.)D $D$$D$$D$

EDIT: Dari buku Variance Components (Searle, Casella, McCulloch 2006) Saya telah berhasil mengkilat yang berikut:

Jika maka komponen varians diperbarui dan dihitung sebagai berikut:$D=\sigma^2_uI_q$

$\sigma_u^{2(k+1)} = \frac{\hat{\textbf{u}}^T\hat{\textbf{u}}} {\sigma_u^{2(k)}\text{trace}(\textbf{V}^{-1}\textbf{Z}^T\textbf{Z})}$

$\sigma_e^{2(k+1)} = Y'(Y-X{\hat{\beta}}^{(k)}-{Z}\hat{{u}}^{(k)})/n$

Dimana dan adalah th update masing-masing.$\hat{\beta}^{(k)}$$\hat{{u}}^{(k)}$$k$

Apakah ada rumus umum ketika adalah blok diagonal atau parameter penuh? Saya menduga dalam kasus parameter sepenuhnya, dekomposisi Cholesky digunakan untuk memastikan kepastian dan simetri positif.$D$

The Goldstein .pdf @probabilityislogic linked adalah dokumen yang bagus. Berikut daftar beberapa referensi yang membahas pertanyaan khusus Anda:

Harville, 1976: Perpanjangan Teorema Gauss-Markov untuk memasukkan estimasi efek acak .

Harville, 1977: Pendekatan kemungkinan maksimum untuk estimasi komponen varians dan masalah terkait .

Laird dan Ware, 1982: model efek-acak untuk data longitudinal .

McCulloch, 1997: Algoritma kemungkinan maksimum untuk model campuran linier umum .

The Panduan SAS Pengguna kutipan untuk prosedur CAMPURAN memiliki beberapa informasi yang besar tentang estimasi kovarians dan banyak sumber lebih (dimulai pada halaman 3968).

Ada banyak buku teks berkualitas tentang analisis data tindakan longitudinal / berulang, tapi di sini ada yang masuk ke beberapa detail tentang implementasi dalam R (dari penulis lme4dan nlme):

Pinheiro dan Bates, 2000: Model Efek Campuran dalam S dan S-PLUS .

EDIT : Satu makalah yang lebih relevan: Lindstrom dan Bates, 1988: Newton-Raphson dan EM Algoritma untuk model efek campuran linier untuk data tindakan berulang .

EDIT 2 : Dan satu lagi: Jennrich dan Schluchter, 1986: Model Pengukuran Berulang yang Tidak Seimbang dengan Matriks Kovarian Struktural .

Harvey Goldstein bukan tempat yang buruk untuk memulai.

Seperti metode estimasi paling kompleks, itu bervariasi dengan paket perangkat lunak. Namun, seringkali yang dilakukan adalah pada langkah-langkah berikut:

1. Pilih nilai awal untuk (katakanlah D 0 ) dan R (katakanlah R 0 ). Set i = $D$$D_0$$R$$R_0$$i=1$
2. $D=D_{i-1}$$R=R_{i-1}$$\beta$$u$$\epsilon$$\beta_i$$u_i$$\epsilon_i$
3. $\beta=\beta_i$$u=u_i$$\epsilon=\epsilon_i$$D$$R$$D_i$$R_i$
4. $i=i+1$

Satu metode sederhana, dan cepat adalah IGLS, yang didasarkan pada iterasi di antara dua prosedur kuadrat terkecil, dan dijelaskan secara rinci dalam bab dua. Kelemahannya adalah ia tidak bekerja dengan baik untuk komponen varians mendekati nol.

Artikel berikut memberikan solusi formulir tertutup untuk D:

• J. Shao, Mari Palta & Roger Qu, (1998), " Estimasi kuadrat terkecil dari parameter regresi dalam model efek campuran dengan kovariat tidak terukur ", Komunikasi dalam Statistik - Teori dan Metode , 27: 6, 1487-1501, DOI: 10.1080 / 03610929808832172

dua referensi lagi yang dapat menjadi Komponen Varians yang berguna oleh Searle Et al dan Lynch dan Walsh Genetika dan Analisis Ciri-Ciri Kuantitatif . Buku Lynch dan Walsh memberikan algoritma langkah demi langkah jika saya ingat benar