REML atau ML untuk membandingkan dua model efek campuran dengan efek tetap berbeda, tetapi dengan efek acak yang sama?

18

Latar Belakang: Catatan: Kumpulan data dan kode-r saya termasuk di bawah teks

Saya ingin menggunakan AIC untuk membandingkan dua model efek campuran yang dihasilkan menggunakan paket lme4 di R. Setiap model memiliki satu efek tetap dan satu efek acak. Efek tetap berbeda di antara model, tetapi efek acak tetap sama di antara model. Saya telah menemukan bahwa jika saya menggunakan REML = T, model2 memiliki skor AIC yang lebih rendah, tetapi jika saya menggunakan REML = F, model1 memiliki skor AIC yang lebih rendah.

Dukungan untuk menggunakan ML:

Zuur et al. (2009; HALAMAN 122) menyarankan bahwa "Untuk membandingkan model dengan efek tetap bersarang (tetapi dengan struktur acak yang sama), estimasi ML harus digunakan dan bukan REML." Ini menunjukkan kepada saya bahwa saya harus menggunakan ML karena efek acak saya sama di kedua model, tetapi efek tetap saya berbeda. [Zuur et al. 2009. Model Efek Campuran dan Ekstensi dalam Ekologi dengan R. Springer.]

Dukungan untuk menggunakan REML:

Namun, saya perhatikan bahwa ketika saya menggunakan ML, varians residual yang terkait dengan efek acak berbeda antara kedua model (model1 = 136,3; model2 = 112,9), tetapi ketika saya menggunakan REML, itu sama antara model (model1 = model2 = 151.5). Ini menyiratkan kepada saya bahwa saya seharusnya menggunakan REML sehingga varians residual acak tetap sama antara model dengan variabel acak yang sama.

Pertanyaan:

Bukankah lebih masuk akal untuk menggunakan REML daripada ML untuk perbandingan model di mana efek tetap berubah dan efek acak tetap sama? Jika tidak, dapatkah Anda menjelaskan mengapa atau mengarahkan saya ke literatur lain yang menjelaskan lebih banyak?

# Model2 "wins" if REML=T:
REMLmodel1 = lmer(Response ~ Fixed1 + (1|Random1),data,REML = T)
REMLmodel2 = lmer(Response ~ Fixed2 + (1|Random1),data,REML = T)
AIC(REMLmodel1,REMLmodel2)
summary(REMLmodel1)
summary(REMLmodel2)

# Model1 "wins" if REML=F:
MLmodel1 = lmer(Response ~ Fixed1 + (1|Random1),data,REML = F)
MLmodel2 = lmer(Response ~ Fixed2 + (1|Random1),data,REML = F)
AIC(MLmodel1,MLmodel2)
summary(MLmodel1)
summary(MLmodel2)

Himpunan data:

Response    Fixed1  Fixed2  Random1
5.20    A   A   1
32.50   A   A   1
6.57    A   A   2
24.77   A   B   3
41.69   A   B   3
34.29   A   B   4
1.80    A   B   4
10.00   A   B   5
15.56   A   B   5
4.44    A   C   6
21.65   A   C   6
9.20    A   C   7
4.11    A   C   7
12.52   B   D   8
0.25    B   D   8
27.34   B   D   9
11.54   B   E   10
0.86    B   E   10
0.68    B   E   11
4.00    B   E   11
Itu Angka
sumber
2
Faraway's (2006) Memperluas model linier dengan R (p. 156): "Alasannya adalah bahwa REML memperkirakan efek acak dengan mempertimbangkan kombinasi linear dari data yang menghilangkan efek tetap. Jika efek tetap ini diubah, kemungkinan dari dua model tidak akan sebanding secara langsung. "
jvh_ch
Meskipun AIC didasarkan pada kemungkinan, setahu saya, itu dikembangkan untuk tujuan prediksi. Bagaimana cara menerapkan model campuran untuk prediksi?
AdamO
@ AdamO, bisakah Anda lebih tepat? Model campuran yang cocok dapat digunakan untuk prediksi, baik pada tingkat populasi (prediksi respons untuk unit yang tidak ditentukan / tidak dikenal dengan menetapkan mode bersyarat / BLUP ke nol) atau pada tingkat individu (prediksi kondisi pada perkiraan mode kondisional / BLUP) ). Jika Anda bisa lebih spesifik, itu bisa menjadi pertanyaan CV baru yang bagus.
Ben Bolker
Tidak jelas bagi saya bagaimana Anda dimaksudkan untuk menerapkan model ini. Tidak ada masalah yang menyarankan prediksi seperti apa, jika ada, yang dilakukan atau jika perlu dan jika demikian untuk tujuan apa.
AdamO

Jawaban:

22

Zuur et al., Dan Faraway (dari komentar @ janhove di atas) benar; menggunakan metode berbasis kemungkinan (termasuk AIC) untuk membandingkan dua model dengan efek tetap berbeda yang dipasang oleh REML umumnya akan mengarah pada omong kosong.

Ben Bolker
sumber
4
Terima kasih @janhove, AdamO dan Ben Bolker. Saya juga menemukan tautan ini dari Harun untuk membantu menjawab pertanyaan ini. Dikatakan, "Kemungkinan REML tergantung pada efek tetap mana yang ada dalam model, dan karenanya tidak sebanding jika efek tetap berubah. Namun, REML umumnya dianggap memberikan perkiraan yang lebih baik untuk efek acak, jadi, saran yang biasa adalah mencocokkan. model terbaik Anda menggunakan REML untuk inferensi dan pelaporan akhir Anda. "
Ini Angka
11

XX~RnX~XB

X~=XB

BXB

V

|V|1/2|X~V1X~|1/2exp((yX~β~)V1(yX~β~)/2)

β=(X~V1X~)1yX=X~B

|B||V|1/2||XV1X|1/2|exp((yXβ¯)V1(yXβ¯)/2)

β¯=(XV1X)1y|B|

|B|1

Ini contoh mengapa REML tidak boleh digunakan saat membandingkan model dengan efek tetap berbeda. REML, bagaimanapun, sering memperkirakan parameter efek acak lebih baik dan oleh karena itu kadang-kadang direkomendasikan untuk menggunakan ML untuk perbandingan dan REML untuk memperkirakan model tunggal (mungkin final).

swmo
sumber