Validasi Silang untuk model campuran?

9

Rekan saya dan saya sedang menyesuaikan serangkaian model efek campuran linier dan nonlinear dalam R. Kami diminta untuk melakukan validasi silang pada model yang dipasang sehingga orang dapat memverifikasi bahwa efek yang diamati relatif dapat digeneralisasikan. Ini biasanya tugas yang sepele, tetapi dalam kasus kami, kami harus membagi seluruh data menjadi bagian pelatihan dan bagian pengujian (untuk tujuan CV) yang tidak memiliki level yang sama. Sebagai contoh,

Data pelatihan dapat didasarkan pada Grup 1,2,3,4; Model yang cocok kemudian divalidasi silang pada Grup 5.

Jadi ini menciptakan masalah karena efek acak berbasis kelompok yang diperkirakan pada data pelatihan tidak berlaku untuk data pengujian. Jadi, kita tidak bisa membuat CV model.

Apakah ada solusi yang relatif mudah untuk ini? Atau adakah yang sudah menulis paket untuk mengatasi masalah ini? Ada petunjuk apa pun!

Terima kasih!

mixed-model cross-validation Ting Qian
sumber
2
Dalam estimasi area kecil, Anda memiliki masalah yang sama dengan area kecil "out-of-sample". Apa yang biasanya dilakukan adalah Anda memperkirakan efek acak out-of-sample dengan nol (nilainya kemungkinan besar - dengan asumsi efek acak Anda terdistribusi secara normal). Secara efektif Anda menggunakan "sintetis" atau bagian tetap dari model hanya untuk prediksi.
probabilityislogic
probabilityislogic / Ting Qian, saya sedang bergulat dengan masalah ini sekarang, dan ingin melihat bagaimana Anda menentukan efek out-of-sample sebagai 0. Apakah mungkin untuk mengedit jawaban Anda di sini & menunjukkan kode R? Terima kasih!
Pradeep Babu

Jawaban:

3

Fang (2011) telah menunjukkan kesetaraan asimptotik antara AIC yang diterapkan pada model campuran dan validasi silang keluar satu cluster. Mungkin ini akan memuaskan pengulas Anda, memungkinkan Anda untuk hanya menghitung AIC sebagai pendekatan yang lebih mudah untuk menghitung apa yang mereka minta?

Mike Lawrence
sumber
Terima kasih! Ini terlihat bermanfaat. Kami sebenarnya sudah menghitung BIC, tetapi pengulas ingin melihat hasil validasi silang. ;-) Beberapa set data yang kami miliki relatif kecil. Jadi, seseorang dapat membuat argumen bahwa perilaku asimptotik seperti itu tidak diharapkan. Tapi, ya, kita tentu bisa mengutip Fang (2011) ketika kami menyajikan hasil BIC, karena AIC dan BIC juga setara secara asimptotik?
Ting Qian
2
Saya tidak percaya bahwa AIC dan BIC setara secara asimptot karena mereka berusaha menjawab pertanyaan yang berbeda secara mendasar. Lihat: stats.stackexchange.com/questions/577/...
Mike Lawrence
Dan inilah perbandingan yang lebih terperinci dari AIC & BIC: smr.sagepub.com/cgi/doi/10.1177/0049124103262065
Mike Lawrence
0

Colby dan Bair (2013) telah mengembangkan pendekatan cross-validasi yang dapat diterapkan pada model efek campuran nonlinier. Anda dapat mengunjungi tautan ini untuk mempelajari lebih lanjut.

Api Hounzandji
sumber
1
Selamat datang di Crossvalidated. Harap tambahkan lebih banyak informasi ke jawaban Anda. Mungkin Anda bisa menguraikan bagian terpenting dari artikel tersebut.
Ferdi