Bagaimana model efek campuran harus dibandingkan dan atau divalidasi?

22

Bagaimana model efek campuran (linier) secara normal dibandingkan satu sama lain? Saya tahu tes rasio kemungkinan dapat digunakan, tetapi ini tidak berhasil jika satu model bukan 'bagian' dari yang lain yang benar?

Apakah estimasi model selalu mudah? Jumlah efek tetap + jumlah komponen varian diperkirakan? Apakah kita mengabaikan perkiraan efek acak?

Bagaimana dengan validasi? Pikiran pertama saya adalah validasi silang, tetapi lipatan acak mungkin tidak berfungsi mengingat struktur data. Apakah metodologi 'tinggalkan satu subjek / klaster keluar' sesuai? Bagaimana dengan meninggalkan satu pengamatan?

Mallows Cp dapat diartikan sebagai perkiraan kesalahan prediksi model. Pemilihan model melalui AIC mencoba untuk meminimalkan kesalahan prediksi (Jadi Cp dan AIC harus memilih model yang sama jika kesalahannya adalah Gaussian, saya percaya). Apakah ini berarti AIC atau Cp dapat digunakan untuk memilih model efek campuran linier 'optimal' dari koleksi beberapa model yang tidak bersarang dalam hal kesalahan prediksi? (asalkan mereka cocok dengan data yang sama) Apakah BIC masih cenderung memilih model 'benar' di antara para kandidat?

Saya juga mendapat kesan bahwa ketika membandingkan model efek campuran melalui AIC atau BIC kita hanya menghitung efek tetap sebagai 'parameter' dalam perhitungan, bukan model aktual df.

Apakah ada literatur yang bagus tentang topik ini? Apakah ada baiknya menyelidiki cAIC atau mAIC? Apakah mereka memiliki aplikasi khusus di luar AIC?

dcl
sumber
2
Apa yang Anda maksudkan dengan aplikasi cAIC atau mAIC "di luar AIC"? DIC adalah ukuran yang digunakan secara luas dari akurasi prediksi yang dapat Anda selidiki, yang mencoba untuk menghukum dengan sejumlah parameter "efektif" yang termasuk dalam model multilevel.
tamu
@guest maksud saya, apakah mereka memiliki penggunaan khusus, katakanlah untuk jenis model tertentu? Saya akan memeriksa DIC. Terima kasih.
dcl

Jawaban:

12

Masalah utama pada pemilihan model dalam model campuran adalah untuk menentukan derajat kebebasan (df) model, benar-benar. Untuk menghitung df dari model campuran, kita harus mendefinisikan jumlah parameter yang diestimasi termasuk efek tetap dan acak. Dan ini tidak langsung. Makalah ini oleh Jiming Jiang dan lain-lain (2008) berjudul "Metode pagar untuk pemilihan model campuran" dapat diterapkan dalam situasi seperti itu. Sebuah karya yang terkait baru ini salah satu oleh Greven, S. & Kneib, T. (2010) yang berjudul "Pada perilaku marginal dan kondisional AIC dalam model campuran linear". Semoga ini bisa membantu.

hbaghishani
sumber
Saya akan memeriksa kertas-kertas itu. Tepuk tangan.
dcl
6

Salah satu cara untuk membandingkan model (apakah dicampur atau tidak) adalah dengan plot hasilnya. Misalkan Anda memiliki model A dan model B; menghasilkan nilai-nilai yang dipasang dari masing-masing dan grafik mereka terhadap satu sama lain dalam sebaran plot. Jika nilainya sangat mirip (dengan menggunakan penilaian Anda, apakah itu benar) pilih model yang lebih sederhana. Gagasan lain adalah menemukan perbedaan antara nilai yang dipasang dan membuat grafik ini terhadap nilai-nilai independen; Anda juga dapat membuat plot kepadatan perbedaan. Secara umum, saya seorang pendukung tidak menggunakan tes statistik untuk membandingkan model (meskipun AIC dan variannya tentu memiliki kebajikan) tetapi menggunakan penilaian. Tentu saja, ini memiliki keuntungan karena tidak memberikan jawaban yang tepat.

Peter Flom - Pasang kembali Monica
sumber
Apa yang Anda gambarkan, hanya untuk membandingkan model ketika tujuan utamanya adalah kemampuan prediksi mereka. Juga, hasil grafis bisa sangat informatif untuk memandu model mana yang dapat berguna, tetapi, umumnya, mereka bukan hasil ilmiah yang sepenuhnya formal.
hbaghishani
2
Hai @hbaghishani; Saya hanya akan mengutip Tukey, "Jawaban jawaban yang jauh lebih baik untuk pertanyaan yang tepat, yang seringkali tidak jelas, daripada jawaban yang tepat untuk pertanyaan yang salah, yang selalu dapat dibuat tepat." :-). Ini tidak sepenuhnya sesuai di sini, tetapi setidaknya sebagian tepat sasaran
Peter Flom - Reinstate Monica
1
Saya biasanya melakukan plot seperti yang Anda gambarkan saat membangun model. Tapi saya memang mencari metode yang lebih 'matematis'. Cheers
dcl
Jika membandingkan model berbeda berdasarkan kinerja prediktif, pemahaman saya adalah bahwa nilai prediksi untuk model campuran dengan dan tanpa efek acak harus identik (yaitu, koefisien regresi tidak bias dalam model dengan dan tanpa efek acak, hanya kesalahan standar yang berubah).
RobertF