Pendekatan rata-rata model - rata-rata estimasi koefisien vs prediksi model?

9

Saya punya pertanyaan dasar tentang pendekatan untuk pemodelan rata-rata menggunakan kriteria IT untuk model berat dalam satu set kandidat.

Sebagian besar sumber yang saya baca tentang model rata-rata menganjurkan rata-rata estimasi koefisien parameter berdasarkan bobot model (baik menggunakan 'rata-rata alami' atau metode 'rata-rata nol'). Namun, saya mendapat kesan bahwa rata-rata dan menimbang prediksi masing-masing model , daripada perkiraan koefisien parameter, berdasarkan bobot model adalah pendekatan yang lebih mudah dan tepat, terutama jika membandingkan model dengan variabel prediktor yang tidak bersarang.

Apakah ada panduan yang jelas tentang pendekatan mana untuk model rata-rata yang paling dibenarkan (rata-rata estimasi parameter berbobot vs prediksi berbobot)? Juga, apakah ada komplikasi lebih lanjut dengan model rata-rata estimasi koefisien dalam kasus model campuran?

John Stella
sumber
Kedua pendekatan itu mungkin. Keuntungan utama dari rata-rata prediksi adalah bahwa Anda dapat rata-rata dari semua jenis model.
Tim
Mungkin menarik: "Model rata-rata dalam ekologi: tinjauan Bayesian, informasi-teori dan pendekatan taktis untuk inferensi prediktif" esajournals.onlinelibrary.wiley.com/doi/10.1002/ecm.1309
Florian Hartig

Jawaban:

4

Dalam model linier, rata-rata lintas koefisien akan memberi Anda nilai prediksi yang sama dengan nilai prediksi dari rata-rata prediksi, tetapi menyampaikan lebih banyak informasi. Banyak paparan berurusan dengan model linier dan karenanya rata-rata lintas koefisien.

Anda dapat memeriksa kesetaraan dengan sedikit aljabar linier. Katakan sudahT pengamatan dan Nprediktor. Anda mengumpulkan yang terakhir diT×N matriks X. Kamu juga punyaM model, yang masing-masing memberikan estimasi koefisien βm ke Nprediktor. Tumpuk estimasi koefisien ini diN×M matriks β. Rata-rata berarti Anda menetapkan bobotwm untuk masing-masing model m(Bobot biasanya non-negatif dan jumlah hingga satu). Masukkan bobot ini dalam vektorw panjangnya M.

Nilai prediksi untuk masing-masing model diberikan oleh y^m=Xβm, atau, dalam notasi bertumpuk

y^=Xβ
Nilai yang diprediksi dari rata-rata di seluruh prediksi diberikan oleh
y^w=(Xβ)w
Saat Anda rata-rata melintasi estimasi koefisien, Anda menghitung
βw=βw
Dan nilai yang diprediksi dari koefisien rata-rata diberikan oleh
Xβw=X(βw)
Kesetaraan antara nilai-nilai yang diprediksi untuk kedua pendekatan mengikuti dari keterikatan produk matriks. Karena nilai yang diprediksi sama, Anda juga bisa menghitung rata-rata koefisien: ini memberi Anda lebih banyak informasi, jika Anda ingin melihat koefisien untuk masing-masing prediktor.

Dalam model non-linear, ekuivalensi biasanya tidak berlaku lagi dan di sana, memang masuk akal untuk rata-rata prediksi. Literatur yang luas tentang rata-rata prediksi (kombinasi perkiraan) misalnya dirangkum di sini .

Matthias Schmidtblaicher
sumber
1
"setidaknya dalam model linier" - bagaimana hanya dalam model linier ?!
Hao Ye
Ini adalah argumen "jika", bukan "hanya jika", jadi saya menemukan frasa "setidaknya" akurat.
Matthias Schmidtblaicher
Namun, saya mengerti maksud Anda dan mengubah jawaban saya @HaoYe
Matthias Schmidtblaicher