Apakah mungkin AIC dan BIC memberikan pilihan model yang sama sekali berbeda?

12

Saya melakukan model Regresi Poisson dengan 1 variabel respons dan 6 kovariat. Pemilihan model menggunakan AIC menghasilkan model dengan semua kovariat serta 6 istilah interaksi. Namun BIC, menghasilkan model dengan hanya 2 kovariat dan tidak ada istilah interaksi. Mungkinkah kedua kriteria itu, yang terlihat sangat mirip, menghasilkan pilihan model yang sama sekali berbeda?

model-selection aic poisson-regression bic WBM
sumber
6
Jika tidak mungkin mendapatkan rekomendasi model yang berbeda dari dua metrik, maka tidak akan ada dua metrik, kami hanya akan selalu menggunakan satu.
Gregor Thomas
Kata "sangat berbeda" sulit untuk diartikan ketika model adalah hasil dari memilih dari satu set parameter diskrit.
BallpointBen

Jawaban:

21

Itu memang mungkin. Sebagaimana dijelaskan di https://methodology.psu.edu/AIC-vs-BIC , "BIC menghukum kompleksitas model dengan lebih berat. Satu-satunya cara mereka harus tidak setuju adalah ketika AIC memilih model yang lebih besar daripada BIC."

Jika tujuan Anda adalah untuk mengidentifikasi model prediksi yang baik, Anda harus menggunakan AIC. Jika tujuan Anda adalah untuk mengidentifikasi model penjelas yang baik, Anda harus menggunakan BIC. Rob Hyndman dengan baik merangkum rekomendasi ini di
https://robjhyndman.com/hyndsight/to-explain-or-predict/ :

"AIC lebih cocok untuk memodelkan pemilihan untuk prediksi karena sama asymptotically dengan meninggalkan-satu-keluar cross-validasi dalam regresi, atau satu-langkah-cross-validasi dalam deret waktu. Di sisi lain, mungkin diperdebatkan bahwa BIC lebih cocok untuk pemilihan model untuk penjelasan, karena konsisten. "

Rekomendasi berasal dari makalah Galit Shmueli "Untuk menjelaskan atau memprediksi?", Ilmu Statistik, 25 (3), 289-310 ( https://projecteuclid.org/euclid.ss/1294167961 ).

Tambahan:

Ada jenis ketiga pemodelan - pemodelan deskriptif - tapi saya tidak tahu referensi apa pun yang AIC atau BIC paling cocok untuk mengidentifikasi model deskriptif yang optimal. Saya berharap orang lain di sini bisa berpadu dengan wawasan mereka.

Isabella Ghement
sumber
6
“ Satu-satunya cara mereka tidak setuju adalah ketika AIC memilih model yang lebih besar daripada BIC. ”Secara teknis BIC dapat memilih model yang lebih besar jika , yaitu . Semoga sampel ukuran 7 tidak terlalu menjadi masalah. : pn ≤ 7ln⁡n<2n≤7
Dougal
Poin bagus! Dengan ukuran sampel 7 atau kurang, saya akan membayangkan pemilihan model di atas meja. 😀
Isabella Ghement
Ada jenis ketiga pemodelan - pemodelan deskriptif - tapi saya tidak tahu referensi apa pun yang AIC atau BIC paling cocok untuk mengidentifikasi model deskriptif yang optimal. Saya berharap orang lain di sini bisa berpadu dengan wawasan mereka. Apakah ini jawaban atau pertanyaan?
Subhash C. Davar
@ subhashc.davar: Belum ada jawaban - Saya tergoda untuk mengirim email kepada Galit Shmueli dan menanyakan pendapatnya tentang itu.
Isabella Ghement
1
Jika kita memahami arti "deskriptif" & menganggapnya serius, saya tidak yakin masuk akal untuk berbicara tentang mengidentifikasi model deskriptif yang optimal.
gung - Reinstate Monica
11

Jawaban singkat: ya, sangat mungkin. Keduanya menerapkan hukuman berbeda berdasarkan jumlah parameter yang diestimasi (2k untuk AIC vs ln (n) xk untuk BIC, di mana k adalah jumlah parameter yang diestimasi dan n adalah ukuran sampel). Jadi, jika kemungkinan memperoleh dari menambahkan parameter kecil, BIC dapat memilih model yang berbeda untuk AIC. Efek ini tergantung pada ukuran sampel.

NatWH
sumber
2
akan lebih baik untuk membuat eksplisit bahwa n adalah ukuran sampel dalam persamaan di atas
fabiob