Pedoman AIC dalam pemilihan model

32

Saya biasanya menggunakan BIC karena pemahaman saya adalah bahwa nilai-nilai parsimony lebih kuat daripada AIC. Namun, saya telah memutuskan untuk menggunakan pendekatan yang lebih komprehensif sekarang dan ingin menggunakan AIC juga. Saya tahu bahwa Raftery (1995) menyajikan pedoman yang bagus untuk perbedaan BIC: 0-2 lemah, 2-4 adalah bukti positif untuk satu model menjadi lebih baik, dll.

Saya mencari di buku teks dan mereka tampak aneh di AIC (sepertinya perbedaan yang lebih besar lemah dan perbedaan yang lebih kecil di AIC berarti satu model lebih baik). Ini bertentangan dengan apa yang saya tahu saya telah diajarkan. Pemahaman saya adalah bahwa Anda ingin AIC lebih rendah.

Apakah ada yang tahu apakah pedoman Raftery juga mencakup AIC, atau di mana saya dapat mengutip beberapa pedoman untuk "kekuatan bukti" untuk satu model vs yang lain?

Dan ya, cutoff tidak bagus (saya agak menjengkelkan) tetapi mereka sangat membantu ketika membandingkan berbagai jenis bukti.

Tom Carpenter
sumber
1
Apakah ini (pdf) , kertas Raftery yang Anda maksud?
gung - Reinstate Monica
4
Pembaca di sini mungkin tertarik untuk membaca utas CV yang luar biasa ini: Apakah ada alasan untuk lebih menyukai AIC atau BIC daripada yang lain?
gung - Pasang kembali Monica
1
Buku teks mana yang Anda maksud ketika Anda mengatakan " Saya mencari di buku teks dan mereka tampak aneh di AIC (sepertinya perbedaan yang lebih besar lemah dan perbedaan yang lebih kecil dalam AIC berarti satu model lebih baik) " --- dan apa yang sebenarnya mereka lakukan mengatakan?
Glen_b -Reinstate Monica
1
Para kedua Anda tidak jelas. Anda mungkin bersungguh-sungguh: Meskipun perbedaan besar menunjukkan bahwa model dengan nilai yang lebih kecil lebih disukai, perbedaan yang lebih kecil sulit untuk dievaluasi. Selain itu, ahli statistik belum sepakat tentang apa perbedaan 'kecil' atau 'besar' - Singer dan Willet (2003, hal.122)
Hibernasi
1
Mengenai para ketiga Anda, jika Anda ingin mengadopsi kategori kekuatan bukti yang diajukan oleh Jeffreys (1961, hlm. 432), saya dapat memberikan Anda referensi lengkap.
Hibernasi

Jawaban:

23

AIC dan BIC memiliki interpretasi yang sama dalam hal perbandingan model. Artinya, perbedaan yang lebih besar dalam AIC atau BIC menunjukkan bukti kuat untuk satu model di atas yang lain (semakin rendah semakin baik). Hanya saja AIC tidak menghukum jumlah parameter sekuat BIC. Ada juga koreksi terhadap AIC (AICc) yang digunakan untuk ukuran sampel yang lebih kecil. Informasi lebih lanjut tentang perbandingan AIC / BIC dapat ditemukan di sini .

dmartin
sumber
5
+1. Hanya untuk menambah / memperjelas: AIC (dan AICc) menggunakan KL-divergence. Oleh karena itu, tepatnya karena AIC mencerminkan informasi "tambahan", semakin kecil semakin baik. Dengan kata lain sebagai ukuran sampel kami , model dengan skor AIC minimum akan memiliki divergensi Kullback-Leibler terkecil dan karena itu akan menjadi model yang paling dekat dengan model "benar". N
usεr11852 mengatakan Reinstate Monic
28

AIC1AIC2AIC1<AIC2
(1,2,...,n)Δi=AICiAICminAICiiAICminΔi>10ΔiΔiΔmin0.

Stat
sumber
1
Aha! Ini benar-benar membersihkan bit "lebih besar dari". Terima kasih!
Tom Carpenter
7

Saya biasanya tidak pernah menggunakan AIC atau BIC secara objektif untuk menggambarkan kecocokan yang memadai untuk model. Saya tidak menggunakan IC ini untuk membandingkan fit relatif dari dua model prediktif. Sejauh menyangkut AIC "2" atau "4", itu sepenuhnya kontekstual. Jika Anda ingin mengetahui bagaimana model "baik" cocok, Anda dapat (harus) selalu menggunakan simulasi. Pemahaman Anda tentang AIC benar. AIC menerima kontribusi positif dari parameter dan kontribusi negatif dari kemungkinan. Apa yang Anda coba lakukan adalah memaksimalkan kemungkinan tanpa memuat model Anda dengan banyak parameter. Jadi, pendapat saya yang meledak adalah bahwa cut off untuk AIC tidak bagus di luar konteks.

AdamO
sumber
Bagaimana jika model Anda tidak mengizinkan simulasi apa pun?
Stat
6
Tut-tut! Bagaimana itu mungkin? Seseorang dapat mem-bootstrap dunia.
AdamO
Semoga Tuhan beruntung ... mensimulasikan dunia lol
Stat
2
@Stat Saya sangat serius ketika mengatakan bahwa saya tidak dapat membayangkan situasi di mana tidak mungkin untuk mensimulasikan data dari model. Paling tidak, bootstrap dari dataset pelatihan memenuhi syarat sebagai pendekatan simulasi yang valid.
AdamO
Ketika bootstrap adalah validasi silang atau bahkan jackknifing sederhana harus bekerja. Juga, rata-rata model menyediakan sarana untuk merekonsiliasi informasi dari model-model dengan AIC serupa.
N Brouwer
2

Berikut adalah pertanyaan terkait kapan-apakah-layak-untuk-pilih-model-dengan-meminimalkan-the-aic? . Ini memberi Anda gambaran umum tentang apa yang dianggap tidak pantas oleh orang-orang di dunia akademis untuk ditulis dan referensi apa yang dianggap penting.

Secara umum, perbedaan antara kemungkinan atau AIC yang penting, bukan nilai absolutnya. Anda telah melewatkan kata "perbedaan" yang penting dalam "BIC: 0-2 Anda lemah" dalam pertanyaan - lihat tabel TABEL 6 Raftery - dan aneh bahwa tidak ada yang ingin memperbaikinya.

Saya sendiri telah diajarkan untuk mencari MAICE (Perkiraan AIC Minimum - sebagaimana Akaike menyebutnya). Terus? Inilah yang ditulis oleh satu orang terkenal kepada seorang wanita tak dikenal:

Dear Miss -- 
I have read about sixteen pages of your manuscript ... I suffered exactly the same 
treatment at the hands of my teachers who disliked me for my independence and passed 
over me when they wanted assistants ... keep your manuscript for your sons and
daughters, in order that they may derive consolation from it and not give a damn for
what their teachers tell them or think of them. ... There is too much education
altogether.

Guru saya tidak pernah mendengar makalah dengan judul seperti "Tes apakah dua AIC berbeda secara signifikan" dan saya bahkan tidak ingat mereka pernah menyebut AIC statistik, yang akan memiliki distribusi sampel dan properti lainnya. Saya diajari AIC adalah kriteria yang harus diminimalkan, jika mungkin dalam beberapa mode otomatis.

Namun masalah penting lainnya, yang saya pikir telah diungkapkan di sini beberapa tahun yang lalu oleh IrishStat (dari ingatan jadi permintaan maaf jika saya salah karena saya gagal menemukan jawaban itu) adalah bahwa AIC, BIC dan kriteria lain telah diturunkan untuk tujuan yang berbeda dan dalam kondisi yang berbeda (asumsi) sehingga Anda sering tidak dapat menggunakannya secara bergantian jika tujuan Anda meramalkan, katakanlah. Anda tidak bisa hanya menyukai sesuatu yang tidak pantas.

Sumber saya menunjukkan bahwa saya menggunakan kutipan untuk Burnham dan Anderson (2002, p.70) untuk menulis bahwa delta (perbedaan AIC) dalam 0-2 memiliki dukungan substansial; delta dalam 4-7 jauh lebih sedikit dukungan dan delta lebih besar dari 10 pada dasarnya tidak ada dukungan. Juga, saya menulis bahwa "penulis juga membahas kondisi di mana pedoman ini mungkin berguna". Buku ini dikutip dalam jawaban oleh Stat, yang saya pilih paling relevan.

Hibernasi
sumber
0

Berkenaan dengan kriteria informasi, inilah yang dikatakan SAS :

"Perhatikan bahwa kriteria informasi seperti Akaike (AIC), Schwarz's (SC, BIC), dan QIC dapat digunakan untuk membandingkan model yang tidak bersaing, tetapi tidak memberikan uji perbandingan. Akibatnya, mereka tidak dapat menunjukkan apakah satu model secara signifikan lebih baik daripada yang lain. GENMOD, LOGISTIC, GLIMMIX, MIXED, dan prosedur lainnya memberikan ukuran kriteria informasi. "

Ada dua prosedur pengujian model komparatif: a) uji Vuong dan b) uji Clarke non-parametrik. Lihat makalah ini untuk detailnya.

Metrik
sumber
Saya menemukan notasi matematika yang digunakan dalam "kertas" yang dikutip (yaitu presentasi) tidak dapat dipahami tanpa komentar. Secara khusus, apa yang dilambangkan garis garis? Implikasi?
Adam Ryczkowski