Kapan tepat untuk memilih model dengan meminimalkan AIC?

Sudah mapan, setidaknya di antara ahli statistik dari beberapa kaliber lebih tinggi, bahwa model dengan nilai-nilai statistik AIC dalam batas tertentu dari nilai minimum harus dianggap sesuai dengan model meminimalkan statistik AIC. Sebagai contoh, dalam [1, hal.221] kita temukan

Maka model dengan GCV kecil atau AIC akan dianggap yang terbaik. Tentu saja seseorang seharusnya tidak hanya secara buta meminimalkan GCV atau AIC. Sebaliknya, semua model dengan nilai GCV atau AIC yang cukup kecil harus dianggap berpotensi sesuai dan dievaluasi sesuai dengan kesederhanaan dan relevansi ilmiahnya.

Demikian pula, dalam [2, hal.144] yang kita miliki

Telah dikemukakan (Duong, 1984) bahwa model dengan nilai AIC dalam c dari nilai minimum harus dianggap kompetitif (dengan c = 2 sebagai nilai khas). Seleksi dari antara model kompetitif kemudian dapat didasarkan pada faktor-faktor seperti keputihan residu (Bagian 5.3) dan kesederhanaan model.

Referensi:

1. Ruppert, D .; Tongkat, MP & Carrol, Regresi RJ Semiparametric , Cambridge University Press, 2003
2. Brockwell, PJ & Davis, RA Pengantar deret waktu dan peramalan , John Wiley & Sons, 1996

Jadi mengingat hal di atas, yang mana dari dua model di bawah ini yang lebih disukai?

print( lh300 <- arima(lh, order=c(3,0,0)) )
# ... sigma^2 estimated as 0.1787:  log likelihood = -27.09,  aic = 64.18
print( lh100 <- arima(lh, order=c(1,0,0)) )
# ... sigma^2 estimated as 0.1975:  log likelihood = -29.38,  aic = 64.76

Lebih umum, kapan tepat untuk memilih model dengan meminimalkan secara buta AIC atau statistik terkait?

Mengutip dari kuliah Cosma Shalizi mencatat tentang kebenaran tentang Regresi Linier , Anda tidak akan pernah memilih model hanya karena kebetulan meminimalkan statistik seperti AIC , karena

Every time someone solely uses an AIC statistic for model selection, an angel loses its
wings. Every time someone thoughtlessly minimises it, an angel not only loses its wings,
but is cast out of Heaven and falls in most extreme agony into the everlasting fire.

Saya akan mengatakan itu sering tepat untuk menggunakan AIC dalam pemilihan model, tetapi jarang tepat untuk menggunakannya sebagai dasar tunggal untuk pemilihan model. Kita juga harus menggunakan pengetahuan substantif.

Dalam kasus khusus Anda, Anda membandingkan model dengan AR orde 3 vs. satu dengan AR orde 1. Selain AIC (atau yang serupa) saya akan melihat plot autokorelasi dan autokorelasi parsial. Saya juga akan mempertimbangkan apa artinya model urutan ke-3 . Apakah masuk akal? Apakah itu menambah pengetahuan substantif? (Atau, jika Anda hanya tertarik pada prediksi, apakah itu membantu memprediksi?)

Lebih umum, kadang-kadang kasus yang menemukan ukuran efek yang sangat kecil menarik.

$P$$P$