Nilai negatif untuk AICc (Kriteria Informasi Akaike yang diperbaiki)

39

Saya telah menghitung AIC dan AICc untuk membandingkan dua model campuran linier umum; AIC positif dengan model 1 memiliki AIC lebih rendah daripada model 2. Namun, nilai untuk AICc keduanya negatif (model 1 masih <model 2). Apakah valid untuk menggunakan dan membandingkan nilai AICc negatif?

mixed-model model-selection aic Freya Harrison
sumber
kapan AIC menjadi minimum? tolong jawab saya
apa artinya bila AIC model 1 lebih kecil dari model 2? Apakah model 1 lebih dekat ke nol atau lebih jauh dari nol? Dengan kata lain, jika AIC model 1 adalah -390 dan model 2 memiliki -450, apakah saya akan memilih model 1 atau model 2 ??
Jens

Jawaban:

46

Yang penting adalah perbedaan antara dua nilai AIC (atau, lebih baik, AICc), mewakili kecocokan ke dua model. Nilai aktual AIC (atau AICc), dan apakah itu positif atau negatif, tidak ada artinya. Jika Anda hanya mengubah unit data yang diekspresikan, AIC (dan AICc) akan berubah secara dramatis. Tetapi perbedaan antara AIC dari dua model alternatif tidak akan berubah sama sekali.

Intinya: Abaikan nilai aktual AIC (atau AICc) dan apakah itu positif atau negatif. Abaikan juga rasio dua nilai AIC (atau AICc). Perhatikan perbedaannya saja.

Harvey Motulsky
sumber
2
Saya menemukan semua jawaban untuk pertanyaan ini bermanfaat, tetapi saya pikir ini adalah yang paling praktis.
Freya Harrison
1
Saya bingung dengan komentar tentang perubahan unit, karena menurut definisi AIC adalah unitless (ini adalah kemungkinan log maksimum yang disesuaikan). Perubahan dalam unit data tidak akan mengubah kemungkinan dimaksimalkan sama sekali dan karena itu tidak akan mengubah AIC juga. (Bagaimanapun, rekomendasi Anda untuk memperhatikan perbedaan tidak dipertanyakan.)
whuber
5
@whuber: jika data didistribusikan secara kontinu (yang mungkin, tergantung pada apakah poster asli benar-benar berarti "umum" atau "umum" LMM) maka kepadatan probabilitas memiliki istilah "delta-x" implisit di dalamnya, yang merupakan memang terpengaruh oleh pergantian unit. Lihat juga < emdbolker.wikidot.com/faq >
Ben Bolker
4
@ Ben Terima kasih. Ketika saya menulis ini, saya bingung antara AIC dan perbedaan AIC, berpikir yang terakhir adalah yang pertama. Memang benar bahwa pilihan unit memperkenalkan konstanta multiplikatif ke dalam kemungkinan. Karena itu kemungkinan log memiliki konstanta aditif yang berkontribusi (setelah dua kali lipat) ke AIC. Perbedaan AIC tidak berubah.
Whuber
27

AIC = -2Ln (L) + 2k

di mana L adalah nilai maksimal dari fungsi Likelihood untuk model itu dan k adalah jumlah parameter dalam model.

Dalam contoh Anda -2Ln (L) + 2k <0 berarti kemungkinan log maksimum> 0 yang berarti kemungkinan maksimum>> 1.

Tidak ada masalah dengan kemungkinan log-positif. Ini adalah kesalahpahaman umum bahwa kemungkinan log harus negatif. Jika kemungkinan diperoleh dari kepadatan probabilitas, maka kemungkinannya dapat melebihi 1 yang berarti log-likelihood positif, maka penyimpangan dan AIC negatif. Inilah yang terjadi pada model Anda.

Jika Anda percaya bahwa membandingkan AIC adalah cara yang baik untuk memilih model maka masih akan menjadi kasus bahwa AIC (aljabar) yang lebih rendah lebih disukai bukan yang dengan nilai AIC absolut terendah. Untuk mengulangi Anda ingin nomor paling negatif dalam contoh Anda.

Graham Cookson
sumber
13

Secara umum, diasumsikan bahwa AIC (dan AICc) didefinisikan hingga menambahkan konstanta, sehingga fakta jika negatif atau positif tidak berarti sama sekali. Jadi jawabannya adalah ya, itu valid.


sumber
Bahkan jika konstanta dimasukkan, AIC (AICc) bisa negatif.
Rob Hyndman
1
Itu yang saya tulis.
5

Ya itu sah untuk membandingkan nilai AICc negatif, dengan cara yang sama seperti Anda akan nilai AIC negatif. Faktor koreksi dalam AICc dapat menjadi besar dengan ukuran sampel yang kecil dan jumlah parameter yang relatif besar, dan menghukum lebih berat dari AIC. Jadi nilai AIC positif dapat sesuai dengan nilai AICc negatif.

ars
sumber
0

Iya nih. Ini valid untuk membandingkan nilai-nilai AIC tanpa memandangnya positif atau negatif. Itu karena AIC didefinisikan sebagai fungsi linear (-2) dari log-likelihood. Jika kemungkinannya besar, AIC Anda akan cenderung negatif tetapi tidak mengatakan apa-apa tentang model itu sendiri.

AICc serupa, fakta bahwa nilai-nilai sekarang disesuaikan tidak mengubah apa pun.

Catur kecil
sumber