Dari Wikipedia ada definisi Akaike Information Criterion (AIC) sebagai , di mana adalah jumlah parameter dan \ log L adalah log-kemungkinan model.k log L
Namun, Ekonometrik kami mencatat di universitas yang dihormati bahwa . Di sini adalah estimasi varians untuk kesalahan dalam model ARMA dan adalah jumlah pengamatan dalam dataset deret waktu.
Apakah definisi terakhir setara dengan yang pertama, tetapi hanya disetel untuk model ARMA? Atau adakah semacam konflik antara kedua definisi tersebut?
Jawaban:
Formula yang Anda kutip dari catatan Anda tidak sepenuhnya AIC.
AIC adalah .−2logL+2k
Di sini saya akan memberikan garis besar perkiraan penurunan yang membuat cukup jelas apa yang terjadi.
Jika Anda memiliki model dengan kesalahan normal independen dengan varian konstan,
yang dapat diperkirakan dengan kemungkinan maksimum sebesar
(dengan asumsi estimasi adalah estimasi ML)σ2
Jadi (hingga digeser oleh konstanta)- 2 logL +2k=nlogσ^2+ 2 k
Sekarang dalam model ARMA, jika benar-benar besar dibandingkan dengan dan , maka kemungkinannya dapat diperkirakan dengan kerangka kerja Gaussian (misalnya Anda dapat menulis ARMA kira-kira sebagai AR yang lebih panjang dan syarat pada cukup istilah untuk menulis AR itu sebagai model regresi), demikian juga dengan sebagai ganti :p q T nT p q T n
karenanya
Sekarang jika Anda hanya membandingkan AIC, pembagian yang melalui tidak penting sama sekali, karena itu tidak mengubah urutan nilai-nilai AIC.T
Namun, jika Anda menggunakan AIC untuk tujuan lain yang bergantung pada nilai aktual perbedaan dalam AIC (seperti melakukan inferensi multimodel seperti yang dijelaskan oleh Burnham dan Anderson), maka itu penting.
Sejumlah teks ekonometrik tampaknya menggunakan formulir AIC / T ini. Anehnya, beberapa buku tampaknya merujuk Hurvich dan Tsai 1989 atau Findley 1985 untuk bentuk itu, tetapi Hurvich & Tsai dan Findley tampaknya membahas bentuk asli (meskipun saya hanya memiliki indikasi tidak langsung tentang apa yang dilakukan Findley sekarang, jadi mungkin ada sesuatu di Findley di atasnya).
Penskalaan seperti itu dapat dilakukan karena berbagai alasan - misalnya, deret waktu, terutama deret waktu frekuensi tinggi, bisa sangat panjang dan AIC biasa memiliki kecenderungan untuk menjadi berat, terutama jika sangat kecil. (Ada beberapa alasan lain yang mungkin, tetapi karena saya benar-benar tidak tahu alasan ini dilakukan, saya tidak akan mulai membuat daftar semua alasan yang mungkin.)σ2
Anda mungkin ingin melihat daftar Fakta dan kekeliruan AIC Rob Hyndman , - khususnya item 3 sampai 7. Beberapa poin tersebut mungkin membuat Anda setidaknya sedikit berhati-hati tentang terlalu mengandalkan pada perkiraan oleh kemungkinan Gaussian, tetapi mungkin ada justifikasi yang lebih baik daripada yang saya tawarkan di sini.
Saya tidak yakin ada alasan yang baik untuk menggunakan perkiraan ini untuk log-likelihood daripada AIC yang sebenarnya karena banyak paket seri waktu ini cenderung menghitung (/ memaksimalkan) log-likelihood aktual untuk model ARMA. Tampaknya ada sedikit alasan untuk tidak menggunakannya.
sumber
Saya percaya ini didasarkan pada asumsi kesalahan normal. Dalam ekonometrik, Anda beroperasi menggunakan asimptotik, terutama dalam aplikasi deret waktu menggunakan AIC. Sebagai akibatnya, asumsi normal harus berlaku asimptotik untuk membenarkan skema pemilihan model (asimptotik) ini.
Ingat bahwa logaritma kemungkinan normal adalah , di mana kami menggunakan dan jika data Anda diambil dari X. Pada bagian selanjutnya kami mengabaikan istilah pertama, seperti sampel yang diamati tidak memengaruhinya.ln(L)=−(T/2)ln(2π)−(T/2)ln(σ2)−(1/2σ2)∑(xi−μ) E(X)=μ Var(X)=σ2 x1,...,xT
Cukup gunakan rumus yang lebih umum (pertama) dan pasang untuk kemungkinan normal. Istilah pertama dapat diabaikan (itu adalah konstan terlepas dari pilihan regressor). Istilah kedua menjadi . Istilah ketiga menjadi , di mana kami telah menggunakan . Sekali lagi, tidak menggunakan koreksi sampel terbatas dibenarkan di sini karena estimator ini hanya valid asimptotik jika kesalahan tidak normal. Karena kita tidak tahu , kita harus memperkirakan suku ketiga sebagai = T.T l n ( σ 2 ) ( 1 / σ 2 ) ( TL Tln(σ2) (1/σ2)(Tσ^2) σ^2=T−1∑(xi−x¯) σ2 (1/σ2)(Tσ^2)=(1/σ^2)(Tσ^2)
Singkatnya, ini berarti kita mendapatkan kemungkinan normal bahwa . Tidak perlu dikatakan, minimisasi tidak terpengaruh dengan mengabaikan konstanta . Istilah ini sekarang hanya dibagi dengan , karena tidak mengubah masalah minimisasi untuk skala semua komponen aditif oleh . Ini menempatkan Anda pada hasil kedua, karena dan identik untuk tujuan minimalisasi.1 T T A I C A I C / TAIC=2k+Tln(σ2)+1 1 T T AIC AIC/T
sumber