Saya tertarik pada pemilihan model dalam pengaturan deret waktu. Untuk konkret, anggaplah saya ingin memilih model ARMA dari kumpulan model ARMA dengan pesanan lag yang berbeda. Maksud utamanya adalah perkiraan .
Pemilihan model dapat dilakukan oleh
- validasi silang,
- penggunaan kriteria informasi (AIC, BIC),
antara metode lainnya.
Rob J. Hyndman menyediakan cara untuk melakukan validasi silang untuk deret waktu . Untuk sampel yang relatif kecil, ukuran sampel yang digunakan dalam validasi silang mungkin secara kualitatif berbeda dari ukuran sampel asli. Sebagai contoh, jika ukuran sampel asli adalah 200 pengamatan, maka orang bisa memikirkan memulai validasi silang dengan mengambil 101 pengamatan pertama dan memperluas jendela ke 102, 103, ..., 200 pengamatan untuk mendapatkan 100 hasil validasi silang. Jelas, model yang cukup pelit untuk 200 observasi mungkin terlalu besar untuk 100 pengamatan dan dengan demikian kesalahan validasinya akan besar. Jadi validasi silang cenderung secara sistematis mendukung model yang terlalu pelit. Ini adalah efek yang tidak diinginkan karena ketidakcocokan ukuran sampel .
Alternatif untuk validasi silang adalah menggunakan kriteria informasi untuk pemilihan model. Karena saya peduli tentang perkiraan, saya akan menggunakan AIC. Meskipun AIC secara asimtotik sama dengan meminimalkan perkiraan MSE satu langkah out-of-sample untuk model deret waktu (menurut posting ini oleh Rob J. Hyndman), saya ragu ini relevan di sini karena sampel ukuran yang saya pedulikan tidak sebesar itu ...
Pertanyaan: apakah saya harus memilih AIC dari validasi seri silang waktu untuk sampel kecil / menengah?
Beberapa pertanyaan terkait dapat ditemukan di sini , di sini dan di sini .
sumber
Jawaban:
Mengesampingkan pertimbangan teoretis, Kriteria Informasi Akaike hanyalah kemungkinan dihukum oleh derajat kebebasan. Yang berikut, AIC memperhitungkan ketidakpastian dalam data ( -2LL ) dan membuat asumsi bahwa lebih banyak parameter mengarah pada risiko overfitting ( 2k ) yang lebih tinggi. Validasi silang hanya melihat kinerja set tes dari model, tanpa asumsi lebih lanjut.
Jika Anda sangat peduli tentang membuat prediksi dan Anda dapat mengasumsikan bahwa set tes akan cukup mirip dengan data dunia nyata, Anda harus melakukan validasi silang. Masalah yang mungkin terjadi adalah ketika data Anda kecil, kemudian dengan membaginya, Anda berakhir dengan pelatihan kecil dan set tes. Lebih sedikit data untuk pelatihan buruk, dan lebih sedikit data untuk set tes membuat hasil validasi silang lebih tidak pasti (lihat Varoquaux, 2018 ). Jika sampel uji Anda tidak mencukupi, Anda mungkin dipaksa untuk menggunakan AIC, tetapi ingat apa yang diukur, dan apa yang dapat membuat asumsi itu.
Di sisi lain, sebagaimana telah disebutkan dalam komentar, AIC memberi Anda jaminan tanpa gejala, dan tidak demikian halnya dengan sampel kecil. Sampel kecil mungkin menyesatkan tentang ketidakpastian data juga.
sumber
Hm - jika tujuan akhir Anda adalah untuk memprediksi, mengapa Anda berniat melakukan pemilihan model sama sekali? Sejauh yang saya tahu, itu baik mapan dalam literatur statistik "tradisional" dan literatur pembelajaran mesin yang rata - rata model lebih unggul ketika datang ke prediksi. Sederhananya, model rata-rata berarti bahwa Anda memperkirakan semua model yang masuk akal, biarkan mereka semua memprediksi dan rata-rata prediksi mereka ditimbang oleh bukti model relatif mereka.
Referensi yang berguna untuk memulai adalah https://journals.sagepub.com/doi/10.1177/0049124104268644
Mereka menjelaskan ini dengan cukup sederhana dan merujuk pada literatur yang relevan.
Semoga ini membantu.
sumber
Ide saya adalah, lakukan keduanya dan lihat. Langsung menggunakan AIC. Semakin kecil AIC, semakin baik modelnya. Tetapi seseorang tidak dapat bergantung pada AIC dan mengatakan model seperti itu adalah yang terbaik. Jadi, jika Anda memiliki kumpulan model ARIMA, ambil masing-masing dan periksa perkiraan untuk nilai-nilai yang ada dan lihat model mana yang memprediksi terdekat dengan data deret waktu yang ada. Kedua, periksa AIC juga dan mempertimbangkan keduanya, datang ke pilihan yang baik. Tidak ada aturan yang keras dan cepat. Pilih saja model yang memprediksi yang terbaik.
sumber