Mean absolute scaled error (MASE) adalah ukuran akurasi perkiraan yang diajukan oleh Koehler & Hyndman (2006) .
di mana adalah kesalahan absolut rata-rata yang dihasilkan oleh perkiraan aktual;
sementara adalah kesalahan absolut rata-rata yang dihasilkan oleh ramalan naif (mis. ramalan tanpa perubahan untuk rangkaian waktu terintegrasi ), dihitung pada data dalam sampel.M A E i n - s a m p l e ,
I(1)
(Lihat kertas Koehler & Hyndman (2006) untuk definisi dan formula yang tepat.)
menyiratkan bahwa perkiraan aktual lebih buruk dari sampel daripada perkiraan naif dalam sampel, dalam hal kesalahan absolut rata-rata. Jadi, jika kesalahan absolut rata-rata adalah ukuran yang relevan dari akurasi perkiraan (yang tergantung pada masalah yang dihadapi), menunjukkan bahwa perkiraan aktual harus dibuang demi perkiraan yang naif jika kita mengharapkan data out-of-sample untuk cukup seperti data dalam sampel (karena kita hanya tahu seberapa baik perkiraan naif dilakukan dalam sampel, bukan di luar sampel).
Pertanyaan:
digunakan sebagai tolok ukur dalam kompetisi peramalan yang diajukan dalam posting blog Hyndsight ini . Bukankah tolok ukur yang jelas adalah ?
Tentu saja, pertanyaan ini tidak spesifik untuk kompetisi peramalan tertentu. Saya ingin bantuan untuk memahami hal ini dalam konteks yang lebih umum.
Tebakanku:
Satu-satunya penjelasan yang masuk akal yang saya lihat adalah bahwa perkiraan naif diharapkan untuk melakukan sampel yang jauh lebih buruk daripada dalam sampel, misalnya karena perubahan struktural. Maka mungkin terlalu sulit untuk dicapai.
Referensi:
- Hyndman, Rob J., dan Anne B. Koehler. " Lain melihat ukuran akurasi ramalan. " Jurnal Internasional peramalan 22,4 (2006): 679-688.
- Posting blog Hyndsight .
sumber
Jawaban:
Dalam posting blog tertaut , Rob Hyndman meminta entri untuk kompetisi peramalan pariwisata. Pada dasarnya, posting blog berfungsi untuk menarik perhatian pada artikel IJF yang relevan , versi ungated yang terhubung ke dalam posting blog.
Benchmark yang Anda lihat - 1,38 untuk bulanan, 1,43 untuk kuartalan dan 2,28 untuk data tahunan - tampaknya sampai pada sebagai berikut. Para penulis (semuanya adalah peramal ahli dan sangat aktif dalam IIF - tidak ada penjual minyak ular di sini) cukup mampu menerapkan algoritme peramalan standar atau perangkat lunak peramalan, dan mereka mungkin tidak tertarik dengan pengajuan ARIMA sederhana. Jadi mereka pergi dan menerapkan beberapa metode standar pada data mereka. Agar pengajuan yang menang diundang untuk makalah di IJF , mereka meminta agar hal itu meningkatkan yang terbaik dari metode standar ini, sebagaimana diukur oleh MASE.
Jadi pertanyaan Anda pada dasarnya bermuara pada:
Di sini, 1,38 MASE berasal dari Tabel 4 dalam versi ungated. Ini adalah ASE rata-rata lebih dari 1-24 bulan ke depan perkiraan dari ARIMA. Metode standar lainnya, seperti ForecastPro, ETS dll. Berperforma lebih buruk.
Jadi saya akan mengatakan bahwa Anda mungkin tidak bisa mengatakan banyak tentang ini, hanya dengan melihat data sendiri. Mereka tersedia di Kaggle. Taruhan terbaik Anda kemungkinan akan mengambil seri 518 ini, bertahan 24 bulan terakhir, muat seri ARIMA, menghitung MASE, menggali sepuluh atau dua puluh seri perkiraan terburuk MASE, dapatkan sepoci besar kopi, lihat seri ini dan coba untuk mencari tahu apa yang membuat model ARIMA sangat buruk dalam meramalkannya.
EDIT: titik lain yang tampak jelas setelah fakta tetapi saya butuh lima hari untuk melihat - ingat bahwa penyebut MASE adalah satu langkah di depan ramalan berjalan acak dalam sampel, sedangkan pembilangnya adalah rata-rata 1-24- perkiraan langkah maju . Tidak terlalu mengejutkan bahwa ramalan memburuk dengan meningkatnya cakrawala, jadi ini mungkin alasan lain untuk MASE 1,38. Perhatikan bahwa ramalan Musiman Naif juga termasuk dalam tolok ukur dan memiliki MASE yang bahkan lebih tinggi.
sumber
Bukan jawaban, tapi plot mengikuti panggilan Stephan Kolassa untuk "melihat seri ini".
Kaggle tourism1 memiliki seri waktu 518 tahunan, yang ingin kami perkirakan 4 nilai terakhir:
Jelas, seri yang sangat pendek - 12 11 7 7 7 ... di baris atas - sulit diprediksi: tidak mengejutkan.
(Athanasopoulos, Hyndman, Song and Wu, Kompetisi Peramalan Pariwisata (2011, 23p) menggunakan 112 dari seri 518 tahunan, tetapi saya tidak melihat yang mana.)
Apakah ada koleksi seri waktu yang lebih baru sejak 2010, yang mungkin layak untuk dilihat?
sumber