Bagaimana cara membandingkan metode peramalan?

Saya memiliki beberapa data intermiten. Berdasarkan data tersebut, saya ingin membandingkan beberapa metode peramalan (Penghalusan Eksponensial, Moving Average, Croston, dan Syntetos-Boylan), dan memutuskan apakah Croston atau Syntetos Boylan lebih baik daripada SES atau MA untuk data berselang atau tidak. Ukuran yang ingin saya bandingkan adalah Mean Absolute Rate atau Mean Squared Rate yang diusulkan oleh Kourentzes (2014) alih-alih ukuran MAPE, MSE biasa, pada setiap tingkat parameter \ alpha $ smoothing, dengan asumsi bahwa parameter smoothing digunakan untuk Inter demand Interval dan ukuran permintaan di Croston dan Syntetos boylan adalah sama.

Pertanyaan saya adalah: 1. Menimbang bahwa untuk setiap data, ada kemungkinan bahwa nilai alpha optimal berbeda untuk setiap metode penghalusan, oleh karena itu nilai alpha dalam suatu metode dapat meminimalkan MAR atau MSR dan mungkin tidak dalam metode lain , sedemikian sehingga satu metode mungkin lebih baik daripada metode lain untuk nilai alfa dan mungkin tidak dalam metode lain. Bagaimana seseorang mengatasi masalah seperti ini? solusi saya saat ini adalah membandingkan dua grafik MAR untuk setiap level alpha antara dua metode yang berbeda. harapan saya adalah bahwa dua metode yang berbeda akan menunjukkan karakteristik yang berbeda ketika analisis profil dilakukan.

2. Apakah ada solusi yang lebih baik, seperti desain eksperimental? Saya agak bingung bagaimana merancang percobaan. pengamatan adalah beberapa data tersebut, levelnya adalah smoothing parameter alpha, perawatan adalah metode tersebut. dan nilainya adalah MAR. apakah itu layak? dan logis untuk dilakukan? Hipotesisnya adalah apakah ada perbedaan dalam setiap perlakuan pada setiap tingkat alfa atau tidak. dan saya ragu asumsi linearitas terpenuhi di sini.

Sunting: Bagaimanapun, saya tidak berpikir ini layak sebagai pertanyaan penelitian. Fakta bahwa ukuran kesalahan tergantung pada skala (jika definisi saya tentang skala tergantung pada benar) membuat studi masalah ini cukup bermasalah, karena tidak ada cara untuk membandingkan berbagai metode peramalan.

Model: $y_{t+1}=f(y_{0},\ldots,y_{t}, \overrightarrow{a})+\epsilon_{t}$

$\overrightarrow{a}$ adalah vektor parameter model

Apa yang Anda usulkan pada dasarnya adalah:

1. Untuk setiap model $f(y_{0},\ldots,y_{t}, \overrightarrow{a})$ gunakan semacam Least Squares / NLS agar sesuai dengan model (temukan $\overrightarrow{a}$)
2. Pilih sebuah $\alpha$ nilai
3. Gunakan beberapa fungsi $g(f(y_{0},\ldots,y_{t}, \overrightarrow{a}),\alpha)$ untuk mengevaluasi model.
4. Jika model optimal sangat tergantung pada $\alpha$lalu ????

Bisakah Anda melakukan pengambilan sampel endogen? Jika demikian, bagaimana dengan langsung memperkirakan fungsi optimal (perbaiki maksimisasi)$g(f(y_{0},\ldots,y_{t}, \overrightarrow{a}),\alpha)$ langsung untuk beberapa nilai $\alpha$. Anda bisa mengambil model dan menjalankannya secara paralel, membuat keluarga prediksi. Anda kemudian dapat meningkatkan kemungkinan pengambilan sampel ketika model tidak setuju terutama dalam prediksi mereka. Ini akan meningkatkan keinformatifan sampel terbatas dalam membedakan antara model.