MAD = Mean Deviasi Absolut MSE = Mean Squared Error
Saya telah melihat saran dari berbagai tempat bahwa MSE digunakan walaupun ada beberapa kualitas yang tidak diinginkan (mis. Http://www.stat.nus.edu.sg/~staxyc/T12.pdf , yang menyatakan pada hal. 8 "Biasanya dipercaya bahwa MAD adalah kriteria yang lebih baik daripada MSE. Namun, secara matematis MSE lebih nyaman daripada MAD. ")
Apakah ada yang lebih dari itu? Apakah ada makalah yang secara menyeluruh menganalisis situasi di mana berbagai metode pengukuran kesalahan ramalan lebih / kurang tepat? Pencarian google saya belum mengungkapkan apa pun.
Pertanyaan serupa dengan ini ditanyakan di /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde , dan pengguna diminta untuk memposting di stats.stackexchange.com, tapi saya rasa mereka tidak pernah melakukannya.
sumber
Jawaban:
Untuk memutuskan ukuran perkiraan kesalahan titik mana yang akan digunakan, kita perlu mengambil langkah mundur. Perhatikan bahwa kita tidak tahu hasil di masa depan dengan sempurna, juga tidak akan pernah. Jadi hasil masa depan mengikuti distribusi probabilitas . Beberapa metode peramalan secara eksplisit menghasilkan distribusi penuh, dan beberapa tidak - tetapi selalu ada, jika hanya secara implisit.
Sekarang, kami ingin memiliki ukuran kesalahan yang baik untuk perkiraan titik . Seperti titik meramalkanFt adalah upaya kami untuk meringkas apa yang kita ketahui tentang distribusi masa depan (yaitu, distribusi prediksi) pada waktu t menggunakan satu nomor, yang disebut fungsional dari kepadatan masa depan. Ukuran kesalahan kemudian adalah cara untuk menilai kualitas ringkasan angka tunggal ini.
Jadi, Anda harus memilih ukuran kesalahan yang memberi hadiah "baik" ringkasan nomor satu (tidak diketahui, mungkin diperkirakan, tetapi mungkin hanya tersirat) kepadatan masa depan.
Tantangannya adalah bahwa ukuran kesalahan yang berbeda diminimalkan oleh fungsi yang berbeda. MSE yang diharapkan diminimalkan oleh nilai yang diharapkan dari distribusi di masa depan. MAD yang diharapkan diminimalkan dengan median distribusi masa depan. Jadi, jika Anda mengkalibrasi prakiraan Anda untuk meminimalkan MAE, prakiraan titik Anda akan menjadi median masa depan, bukan nilai yang diharapkan di masa depan, dan prakiraan Anda akan menjadi bias jika distribusi masa depan Anda tidak simetris.
Ini paling relevan untuk data jumlah, yang biasanya miring. Dalam kasus ekstrem (misalnya, Poisson mendistribusikan penjualan dengan rata-rata di bawahlog2≈0.69 ), MAE Anda akan menjadi terendah untuk perkiraan nol datar. Lihat di sini atau di sini atau di sini untuk detailnya.
Saya memberikan beberapa informasi dan ilustrasi dalam Apa saja kekurangan Kesalahan Persentase Absolut Rata-Rata (MAPE)? Utas itu mempertimbangkan mape , tetapi juga tindakan kesalahan lainnya, dan berisi tautan ke utas terkait lainnya.
Pada akhirnya, ukuran kesalahan yang digunakan benar-benar tergantung pada Biaya Kesalahan Prakiraan, yaitu jenis kesalahan apa yang paling menyakitkan. Tanpa melihat implikasi aktual kesalahan ramalan, setiap diskusi tentang "kriteria yang lebih baik" pada dasarnya tidak ada artinya.
Ukuran akurasi ramalan adalah topik besar di komunitas ramalan beberapa tahun yang lalu, dan mereka masih muncul sekarang dan kemudian. Satu artikel yang sangat bagus untuk dilihat adalah Hyndman & Koehler "Pandangan lain tentang ukuran akurasi prakiraan" (2006).
Akhirnya, salah satu alternatif adalah menghitung kepadatan prediksi penuh dan menilai ini menggunakan aturan penilaian yang tepat .
sumber
Keuntungan menggunakan MAE daripada MSE dijelaskan dalam Davydenko dan Fildes (2016) , lihat Bagian 3.1:
Referensi
Davydenko, A., & Fildes, R. (2016). Tindakan Kesalahan Prakiraan: Tinjauan Kritis dan Rekomendasi Praktis. Dalam Peramalan Bisnis: Masalah dan Solusi Praktis. John Wiley & Sons
sumber
Sebenarnya,
(MAE≤RMSE≤MAE−−−−−√ for classification with partial class memberships yi and/or y^i are ∈[0,1] -- i.e. they can actually take values in between 0 and 1).
(This upper bound occurs for integer
If the RMSE is close the MAE, you have many small deviations, if it is close to its upper bound, there are few grossly wrong predictions.
sumber