Mengapa menggunakan ukuran kesalahan ramalan tertentu (mis. MAD) dan bukan yang lain (mis. MSE)?

15

MAD = Mean Deviasi Absolut MSE = Mean Squared Error

Saya telah melihat saran dari berbagai tempat bahwa MSE digunakan walaupun ada beberapa kualitas yang tidak diinginkan (mis. Http://www.stat.nus.edu.sg/~staxyc/T12.pdf , yang menyatakan pada hal. 8 "Biasanya dipercaya bahwa MAD adalah kriteria yang lebih baik daripada MSE. Namun, secara matematis MSE lebih nyaman daripada MAD. ")

Apakah ada yang lebih dari itu? Apakah ada makalah yang secara menyeluruh menganalisis situasi di mana berbagai metode pengukuran kesalahan ramalan lebih / kurang tepat? Pencarian google saya belum mengungkapkan apa pun.

Pertanyaan serupa dengan ini ditanyakan di /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde , dan pengguna diminta untuk memposting di stats.stackexchange.com, tapi saya rasa mereka tidak pernah melakukannya.

user1205901 - Pasang kembali Monica
sumber
2
MAD biasanya Penyimpangan Absolut Median daripada Mean, bukan?
Brian D
@BrianD: di komunitas statistik yang lebih luas, Anda benar. Di komunitas peramalan yang lebih sempit , "MAD" selalu merupakan "penyimpangan absolut rata-rata", AKA MAE .
Stephan Kolassa

Jawaban:

23

Untuk memutuskan ukuran perkiraan kesalahan titik mana yang akan digunakan, kita perlu mengambil langkah mundur. Perhatikan bahwa kita tidak tahu hasil di masa depan dengan sempurna, juga tidak akan pernah. Jadi hasil masa depan mengikuti distribusi probabilitas . Beberapa metode peramalan secara eksplisit menghasilkan distribusi penuh, dan beberapa tidak - tetapi selalu ada, jika hanya secara implisit.

Sekarang, kami ingin memiliki ukuran kesalahan yang baik untuk perkiraan titik . Seperti titik meramalkan Ft adalah upaya kami untuk meringkas apa yang kita ketahui tentang distribusi masa depan (yaitu, distribusi prediksi) pada waktu t menggunakan satu nomor, yang disebut fungsional dari kepadatan masa depan. Ukuran kesalahan kemudian adalah cara untuk menilai kualitas ringkasan angka tunggal ini.

Jadi, Anda harus memilih ukuran kesalahan yang memberi hadiah "baik" ringkasan nomor satu (tidak diketahui, mungkin diperkirakan, tetapi mungkin hanya tersirat) kepadatan masa depan.

Tantangannya adalah bahwa ukuran kesalahan yang berbeda diminimalkan oleh fungsi yang berbeda. MSE yang diharapkan diminimalkan oleh nilai yang diharapkan dari distribusi di masa depan. MAD yang diharapkan diminimalkan dengan median distribusi masa depan. Jadi, jika Anda mengkalibrasi prakiraan Anda untuk meminimalkan MAE, prakiraan titik Anda akan menjadi median masa depan, bukan nilai yang diharapkan di masa depan, dan prakiraan Anda akan menjadi bias jika distribusi masa depan Anda tidak simetris.

Ini paling relevan untuk data jumlah, yang biasanya miring. Dalam kasus ekstrem (misalnya, Poisson mendistribusikan penjualan dengan rata-rata di bawah log20.69 ), MAE Anda akan menjadi terendah untuk perkiraan nol datar. Lihat di sini atau di sini atau di sini untuk detailnya.

Saya memberikan beberapa informasi dan ilustrasi dalam Apa saja kekurangan Kesalahan Persentase Absolut Rata-Rata (MAPE)? Utas itu mempertimbangkan , tetapi juga tindakan kesalahan lainnya, dan berisi tautan ke utas terkait lainnya.


Pada akhirnya, ukuran kesalahan yang digunakan benar-benar tergantung pada Biaya Kesalahan Prakiraan, yaitu jenis kesalahan apa yang paling menyakitkan. Tanpa melihat implikasi aktual kesalahan ramalan, setiap diskusi tentang "kriteria yang lebih baik" pada dasarnya tidak ada artinya.

Ukuran akurasi ramalan adalah topik besar di komunitas ramalan beberapa tahun yang lalu, dan mereka masih muncul sekarang dan kemudian. Satu artikel yang sangat bagus untuk dilihat adalah Hyndman & Koehler "Pandangan lain tentang ukuran akurasi prakiraan" (2006).

Akhirnya, salah satu alternatif adalah menghitung kepadatan prediksi penuh dan menilai ini menggunakan tepat .

Stephan Kolassa
sumber
Terima kasih atas tanggapannya, dan tautannya. Saya tidak terbiasa dengan istilah "Biaya Kesalahan Prakiraan". Sepertinya itu terkait dengan situasi di mana (misalnya) bisnis memperkirakan berapa banyak widget yang akan dijual, dan mungkin rasa sakit yang mereka derita karena menaksir terlalu tinggi dua kali lipat dari rasa sakit yang mereka derita karena meremehkan. Namun, saya sebagian besar berpikir tentang konteks di mana orang awam membuat perkiraan tentang tanpa biaya kesalahan perkiraan yang jelas (misalnya "Berapa banyak tweet yang akan dibuat oleh Bill Gates dalam 5 bulan ke depan?"). Dalam situasi seperti itu, apakah pilihan kesalahan saya akan sewenang-wenang?
user1205901
3
Kesalahan Biaya Prakiraan telah dibahas dalam jurnal Foresight yang berorientasi pada praktisi : forecasters.org/foresight Sangat direkomendasikan! (Pengungkapan penuh: Saya adalah associate editor.) Saya setuju bahwa CoFE tidak mudah terlihat dalam contoh Anda, tetapi kemudian saya akan bertanya-tanya berapa banyak upaya yang harus Anda lakukan dalam mengoptimalkan ukuran kesalahan Anda ...
Stephan Kolassa
4

Keuntungan menggunakan MAE daripada MSE dijelaskan dalam Davydenko dan Fildes (2016) , lihat Bagian 3.1:

... Beberapa penulis (misalnya, Zellner, 1986) berpendapat bahwa kriteria yang dengannya kami mengevaluasi prakiraan harus sesuai dengan kriteria yang digunakan untuk mengoptimalkan prakiraan. Dengan kata lain, jika kita mengoptimalkan perkiraan menggunakan beberapa fungsi kerugian yang diberikan, kita harus menggunakan fungsi kerugian yang sama untuk evaluasi empiris untuk mengetahui model mana yang lebih baik.

Menyesuaikan model statistik biasanya memberikan perkiraan yang optimal di bawah kerugian kuadratik. Ini, misalnya, terjadi ketika kita cocok dengan regresi linier. Jika ramalan kepadatan kami dari pemodelan statistik simetris, maka ramalan optimal di bawah kerugian kuadratik juga optimal di bawah kerugian linear. Tetapi, jika kita menstabilkan varians dengan log-transformasi dan kemudian mengubah perkiraan kembali dengan eksponensial, kita mendapatkan perkiraan yang optimal hanya di bawah kehilangan linear. Jika kita menggunakan kerugian lain, pertama-tama kita harus mendapatkan perkiraan kepadatan menggunakan model statistik, dan kemudian menyesuaikan perkiraan kita dengan fungsi kerugian spesifik kita (lihat contoh melakukan hal ini di Goodwin, 2000).

Mari kita asumsikan kita ingin membandingkan dua metode secara empiris dan mencari tahu metode mana yang lebih baik dalam hal kehilangan linear simetris (karena jenis kerugian ini biasanya digunakan dalam pemodelan). Jika kita hanya memiliki satu deret waktu, tampaknya wajar untuk menggunakan mean absolute error (MAE). Juga, MAE menarik karena mudah dimengerti dan dihitung (Hyndman, 2006) ...

Referensi

Davydenko, A., & Fildes, R. (2016). Tindakan Kesalahan Prakiraan: Tinjauan Kritis dan Rekomendasi Praktis. Dalam Peramalan Bisnis: Masalah dan Solusi Praktis. John Wiley & Sons

Turbofly
sumber
Bisakah Anda memberikan kutipan penuh ke koran, bukan hanya "Davydenko dan Fildes, 2016"?
Silverfish
Kami ingin jawaban kami berdiri sendiri, sehingga tidak terpengaruh oleh tautan yang mati. Apakah Anda pikir Anda dapat memperluas jawaban Anda sedikit, untuk meringkas apa yang Anda pikir adalah poin utama dari isinya yang relevan dengan pertanyaan ini? Kalau tidak, ini benar-benar lebih cocok untuk komentar daripada jawaban. (Saya menghargai Anda belum memiliki reputasi yang cukup untuk mengirim komentar, tetapi kami dapat mengubahnya menjadi satu untuk Anda.)
Silverfish
1
Terima kasih untuk balasan Anda! Inilah yang dikatakan (Davydenko dan Fildes, 2016): Memasukkan model statistik biasanya memberikan perkiraan yang optimal di bawah kerugian kuadratik. Ini, misalnya, terjadi ketika kita cocok dengan regresi linier. Jika ramalan kepadatan kami dari pemodelan statistik simetris, maka ramalan optimal di bawah kerugian kuadratik juga optimal di bawah kerugian linear. Tetapi, jika kita menstabilkan varians dengan log-transformasi dan kemudian mengubah perkiraan kembali dengan eksponensial, kita mendapatkan perkiraan yang optimal hanya di bawah kehilangan linear.
Turbofly
1
Terima kasih! Anda dapat mengedit informasi ini menjadi jawaban Anda (tombol "edit" ada di bagian bawah posting Anda).
Silverfish
Terima kasih banyak. Saya telah melakukan beberapa format dan memberikan kutipan penuh.
Silverfish
3

RMSE=MSEMAE=MAD

Sebenarnya,

MAERMSEnMAE

  • e
    RMSE=1nei2=1nne2=e=MAE
  • upper bound: a single case having error e while all other cases have 0 error:
    MAE=en
    RMSE=1nei2=1ne2=1n(nMAE)2=nMAE

(MAERMSEMAE for classification with partial class memberships yi and/or y^i are [0,1] -- i.e. they can actually take values in between 0 and 1).

  • upper bound: here, ei is 1, so
    MAE=nwrongn
    RMSE=1nei2=1nnwrong=MAE
    (This upper bound occurs for integer nwrong, if you go for partial/fractional class membership and thus also for ei[0,1], things get a bit more complicated because you need to take into account that the maximum possible error can be less than 1, and you may have a "leftover" ei<1 which both lower the upper bound a bit further.)

If the RMSE is close the MAE, you have many small deviations, if it is close to its upper bound, there are few grossly wrong predictions.

cbeleites supports Monica
sumber
do you mean sqrt(n)*MAE or sqrt(n*MAE) as an upper bound?
Chris
1
@Chris: it is sqrt (n) * MAE, see my edit.
cbeleites supports Monica