Berarti kesalahan absolut ATAU root berarti kesalahan kuadrat?

Mengapa menggunakan Root Mean Squared Error (RMSE) alih-alih Mean Absolute Error (MAE) ??

Hai

Saya telah menyelidiki kesalahan yang dihasilkan dalam perhitungan - Saya awalnya menghitung kesalahan sebagai Root Mean Normalized Squared Error.

Melihat sedikit lebih dekat, saya melihat efek kuadrat kesalahan memberikan bobot lebih besar untuk kesalahan yang lebih besar daripada yang lebih kecil, condong perkiraan kesalahan terhadap outlier aneh. Ini cukup jelas dalam retrospeksi.

Jadi pertanyaan saya - dalam hal apa Root Mean Squared Error menjadi ukuran kesalahan yang lebih tepat daripada Mean Absolute Error? Yang terakhir sepertinya lebih cocok untuk saya atau saya melewatkan sesuatu?

Untuk menggambarkan hal ini, saya telah melampirkan contoh di bawah ini:

Plot sebar menunjukkan dua variabel dengan korelasi yang baik,
dua histogram ke grafik kanan kesalahan antara Y (diamati) dan Y (diprediksi) menggunakan RMSE yang dinormalisasi (atas) dan MAE (bawah).

masukkan deskripsi gambar di sini

Tidak ada pencilan yang signifikan dalam data ini dan MAE memberikan kesalahan yang lebih rendah daripada RMSE. Adakah yang rasional, selain MAE yang lebih disukai, untuk menggunakan satu ukuran kesalahan di atas yang lain?

least-squares mean rms mae pengguna1665220
sumber

Karena RMSE dan MAE adalah dua ukuran kesalahan yang berbeda, perbandingan numerik di antara mereka (yang terlibat dalam menyatakan bahwa MAE "lebih rendah" dari RMSE) tampaknya tidak bermakna. Baris yang pasti cocok menurut beberapa kriteria: bahwa kriteria, apa pun itu, harus menjadi ukuran yang relevan dari kesalahan.

whuber

garis dipasang menggunakan kuadrat terkecil - tetapi gambar hanyalah contoh untuk menunjukkan perbedaan dalam kesalahan yang diukur. Masalah sebenarnya saya adalah dalam menggunakan pengoptimal untuk menyelesaikan empat parameter fungsi untuk beberapa ukuran kesalahan yang diperkecil, MAE atau RMSE.

user1665220

Terimakasih atas klarifikasinya. Tapi kesalahan apa yang Anda minati, tepatnya? Kesalahan dalam kecocokan atau kesalahan dalam estimasi parameter ?

Whuber

Kesalahan dalam pemasangan. Saya memiliki beberapa sampel lab yang memberikan y, yang ingin saya prediksi menggunakan suatu fungsi. Saya mengoptimalkan fungsi untuk 4 eksponen dengan meminimalkan kesalahan untuk kesesuaian antara data yang diamati dan yang diprediksi.

user1665220

Dalam RMSE kami mempertimbangkan akar jumlah item (n). Itu adalah root dari MSE dibagi dengan root dari n. Root dari MSE tidak apa-apa, tetapi alih-alih membaginya dengan n, itu dibagi dengan root dari n untuk menerima RMSE. Saya merasa itu akan menjadi kebijakan. Realitasnya adalah (Root of MSE) / n. Dengan cara itu MAE lebih baik.

Jawaban:

Ini tergantung pada fungsi kerugian Anda. Dalam banyak keadaan, masuk akal untuk memberi bobot lebih banyak pada poin yang jauh dari rata-rata - yaitu, turun 10 kali lebih buruk dua kali lipat mati 5. Dalam kasus seperti itu RMSE adalah ukuran kesalahan yang lebih tepat.

Jika mati sepuluh kali hanya lima kali lipat mati 5 kali, maka MAE lebih tepat.

Bagaimanapun, tidak masuk akal untuk membandingkan RMSE dan MAE satu sama lain seperti yang Anda lakukan dalam kalimat kedua-ke-terakhir Anda ("MAE memberikan kesalahan yang lebih rendah daripada RMSE"). MAE tidak akan pernah lebih tinggi dari RMSE karena cara mereka dihitung. Mereka hanya masuk akal dibandingkan dengan ukuran kesalahan yang sama: Anda dapat membandingkan RMSE untuk Metode 1 dengan RMSE untuk Metode 2, atau MAE untuk Metode 1 ke MAE untuk Metode 2, tetapi Anda tidak bisa mengatakan MAE lebih baik daripada RMSE untuk Metode 1 karena lebih kecil.

Jonathan Christensen
sumber

Saya mengerti bahwa MAE tidak akan pernah lebih tinggi dari RMSE. Saya telah menggunakan kedua perkiraan kesalahan dan melihat perbedaan antara nilai-nilai untuk memberikan indikasi tentang dampak pencilan. Yaitu ketika mereka sangat dekat, ketika mereka terpisah saya menyelidiki untuk melihat apa yang terjadi. Pada akhirnya saya ingin memprediksi parameter yang paling sesuai dengan data, dan misalnya 9% kesalahan terdengar lebih baik dari 12% - saya hanya ingin memastikan saya memilih yang tepat untuk alasan yang tepat. Terima kasih atas saran Anda

user1665220

Perbedaan utama antara RMSE (konsekuensinya MSE) dan MAE bukan tentang bagaimana mereka melakukan kesalahan berat. Anda dapat menggunakan fungsi berat jika diperlukan. Perbedaan utama adalah bahwa MSE terkait dengan L2 Space (MAE tidak memiliki hal seperti itu). Jadi misalnya, MSE dapat mengukur jumlah energi yang diperlukan untuk kontrol loop tertutup ketika E adalah sinyal umpan balik (Ingat Kuadrat Rata dari sinyal, Kesalahan dalam hal ini, sebanding dengan energinya). Juga begitu banyak matematika dan akibatnya algoritma seperti Marquardt-Levenberg bekerja di ruang ini. sederhananya, mereka menggunakan MSE sebagai fungsi tujuan mereka.

eulerleibniz

Berikut adalah situasi lain ketika Anda ingin menggunakan (R) MSE daripada MAE: ketika distribusi kondisional pengamatan Anda asimetris dan Anda menginginkan kecocokan yang tidak bias. MSE (R) diminimalkan dengan mean bersyarat , MAE dengan median kondisional . Jadi, jika Anda meminimalkan MAE, cocok akan lebih dekat ke median dan bias.

Tentu saja, semua ini sangat tergantung pada fungsi kerugian Anda.

Masalah yang sama terjadi jika Anda menggunakan MAE atau (R) MSE untuk mengevaluasi prediksi atau perkiraan . Misalnya, data penjualan volume rendah biasanya memiliki distribusi asimetris. Jika Anda mengoptimalkan MAE, Anda mungkin terkejut menemukan bahwa perkiraan optimal-MAE adalah perkiraan nol.

Berikut ini adalah sedikit presentasi yang membahas hal ini , dan inilah komentar yang diundang baru-baru ini mengenai kompetisi peramalan M4 di mana saya menjelaskan efek ini .

S. Kolassa - Reinstate Monica
sumber

+1. Gagasan membandingkan distribusi itu bagus, tetapi ... bukankah metrik seperti yang Anda tampilkan gagal dengan menyedihkan dalam hal seperti N = 1e3; set.seed(1); y = rpois(N, lambda=1); yhat = c(y[2:N],0)? "Perbedaan" prediksi kepadatan akan minimal tetapi yang sebenarnya yhattidak akan berguna. Memang, ini adalah kasus yang ekstrem. (Saya mungkin kehilangan sesuatu yang jelas, permintaan maaf untuk itu sebelumnya - saya tidak memiliki akses ke makalah hanya presentasi.)

usεr11852 kata Reinstate Monic

@ usεr11852: ya, urutan perkiraan titik Anda akan sia-sia, dan khususnya, jauh lebih buruk daripada perkiraan datar (yang merupakan mean dan median, jadi itu optimal untuk MAE dan MSE) . Prakiraan kerapatan bukan hanya urutan perkiraan titik! Ini adalah prediksi kepadatan penuh untuk setiap titik waktu di masa depan . Jadi kita akan memprediksi Pois (1) untuk titik waktu pertama, untuk yang kedua, untuk yang ketiga dll.

\hat{y} = 1

$\hat{y}=1$

S. Kolassa - Reinstate Monica

Terima kasih banyak atas klarifikasi; Saya dapat membuat konsep presentasi lebih baik sekarang. (Hmm ... Bagaimanapun juga, saya perlu untuk mendapatkan kertas Anda.)

usεr11852 mengatakan Reinstate Monic

@ usεr11852: jangan ragu untuk menghubungi saya melalui email ( temukan alamatnya di sini ) - jika email Anda tidak berakhir di filter spam saya, saya akan dengan senang hati mengirimi Anda kertas itu.

S. Kolassa - Reinstate Monica

@ usεr11852 Saya benar-benar kehilangan Anda setelah "seperti N =" apa itu?

sak

RMSE adalah cara yang lebih alami untuk menggambarkan kehilangan dalam jarak Euclidean. Karenanya, jika Anda membuat grafiknya dalam 3D, kerugiannya berbentuk kerucut, seperti yang Anda lihat di atas berwarna hijau. Ini juga berlaku untuk dimensi yang lebih tinggi, meskipun lebih sulit untuk memvisualisasikannya.

MAE dapat dianggap sebagai jarak blok kota. Ini tidak benar-benar alami cara untuk mengukur kerugian, seperti yang Anda lihat dalam grafik dengan warna biru.

dan dan
sumber