Bisakah RMSE dan MAE memiliki nilai yang sama?

Saya menerapkan validasi silang dan penghitungan metrik kesalahan seperti RMSE, , MAE, MSE, dll.$R^2$

Bisakah RMSE dan MAE memiliki nilai yang sama?

Ya, secara teori. Kasus paling sederhana yang dapat saya bayangkan adalah dataset di mana semua kesalahan prediksi (yaitu residual) tepat $\pm$ 1. RMSE dan MAE akan mengembalikan nilai-nilai identik dari 1. Seseorang dapat membangun skenario lain juga, tetapi tidak ada yang tampaknya sangat mungkin.

EDIT: Terima kasih kepada @DilipSarwate untuk menunjukkan (dijabarkan lebih lanjut oleh @ user20160 dalam jawaban mereka yang sangat baik) bahwa hasil ini dimungkinkan jika dan hanya jika nilai absolut dari semua kesalahan prediksi identik. Tidak ada yang istimewa tentang nilai $\pm$ 1 dalam contoh saya, dengan kata lain; nomor lainnya akan berfungsi sebagai ganti 1.

Mean absolute error (MAE) dapat sama dengan mean squared error (MSE) atau root mean squared error (RMSE) dalam kondisi tertentu, yang akan saya tunjukkan di bawah ini. Kondisi ini tidak mungkin terjadi dalam praktik.

Persiapan

Biarkan $r_i = |y_i - \hat{y}_i|$menunjukkan nilai absolut residu untuk titik data ke- $i$ , dan misalkan $r = [r_i, \dots, r_n]^T$ menjadi vektor yang mengandung residu absolut untuk semua $n$ titik dalam dataset. Membiarkan $\vec{1}$ menunjukkan vektor $n \times 1$ , MAE, MSE, dan RMSE dapat ditulis sebagai:

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

Mengatur MSE sama dengan MAE dan mengatur ulang memberikan:

$$(r - \vec{1})^T r = 0 \tag{2}$$

MSE dan MAE adalah sama untuk semua dataset di mana residu absolut menyelesaikan persamaan di atas. Dua solusi yang jelas adalah: $r = \vec{0}$ (tidak ada kesalahan) dan $r = \vec{1}$ (semua residualnya $\pm 1$ , seperti yang disebutkan mkt). Tapi, ada banyak solusi tak terhingga.

$(2)$$r-\vec{1}$$r$

$(2)$

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

$n$$[\frac{1}{2}, \dots, \frac{1}{2}]^T$$\frac{1}{2} \sqrt{n}$

RMSE

Menyetel RMSE sama dengan MAE dan mengatur ulang memberi:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

$I$$A$$r$$A r = \vec{0}$$A$$n \times n$$n-1$$-1$$A r = \vec{0}$

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

Atau, menata ulang hal-hal:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

$r_i$$A$

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

Jadi, RMSE dan MAE sama jika dan hanya jika nilai absolut dari residual sama untuk semua titik data.