Bagaimana menginterpretasikan root mean squared error (RMSE) vs standar deviasi?

21

Katakanlah saya memiliki model yang memberi saya nilai-nilai yang diproyeksikan. Saya menghitung RMSE dari nilai-nilai itu. Dan kemudian standar deviasi dari nilai aktual.

Apakah masuk akal untuk membandingkan kedua nilai (varians)? Apa yang saya pikirkan adalah, jika RMSE dan standar deviasi sama / sama maka kesalahan / varians model saya sama dengan apa yang sebenarnya terjadi. Tetapi jika bahkan tidak masuk akal untuk membandingkan nilai-nilai itu maka kesimpulan ini bisa salah. Jika pemikiran saya benar, maka apakah itu berarti modelnya sebagus mungkin karena tidak dapat mengaitkan apa yang menyebabkan varians? Saya pikir bagian terakhir mungkin salah atau paling tidak membutuhkan lebih banyak informasi untuk menjawab.

standard-deviation standard-error rms jkim19
sumber

22

Mari kita mengatakan bahwa respon kami dan nilai-nilai kita prediksi adalah . $y_1, \dots, y_n$ $\hat y_1, \dots, \hat y_n$

Varians sampel (menggunakan daripada untuk kesederhanaan) adalah $n$ $n-1$ sedangkan MSE adalah $\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2$ . Dengan demikian varians sampel memberikan seberapa banyak tanggapan bervariasi di sekitar rata-rata sementara MSE memberikan seberapa banyak tanggapan bervariasi di sekitar prediksi kami. Jika kita menganggap rata-rata keseluruhan sebagai prediktor paling sederhana yang pernah kita pertimbangkan, maka dengan membandingkan MSE dengan varians sampel dari respon, kita dapat melihat berapa banyak variasi yang telah kami jelaskan dengan model kami. Inilah yang dilakukan nilaidalam regresi linier. $\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2$ $\bar y$ $R^2$

Perhatikan gambar berikut: The varians sampel dari adalah variabilitas sekitar garis horizontal. Jika kita memproyeksikan semua data ke sumbu kita bisa melihat ini. MSE adalah mean jarak kuadrat untuk garis regresi, yaitu variabilitas sekitar garis regresi (yaitu ). Jadi variabilitas yang diukur oleh varians sampel adalah jarak kuadrat rata-rata ke garis horizontal, yang dapat kita lihat secara substansial lebih dari jarak kuadrat rata-rata ke garis regresi. $y_i$ $Y$ $\hat y_i$

jld
sumber

5

\frac{\sum_{saya} (y_{saya} - {\hat{y}}_{saya})^{2}}{n - hal},

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n-p},$

\frac{\sum_{saya} (y_{saya} - \bar{y})^{2}}{n - 1},

$\frac{\sum_i(y_i - \bar{y}) ^2}{n-1},$

\bar{y}

$\bar{y}$

y_{i}

$y_i$

$\hat{y}_i = \bar{y}$ $\bar{y}$

$\hat{y}_i$

\frac{\sum_{saya} (y_{saya} - {\hat{y}}_{saya})^{2}}{n},

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n},$

yang paling mudah untuk dihitung.

Xiao-Feng Li
sumber

Saya tidak memiliki hak istimewa untuk mengomentari jawaban @Chaconne, tetapi saya ragu apakah pernyataan terakhirnya memiliki kesalahan ketik, di mana ia mengatakan: "Jadi variabilitas yang diukur dengan varians sampel adalah jarak kuadrat rata-rata ke garis horizontal, yang kita dapat lihat secara substansial kurang dari jarak kuadrat rata - rata ke garis ". Tetapi dalam gambar dalam jawabannya, prediksi nilai y dengan garis cukup akurat, yang berarti MSE kecil, setidaknya jauh lebih baik daripada "prediksi" dengan nilai rata-rata.

Xiao-Feng Li

3

$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2}$

$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2}$

Argumen ini berlaku untuk ukuran kesalahan lainnya, tidak hanya untuk RMSE, tetapi RMSE sangat menarik untuk perbandingan langsung ke SD karena rumus matematika mereka analog.

Tripartio
sumber

Ini adalah jawaban terbaik karena menjelaskan bagaimana perbandingan itu mungkin berguna daripada hanya menggambarkan perbedaan.

Hans

Bagaimana menginterpretasikan root mean squared error (RMSE) vs standar deviasi?

Jawaban: