Regresi: Apa utilitas R kuadrat dibandingkan dengan RMSE?

Misalkan saya sedang melakukan regresi dengan pelatihan, validasi, dan set tes. Saya dapat menemukan RMSE dan R kuadrat (R ^ 2, koefisien determinasi) dari output perangkat lunak saya (seperti fungsi R's lm ()).

Pemahaman saya adalah bahwa tes RMSE (atau MSE) adalah ukuran kebaikan memprediksi nilai validasi / tes, sementara R ^ 2 adalah ukuran goodness of fit dalam menangkap varian dalam set pelatihan.

Di dunia nyata, yang benar-benar saya pedulikan adalah akurasi prediksi umum pada data yang belum saya lihat. Jadi, apa kegunaan nilai R ^ 2 dibandingkan dengan RMSE?

tidak disesuaikan didefinisikan sebagai $R^2$

Mari kita ambil RMSE menjadi

Untuk set data yang diberikan, dan telah diperbaiki, sehingga model yang berbeda hanya dianggap sebagai perubahan . Ini berarti bahwa dalam ekspresi di atas, hanya perubahan MSE. Jadi dan keduanya adalah fungsi dari hal yang sama, dan oleh karena itu tidak ada banyak perbedaan (kecuali untuk interpretasi) dengan mempertimbangkan satu versus yang lain.$y_i$$\bar y$$\hat y_i$$R^2$$RMSE$

Jika kita sebaliknya melihat disesuaikan atau menggunakan maka kita juga akan memiliki , dimensi model, berubah untuk model yang berbeda.$R^2$$RMSE = \sqrt{\frac{n}{n-p}MSE}$$p$

Chaconne melakukan pekerjaan yang sangat baik tentang mendefinisikan rumus tindakan dan bagaimana mereka sangat terkait dari sudut pandang matematika. Jika Anda melakukan benchmark atau memberi peringkat pada model yang menggunakan set data yang sama, kedua ukuran tersebut dapat dipertukarkan, artinya Anda akan mendapatkan peringkat yang sama persis dengan model Anda apakah Anda menggunakan R Square (memberi peringkat tinggi ke rendah) atau RMSE (memberi peringkat rendah ke tinggi) .

Namun, kedua ukuran tersebut memiliki arti dan penggunaan yang sangat berbeda. R Square tidak hanya ukuran Goodness-of-fit, itu juga merupakan ukuran seberapa banyak model (himpunan variabel independen yang Anda pilih) menjelaskan perilaku (atau varians) dari variabel dependen Anda. Jadi, jika model Anda memiliki R Square 0,60, itu menjelaskan 60% perilaku variabel dependen Anda. Sekarang, jika Anda menggunakan Adjusted R Square yang pada dasarnya menghukum R Square untuk jumlah variabel yang Anda gunakan, Anda mendapatkan ide yang cukup bagus ketika Anda harus berhenti menambahkan variabel ke model Anda (dan akhirnya hanya mendapatkan model yang sesuai). Jika Adjusted R Square Anda adalah 0,60. Dan, ketika Anda menambahkan variabel tambahan itu hanya meningkat menjadi 0,61. Mungkin tidak layak menambahkan variabel tambahan ini.

Sekarang, beralih ke RMSE juga paling sering disebut sebagai Kesalahan Standar. Ini memiliki penggunaan yang sama sekali berbeda dari R Square. Kesalahan Standar memungkinkan Anda membuat Interval Kepercayaan di sekitar perkiraan regresi Anda dengan asumsi Tingkat Keyakinan apa pun yang Anda minati (biasanya 99%, 95%, atau 90%). Memang, Kesalahan Standar adalah setara dengan nilai Z. Jadi, jika Anda ingin membangun CI 95% di sekitar garis tren regresi Anda, Anda mengalikan Kesalahan Standar dengan 1,96 dan dengan cepat menghasilkan estimasi tinggi dan rendah sebagai batas CI 95% Anda di sekitar garis regresi.

Jadi, R Square (dan Adjusted R Square) dan Standard Error sangat berguna dalam menilai ketahanan statistik suatu model. Dan, sebagaimana ditunjukkan mereka memiliki aplikasi praktis yang sama sekali berbeda. Seseorang mengukur kekuatan penjelas dari model. Yang lain memungkinkan Anda untuk membangun Interval Keyakinan. Keduanya, sangat berguna tetapi berbeda.

Mengenai menilai akurasi prediksi pada data yang belum Anda lihat, kedua ukuran memiliki keterbatasannya serta sebagian besar ukuran lain yang dapat Anda pikirkan. Pada data baru yang out-of-sample, R Square dan Standard Error pada sejarah atau sampel pembelajaran model tidak akan banyak berguna. Barang-barang out-of-sample hanyalah sebuah tes yang bagus untuk memeriksa apakah model Anda overfit (R Square bagus dan Standard Error rendah, tetapi kinerja buruk di luar sampel) atau tidak. Saya memahami langkah-langkah yang lebih baik untuk data prospektif (data yang belum Anda lihat) adalah kriteria informasi termasuk AIC, BIC, SIC. Dan, model dengan nilai kriteria informasi terbaik harus menangani data yang tidak terlihat dengan lebih baik, dengan kata lain menjadi lebih prediktif. Langkah-langkah itu adalah sepupu dekat dari konsep Adjusted R Square. Namun,