Apakah nilai R-squared cocok untuk membandingkan model?

Saya mencoba mengidentifikasi model terbaik untuk memprediksi harga mobil, menggunakan harga dan fitur yang tersedia di situs iklan baris mobil.

Untuk ini saya menggunakan beberapa model dari perpustakaan scikit-belajar dan model jaringan saraf dari pybrain dan neurolab. Pendekatan yang saya gunakan sejauh ini adalah menjalankan jumlah data tetap melalui beberapa model (algoritma pembelajaran mesin) dan membandingkan nilai yang dihitung dengan modul metrik scikit-learning.$R^2$

1. Apakah metode yang baik untuk membandingkan kinerja model yang berbeda?$R^2$
2. Walaupun saya mendapatkan hasil yang cukup dapat diterima untuk model seperti jaring jaring dan hutan acak saya mendapat nilai sangat buruk untuk model jaringan saraf, jadi apakah metode yang tepat untuk mengevaluasi jaringan saraf (atau metode non-linear)?R $R^2$$R^2$

Saya pikir bagian penting untuk dipertimbangkan dalam menjawab pertanyaan Anda adalah

Saya mencoba mengidentifikasi model terbaik untuk memprediksi harga mobil

karena pernyataan ini menyiratkan sesuatu tentang mengapa Anda ingin menggunakan model. Pilihan model dan evaluasi harus didasarkan pada apa yang ingin Anda capai dengan nilai-nilai yang sesuai.

Pertama, mari kita rekap apa dilakukannya$R^2$ : Ini menghitung ukuran skala berdasarkan fungsi kerugian kuadrat, yang saya yakin Anda sudah menyadari. Untuk melihat ini, menentukan sisa untuk i th-pengamatan Anda y i dan nilai dipasang sesuai y i . Menggunakan notasi nyaman S S R : = Σ N i = 1 e 2 i , S S T : = $e_i = y_i - \hat{y}_i$$y_i$$\hat{y}_i$$SSR := \sum_{i=1}^Ne_i^2$,R2hanya didefinisikan sebagaiR2=1-SSR/SST.$SST:=\sum_{i=1}^N(y_i - \bar{y})^2$$R^2$$R^2 = 1 - SSR/SST$

Kedua, mari kita lihat apa yang menggunakan untuk model pilihan / sarana evaluasi$R^2$ . Misalkan kita memilih dari serangkaian prediksi yang dihasilkan menggunakan model M : M ∈ M , di mana M adalah kumpulan model yang dipertimbangkan (dalam contoh Anda, koleksi ini akan berisi jaringan saraf, hutan acak, jaring elastis, ...). Sejak S S T akan tetap konstan di antara semua model, jika meminimalkan R 2 Anda akan memilih persis model yang meminimalkan S S R . Dengan kata lain, Anda akan memilih$\bar{Y}_M$$M:M \in \mathcal{M}$$\mathcal{M}$$SST$$R^2$$SSR$ yang menghasilkan kerugian kesalahan kuadrat minimal!$M \in \mathcal{M}$

$R^2$$SSR$ $L^2$$L^1$

$R^2$$L^p$$1 \leqslant p <2$$p=1$$L^p$$L^p$

Singkatnya, pilihan / evaluasi model tidak dapat dipertimbangkan secara independen dari tujuan model.