Bagaimana cara menginterpretasikan ukuran kesalahan?

41

Saya menjalankan klasifikasi di Weka untuk dataset tertentu dan saya perhatikan bahwa jika saya mencoba memprediksi nilai nominal, output secara spesifik menunjukkan nilai prediksi yang benar dan salah. Namun, sekarang saya menjalankannya untuk atribut numerik dan hasilnya adalah:

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441 

Bagaimana saya menafsirkan ini? Saya sudah mencoba Google setiap gagasan tetapi saya tidak mengerti banyak karena statistik sama sekali tidak dalam bidang keahlian saya. Saya akan sangat menghargai jenis jawaban ELI5 dalam hal statistik.

FloIancu
sumber

Jawaban:

52

Mari kita tunjukkan nilai sebenarnya dari bunga sebagai dan nilai diperkirakan menggunakan beberapa algoritma sebagai .θθ^

Korelasi memberi tahu Anda seberapa banyak dan terkait. Ini memberikan nilai antara dan , di mana tidak ada hubungan, sangat kuat, hubungan linier dan adalah hubungan linier terbalik (yaitu nilai yang lebih besar dari menunjukkan nilai yang lebih kecil dari , atau sebaliknya sebaliknya). Di bawah ini Anda akan menemukan contoh korelasi yang digambarkan.θθ^11011θθ^

Contoh korelasi

(sumber: http://www.mathsisfun.com/data/correlation.html )

Berarti kesalahan absolut adalah:

MAE=1Ni=1N|θ^iθi|

Root mean square error adalah:

RMSE=1Ni=1N(θ^iθi)2

Kesalahan absolut relatif :

RAE=i=1N|θ^iθi|i=1N|θ¯θi|

di mana adalah nilai rata-rata dari .θ¯θ

Akar kesalahan kuadrat relatif:

RRSE=i=1N(θ^iθi)2i=1N(θ¯θi)2

Seperti yang Anda lihat, semua statistik membandingkan nilai sebenarnya dengan taksiran mereka, tetapi lakukan dengan cara yang sedikit berbeda. Mereka semua memberi tahu Anda "seberapa jauh" perkiraan nilai Anda dari nilai sebenarnya dari . Kadang-kadang akar kuadrat digunakan dan kadang-kadang nilai absolut - ini karena ketika menggunakan akar kuadrat nilai ekstrem lebih berpengaruh pada hasilnya (lihat Mengapa kuadrat perbedaan daripada mengambil nilai absolut dalam standar deviasi? Atau pada Mathoverflow ).θ

Dalam dan Anda cukup melihat "perbedaan rata-rata" antara kedua nilai tersebut - jadi Anda menafsirkannya dengan membandingkan skala yang Anda miliki, yaitu dari 1 poin adalah perbedaan 1 poin antara dan ).MAERMSEMSEθθ^θ

Dalam dan Anda membagi perbedaan tersebut dengan variasi sehingga mereka memiliki skala dari 0 hingga 1 dan jika Anda mengalikan nilai ini dengan 100 Anda mendapatkan kesamaan dalam skala 0-100 (yaitu persentase ). Nilai ataumemberi tahu Anda berapa banyak berbeda dari nilai rata-rata - sehingga Anda dapat mengatakan bahwa ini adalah tentang seberapa banyak berbeda dari dirinya sendiri (dibandingkan dengan varians ). Karena itu langkah-langkah tersebut dinamai "relatif" - mereka memberi Anda hasil terkait dengan skala .RAERRSEθ(θ¯θi)2|θ¯θi|θθθ

Periksa juga slide-slide itu .

Tim
sumber
Terima kasih atas penjelasan Anda! Saya mencoba mengevaluasi kinerja berbagai algoritma. Jadi misalnya, jika saya mendapatkan output lain ini (Korelasi: 0,3044, MAE: 10,832, MSE: 47,2971, RAE: 83,163%, RSE: 95,2797%) dan saya mencoba membandingkannya dengan yang pertama, yang bisa saya katakan tampil lebih baik?
FloIancu
5
Anda harus memilih model dengan korelasi yang lebih besar dan perkiraan kesalahan yang lebih kecil. Seperti yang Anda lihat, ada beberapa ukuran kinerja model (dan itu hanya beberapa di antaranya) dan kadang-kadang mereka memberikan jawaban yang berbeda. Hampir tidak pernah ada jawaban seperti "ya / tidak" yang Anda dapatkan. Tugas pemilihan model akan lebih mudah jika Anda mengejar teori, Anda dapat memeriksa misalnya kuliah tersebut .
Tim
Terima kasih banyak! Saya melanjutkan dan menandai jawaban Anda sebagai jawaban karena Anda banyak membantu saya!
FloIancu
1
@Tim Berarti kesalahan absolut mungkin harus disingkat sebagai MAE :)
Antoine
1
@Ewew Referensi apa yang Anda cari? Ini pada dasarnya adalah RMSE yang diubah skalanya. Tidak banyak yang bisa dikatakan tentang hal itu ...
Tim