Misalkan Anda ingin memperkirakan model linier: ( pengamatan respons, dan prediktor)
Salah satu cara untuk melakukan ini adalah melalui solusi OLS, yaitu memilih koefisien sehingga jumlah kesalahan kuadrat minimum:
Atau, Anda dapat menggunakan fungsi kerugian lain, seperti jumlah dari penyimpangan absolut, sehingga:
Misalkan Anda telah menemukan parameter untuk dua model, dan ingin memilih model dengan nilai terkecil dari fungsi kerugian. Bagaimana Anda bisa membandingkan nilai minimum yang diperoleh dengan fungsi kerugian secara umum? (Yaitu bukan hanya kasus khusus ini - kita juga bisa mencoba fungsi kerugian berbasis L_p lainnya ) Tampaknya ada perbedaan dalam skala fungsi - satu berurusan dengan kotak sedangkan yang lain tidak.
regression
loss-functions
Comp_Warrior
sumber
sumber
Jawaban:
(Mengubah komentar saya menjadi jawaban.)
Saya pikir Anda tidak dapat membandingkan kecocokan yang berasal dari fungsi kerugian yang berbeda, karena mereka adalah jawaban untuk pertanyaan yang berbeda. Setelah Anda memutuskan bahwa fungsi kerugian yang diberikan adalah yang sesuai untuk situasi Anda, fit akan mengikuti dari keputusan itu. Anda tidak dapat melipatnya kembali untuk memvalidasi pilihan fungsi kerugian tanpa ini menjadi melingkar. Jika Anda memiliki kriteria lain yang dapat dipahami oleh kedua fungsi kerugian, Anda bisa menggunakannya, tetapi Anda harus menentukannya terlebih dahulu.
sumber