Apa perbedaan antara fungsi kerugian dan fungsi keputusan?

23

Saya melihat bahwa kedua fungsi merupakan bagian dari metode penambangan data seperti Gradient Boosting Regressors. Saya melihat bahwa itu adalah objek yang terpisah juga.

Bagaimana hubungan keduanya secara umum?

www.pieronigro.de
sumber

Jawaban:

45

Sebuah fungsi keputusan adalah fungsi yang mengambil dataset sebagai masukan dan memberikan keputusan sebagai output. Apa keputusan itu tergantung pada masalah yang dihadapi. Contohnya termasuk:

  • Masalah estimasi: "keputusan" adalah estimasi.
  • Masalah pengujian hipotesis: keputusannya adalah menolak atau tidak menolak hipotesis nol.
  • Masalah klasifikasi: keputusannya adalah untuk mengklasifikasikan pengamatan baru (atau pengamatan) ke dalam kategori.
  • Masalah pemilihan model: keputusannya adalah memilih salah satu model kandidat.

x=(x1,x2,,x10)d(x)

  • d(x)=110i=110xi
  • d(x)=median(x)
  • d(x)=x1x1010
  • d(x)=1x

Lalu bagaimana kita dapat menentukan mana dari fungsi keputusan ini untuk digunakan? Salah satu caranya adalah dengan menggunakan fungsi kerugian , yang menggambarkan kerugian (atau biaya) yang terkait dengan semua keputusan yang mungkin. Fungsi keputusan yang berbeda akan cenderung mengarah pada berbagai jenis kesalahan. Fungsi kerugian memberi tahu kita jenis kesalahan apa yang harus kita perhatikan. Fungsi keputusan terbaik adalah fungsi yang menghasilkan kerugian yang diharapkan terendah . Apa yang dimaksud dengan kerugian yang diharapkan tergantung pada pengaturan (khususnya, apakah kita berbicara tentang statistik frequentist atau Bayesian ).

Singkatnya:

  • Fungsi keputusan digunakan untuk membuat keputusan berdasarkan data.
  • Fungsi kerugian digunakan untuk menentukan fungsi keputusan mana yang digunakan.
MånsT
sumber
Untuk fungsi keputusan parametrik (misalnya: regresi logistik, keputusan ambang batas) pada dasarnya Anda memiliki satu fungsi yang mungkin untuk setiap kombinasi parameter, dan fungsi kerugian digunakan untuk menemukan yang terbaik. Contoh umum: jika Anda menggunakan gradient descent untuk menjelajahi ruang parameter, Anda menurunkan kerugian sehubungan dengan parameter dan turun ke minimum (lokal) kerugian.
pixelou
7

Fungsi kerugian adalah yang diminimalkan untuk mendapatkan model yang optimal dalam beberapa hal. Model itu sendiri memiliki fungsi keputusan yang digunakan untuk memprediksi.

Misalnya, dalam pengklasifikasi SVM:

  • L(w,ξ)=12w2+Ciξi
  • f(x)=wTx+b
Marc Claesen
sumber
Bukankah norma sama dengan jarak, atau apakah saya mencampuradukkan sesuatu di sini ... Jadi fungsi keputusan selalu menjadi bagian dari fungsi kerugian yang saya gunakan untuk "membandingkan" dengan nilai nyata yang saya coba perbaiki model? Dan tujuannya adalah meminimalkan "perbedaan" ini?
www.pieronigro.de
@Hiatus norma hyperplane pemisah (yang sedang dioptimalkan saat melatih SVM) tidak digunakan dalam fungsi keputusan. Hyperplane itu sendiri digunakan. Meminimalkan norma selama pelatihan pada dasarnya adalah bentuk regularisasi.
Marc Claesen
Akan lebih baik untuk memberikan jawaban yang lebih umum yang tidak terikat pada penggolong spesifik apa pun.
smci