Dalam pembelajaran mesin, orang berbicara tentang fungsi objektif, fungsi biaya, fungsi kerugian. Apakah mereka hanya nama yang berbeda dari hal yang sama? Kapan menggunakannya? Jika mereka tidak selalu merujuk pada hal yang sama, apa perbedaannya?
machine-learning
terminology
artificial-intelligence
Tempat sampah
sumber
sumber
Jawaban:
Ini bukan istilah yang sangat ketat dan mereka sangat terkait. Namun:
Singkat cerita, saya akan mengatakan bahwa:
Fungsi kerugian adalah bagian dari fungsi biaya yang merupakan jenis fungsi objektif.
sumber
Menurut Prof. Andrew Ng (lihat slide di halaman 11),
Fungsi h (X) mewakili hipotesis Anda. Untuk parameter pemasangan tetap theta, ini adalah fungsi dari fitur X. Saya akan mengatakan ini juga bisa disebut Fungsi Objektif.
Fungsi Biaya J adalah fungsi dari parameter pemasangan theta. J = J (theta).
Menurut buku teks Hastie et al. "Elements of Statistical Learning" , oleh hal.37:
Jadi sepertinya "fungsi kerugian" adalah istilah yang sedikit lebih umum daripada "fungsi biaya". Jika Anda mencari "kerugian" dalam PDF itu, saya pikir mereka menggunakan "fungsi biaya" dan "fungsi kerugian" agak sinonim.
Memang, hal. 502
Mungkin istilah-istilah ini ada karena mereka berkembang secara mandiri dalam komunitas akademik yang berbeda. "Fungsi Objektif" adalah istilah lama yang digunakan dalam Riset Operasi, dan Teknik Matematika. "Fungsi kerugian" mungkin lebih banyak digunakan di kalangan ahli statistik. Tapi saya berspekulasi di sini.
sumber
Dalam kata-kata Andrew NG-
sumber
Dari bagian 4.3 dalam "Pembelajaran Jauh" - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://www.deeplearningbook.org/
"Fungsi yang ingin kami perkecil atau maksimalkan disebut fungsi objektif, atau kriteria. Ketika kami meminimalkannya, kami juga dapat menyebutnya fungsi biaya, fungsi kerugian, atau fungsi kesalahan. Dalam buku ini, kami menggunakan istilah-istilah ini secara bergantian, meskipun beberapa publikasi pembelajaran mesin memberi arti khusus pada beberapa istilah ini. "
Dalam buku ini, paling tidak, kerugian dan biaya adalah sama.
sumber
Untuk memberi Anda jawaban singkat, menurut saya mereka sama. Namun, fungsi biaya lebih banyak digunakan dalam masalah optimasi dan fungsi kerugian digunakan dalam estimasi parameter.
sumber
Istilah biaya dan fungsi kerugian adalah identik beberapa orang juga menyebutnya fungsi kesalahan. Skenario yang lebih umum adalah menentukan fungsi tujuan terlebih dahulu, yang ingin kami optimalkan. Fungsi objektif ini bisa untuk
sumber
Sebenarnya menjadi sederhana. Jika Anda memiliki data latih seperti ini (x (1), y (1)), (x (2), y (2)),. . . (x (m), y (m)) Kami menggunakan fungsi kerugian L (ycap, y) untuk menemukan kehilangan antara ycap dan y dari satu set pelatihan tunggal. Jika kami ingin menemukan kehilangan antara ycap dan y dari seluruh set pelatihan, kami menggunakan fungsi biaya.
Catatan: - Ycap berarti output dari model kami dan y berarti output yang diharapkan
Catatan: - Kredit berlaku Andrew ng Sumber: jaringan saraf coursera dan pembelajaran yang mendalam
sumber
Fungsi kehilangan menghitung kesalahan untuk contoh pelatihan tunggal, sedangkan fungsi biaya adalah rata-rata fungsi kerugian dari seluruh rangkaian pelatihan.
sumber