Dalam buku Deep Learning Ian Goodfellow , tertulis itu
Terkadang, fungsi kerugian yang benar-benar kita pedulikan (katakanlah, kesalahan klasifikasi) bukan salah satu yang dapat dioptimalkan secara efisien. Misalnya, meminimalkan kerugian yang diharapkan 0-1 yang diharapkan biasanya tidak dapat dilakukan (eksponensial dalam dimensi input), bahkan untuk pengklasifikasi linier. Dalam situasi seperti itu, orang biasanya mengoptimalkan fungsi pengganti pengganti, yang bertindak sebagai proksi tetapi memiliki kelebihan.
Mengapa kehilangan 0-1 tidak bisa dilakukan, atau bagaimana hal itu eksponensial dalam dimensi input?
sumber
Kesalahan klasifikasi kadang-kadang bisa dilakukan. Ini dapat dioptimalkan secara efisien - meskipun tidak sepenuhnya - menggunakan metode Nelder-Mead, seperti yang ditunjukkan dalam artikel ini:
https://www.computer.org/csdl/trans/tp/1994/04/i0420-abs.html
"Pengurangan dimensi adalah proses mengubah vektor multidimensi menjadi ruang dimensi rendah. Dalam pengenalan pola, sering diinginkan bahwa tugas ini dilakukan tanpa kehilangan informasi klasifikasi yang signifikan. Kesalahan Bayes adalah kriteria ideal untuk tujuan ini; namun, itu dikenal sangat sulit untuk perawatan matematika.Oleh karena itu, kriteria suboptimal telah digunakan dalam praktek.Kami mengusulkan kriteria alternatif, berdasarkan estimasi kesalahan Bayes, yang diharapkan lebih dekat dengan kriteria optimal daripada kriteria yang saat ini digunakan Algoritma untuk pengurangan dimensi linier, berdasarkan kriteria ini, disusun dan diimplementasikan. Eksperimen menunjukkan kinerja superiornya dibandingkan dengan algoritma konvensional. "
Kesalahan Bayes yang disebutkan di sini pada dasarnya adalah kerugian 0-1.
Pekerjaan ini dilakukan dalam konteks pengurangan dimensi linier. Saya tidak tahu seberapa efektif itu untuk melatih jaringan pembelajaran yang mendalam. Tetapi intinya adalah, dan jawaban atas pertanyaan: kerugian 0-1 tidak bisa dipecahkan secara universal. Ini dapat dioptimalkan dengan relatif baik untuk setidaknya beberapa jenis model.
sumber