Penjelasan intuitif logloss

10

Dalam beberapa kompetisi yang luar biasa, penilaian didasarkan pada "logloss". Ini berkaitan dengan kesalahan klasifikasi.

Inilah jawaban teknis tetapi saya mencari jawaban yang intuitif. Saya sangat menyukai jawaban atas pertanyaan ini tentang jarak Mahalanobis, tetapi PCA tidak logloss.

Saya dapat menggunakan nilai yang dikeluarkan oleh perangkat lunak klasifikasi saya, tetapi saya tidak benar-benar memahaminya. Mengapa kita menggunakannya daripada benar / salah positif / negatif? Bisakah Anda membantu saya agar saya bisa menjelaskan hal ini kepada nenek saya atau seorang pemula di lapangan?

Saya juga suka dan setuju dengan kutipan:

Anda tidak benar-benar memahami sesuatu kecuali Anda bisa menjelaskannya kepada nenek Anda
- Albert Einstein

Saya mencoba menjawab ini sendiri sebelum memposting di sini.

Tautan yang menurut saya tidak intuitif atau sangat membantu termasuk:

Ini informatif, dan akurat. Mereka dimaksudkan untuk audiens teknis. Mereka tidak menggambar sederhana, atau memberikan contoh sederhana dan mudah diakses. Mereka tidak ditulis untuk nenek saya.

EngrStudent
sumber
Anda tidak memberikan tautan ke jawaban teknis Anda
bdeonovic
1
quora.com/...
Ehsan M. Kermani
@ EhsanM.Kermani - Saya tidak menemukan yang intuitif seperti yang untuk Mahalanobis yang saya rujuk.
EngrStudent
1
yang masuk di situs kaggle memberikan penjelasan singkat cantik logloss
bdeonovic
Temukan tautan ini: exegetic.biz/blog/2015/12/making-sense-logarithmic-loss . Mungkin membantu.
Deolu A

Jawaban:

8

Logloss adalah logaritma produk dari semua probabilitas. Misalkan Alice meramalkan:

  • dengan probabilitas 0,2, John akan membunuh Jack
  • dengan probabilitas 0,001, Mary akan menikah dengan John
  • dengan probabilitas 0,01, Bill adalah seorang pembunuh.

Ternyata Mary tidak menikah dengan John, Bill bukan pembunuh, tetapi John membunuh Jack. Produk probabilitas, menurut Alice, adalah 0,2 * 0,999 * 0,99 = 0,197802

Bob memperkirakan:

  • dengan probabilitas 0,5, John akan membunuh Jack
  • dengan probabilitas 0,5, Mary akan menikahi John
  • dengan probabilitas 0,5, Bill adalah seorang pembunuh.

Produk ini 0,5 * 0,5 * 0,5 = 0,125.

Alice adalah prediktor yang lebih baik daripada Bob.

pengguna31264
sumber
mengapa "produk dari semua probabilitas" berfungsi? Ini terdengar seperti kerabat dari maksimalisasi harapan.
EngrStudent
3
Apakah Anda memerlukan bukti formal? Itu ada di "jawaban teknis" yang disebutkan oleh the topicstarter. Apakah Anda memerlukan alasan "nenek" informal mengapa? Anda berkata: seandainya orang ini memberikan prediksi yang benar. Berapa probabilitas bahwa semuanya terjadi sebagaimana yang sebenarnya terjadi? Ini adalah produk probabilitas.
user31264
"produk probabilitas" bukan "nenek". log produk probabilitas adalah jumlah log probabilitas, yang mereka gunakan dalam maksimalisasi ekspektasi dan menyebutnya "ekspektasi". Saya pikir itu juga dikodekan dalam divergensi KL. ... Saya pikir dalam pembicaraan nenek Anda bisa mengatakan "" kemungkinan besar "= probabilitas keseluruhan tertinggi dari beberapa peristiwa. Ada dua yang mendapatkan" tertinggi ": 1) memaksimalkan probabilitas gabungan atau 2) meminimalkan probabilitas gabungan negatif. belajar suka "gradient descent" atau meminimalkan kejahatan. Log-loss adalah probabilitas negatif yang diukur dengan ukuran sampel, dan diminimalkan.
EngrStudent
Di sini tautan mereka mengatakan "exp (-loss) adalah probabilitas rata-rata prediksi yang benar."
EngrStudent
Saya menyukai ref Uskup di sini . Ini adalah persamaan 4.108 dan merupakan fungsi kesalahan lintas-entropi.
EngrStudent