Fungsi cross-entropy error dalam jaringan saraf

Dalam MNIST For ML Beginners mereka mendefinisikan cross-entropy sebagai

$y_i$ adalah nilai probabilitas yang diprediksi untuk kelas dan adalah probabilitas sebenarnya untuk kelas itu.$i$$y_i'$

pertanyaan 1

Bukankah ini masalah (dalam ) bisa 0? Ini berarti bahwa kita memiliki penggolong yang sangat buruk, tentu saja. Tetapi pikirkan kesalahan dalam set data kami, misalnya label "jelas" berlabel . Apakah itu hanya akan crash? Apakah model yang kami pilih (aktivasi softmax di akhir) pada dasarnya tidak pernah memberikan probabilitas 0 untuk kelas yang benar?$y_i$$\log(y_i)$13

Pertanyaan 2

Saya telah belajar bahwa lintas-entropi didefinisikan sebagai

Apa yang benar Apakah Anda memiliki referensi buku teks untuk kedua versi? Bagaimana fungsi-fungsi itu berbeda dalam sifat-sifatnya (sebagai fungsi kesalahan untuk jaringan saraf)?

Salah satu cara untuk menginterpretasikan lintas-entropi adalah melihatnya sebagai (minus) log-kemungkinan untuk data , di bawah model .$y_i'$$y_i$

Yaitu, anggaplah Anda memiliki beberapa model tetap (alias "hipotesis"), yang memprediksi untuk kelas probabilitas kemunculan hipotetis mereka . Misalkan Anda sekarang mengamati (dalam kenyataan) instance dari kelas , instance dari kelas , instance dari kelas , dll. Menurut model Anda, kemungkinan kejadian ini adalah: Mengambil logaritma dan mengubah tandanya: $n$$\{1,2,\dots, n\}$1 k 2 2 k n n P [ d a t a | m o d e l ] : = y k 1 1 y k 2 2 … y k n n . - log P [ d a t a | m o d e l ]$y_1, y_2,\dots, y_n$$k_1$$1$$k_2$$2$$k_n$$n$

Lebih lanjut, kemungkinan log dari dataset yang diberikan model dapat diartikan sebagai ukuran "panjang pengkodean" - jumlah bit yang Anda harapkan untuk mengkodekan informasi ini jika skema pengkodean Anda akan didasarkan pada hipotesis Anda.

Ini mengikuti dari pengamatan bahwa peristiwa independen dengan probabilitas membutuhkan setidaknya bit untuk menyandikannya (dengan asumsi pengkodean yang efisien), dan akibatnya ekspresi secara harfiah adalah panjang yang diharapkan dari pengkodean , di mana panjang pengkodean untuk peristiwa dihitung menggunakan distribusi "dihipotesiskan", sementara harapan diambil alih yang sebenarnya.$y_i$$-\log_2 y_i$

Akhirnya, alih-alih mengatakan "ukuran panjang pengkodean yang diharapkan", saya benar-benar suka menggunakan istilah informal "ukuran kejutan". Jika Anda membutuhkan banyak bit untuk menyandikan acara yang diharapkan dari suatu distribusi, distribusinya "benar-benar mengejutkan" bagi Anda.

Dengan intuisi tersebut, jawaban atas pertanyaan Anda dapat dilihat sebagai berikut:

• Pertanyaan 1 . Iya. Ini adalah masalah setiap kali sesuai bukan nol pada saat yang sama$y_i'$ . Ini sesuai dengan situasi di mana model Anda percaya bahwa beberapa kelas memiliki probabilitas nol terjadinya, namun kelas muncul dalam kenyataan. Akibatnya, "kejutan" model Anda sangat luar biasa: model Anda tidak memperhitungkan peristiwa itu dan sekarang membutuhkan banyak bit untuk mengkodekannya. Itulah sebabnya Anda mendapatkan ketidakterbatasan sebagai entropi silang Anda.

  Untuk menghindari masalah ini, Anda perlu memastikan bahwa model Anda tidak membuat asumsi terburu-buru tentang sesuatu yang mustahil sementara itu bisa terjadi. Pada kenyataannya, orang cenderung menggunakan fungsi sigmoid atau "softmax" sebagai model hipotesis mereka, yang cukup konservatif untuk meninggalkan setidaknya beberapa peluang untuk setiap opsi.

  Jika Anda menggunakan beberapa model hipotesis lain, terserah Anda untuk mengatur (alias "halus") sehingga tidak membuat hipotesis nol di mana seharusnya tidak.

• Pertanyaan 2 . Dalam rumus ini, orang biasanya mengasumsikan menjadi atau , sedangkan adalah hipotesis probabilitas model untuk input yang sesuai. Jika Anda melihat lebih dekat, Anda akan melihat bahwa itu hanyalah untuk data biner, yang setara dengan persamaan kedua dalam jawaban ini.$y_i'$$0$$1$$y_i$$-\log P[data|model]$

  Oleh karena itu, sebenarnya, meskipun masih log-kemungkinan, ini tidak secara sintaksis setara dengan lintas-entropi. Apa yang dimaksud beberapa orang ketika merujuk pada ekspresi seperti cross-entropy adalah bahwa, pada kenyataannya, jumlah lebih dari binary cross-entropies untuk masing-masing poin dalam dataset: mana dan harus ditafsirkan sebagai distribusi biner yang sesuai dan .

  $$\sum_i H(y_i', y_i),$$ $y_i'$$y_i$$(y_i', 1-y_i')$$(y_i, 1-y_i)$

Rumus logloss pertama yang Anda gunakan adalah untuk hilangnya log multi-kelas, di mana subscript menyebutkan kelas-kelas yang berbeda dalam sebuah contoh. Rumus ini mengasumsikan bahwa satu dalam setiap contoh adalah 1, dan sisanya adalah 0.$i$$y_i'$

Itu berarti rumus hanya menangkap kesalahan pada kelas target. Ini membuang segala kesalahan yang Anda anggap "false positive" dan tidak peduli bagaimana probabilitas yang diprediksi didistribusikan selain probabilitas yang diprediksi dari kelas sebenarnya.

Asumsi lain adalah bahwa untuk prediksi masing-masing contoh. Lapisan softmax melakukan ini secara otomatis - jika Anda menggunakan sesuatu yang berbeda, Anda perlu mengukur output untuk memenuhi kendala itu.$\sum_i y_i = 1$

pertanyaan 1

Bukankah ini masalah (dalam ) bisa 0?$y_i$$log(y_i)$

Ya itu bisa menjadi masalah, tetapi biasanya bukan yang praktis. Lapisan softmax yang diinisialisasi secara acak sangat tidak mungkin untuk menghasilkan yang tepat 0di kelas mana pun. Tapi itu mungkin, sangat layak untuk itu. Pertama, jangan mengevaluasi untuk setiap , karena kelas negatif selalu berkontribusi 0 pada kesalahan. Kedua, dalam kode praktis Anda dapat membatasi nilainya seperti untuk stabilitas numerik - dalam banyak kasus tidak diperlukan, tetapi ini adalah pemrograman defensif yang masuk akal.$log(y_i)$$y_i'=0$log( max( y_predict, 1e-15 ) )

Pertanyaan 2

Saya telah belajar bahwa cross-entropy didefinisikan sebagai$H_{y'}(y) := - \sum_{i} ({y_i' \log(y_i) + (1-y_i') \log (1-y_i)})$

Formulasi ini sering digunakan untuk jaringan dengan satu output yang memprediksi dua kelas (biasanya keanggotaan kelas positif untuk 1 dan negatif untuk 0 output). Dalam hal ini mungkin hanya memiliki satu nilai - Anda dapat kehilangan jumlah lebih dari .$i$$i$

Jika Anda memodifikasi jaringan seperti itu untuk memiliki dua output yang berlawanan dan menggunakan softmax plus definisi logloss pertama, maka Anda dapat melihat bahwa sebenarnya itu adalah pengukuran kesalahan yang sama tetapi melipat metrik kesalahan untuk dua kelas menjadi satu output tunggal.

Jika ada lebih dari satu kelas untuk memprediksi keanggotaan, dan kelas-kelas tersebut tidak eksklusif yaitu contohnya bisa salah satu atau semua kelas pada saat yang sama, maka Anda perlu menggunakan formulasi kedua ini. Untuk pengenalan digit yang tidak demikian (digit tertulis seharusnya hanya memiliki satu kelas "benar")

Mengingat , Anda ingin mengoptimalkan metode pembelajaran mesin Anda untuk mendapatkan sedekat mungkin dengan . y p r e d i c t y t r u $y_{true}$$y_{predict}$$y_{true}$

Pertanyaan pertama:

Jawaban di atas telah menjelaskan latar belakang rumus pertama Anda, entropi silang yang didefinisikan dalam teori informasi.

Dari pendapat selain teori informasi:

Anda dapat memeriksa diri Anda sendiri bahwa formula pertama tidak memiliki hukuman pada false-positiveness (kebenaran itu salah tetapi model Anda memperkirakan bahwa itu benar), sedangkan yang kedua memiliki penalti pada false-positive. Karenanya, pilihan rumus pertama atau kedua, akan memengaruhi metrik Anda (alias jumlah statistik apa yang ingin Anda gunakan untuk mengevaluasi model Anda).

Dalam kata awam:

Jika Anda ingin menerima hampir semua orang baik untuk menjadi teman Anda tetapi bersedia menerima beberapa orang jahat menjadi teman Anda, maka gunakan formula pertama untuk kriteria.

Jika Anda ingin menghukum diri Anda menerima beberapa orang jahat untuk menjadi teman Anda, tetapi pada saat yang sama orang yang menerima orang baik Anda mungkin lebih rendah dari kondisi pertama, maka gunakan formula kedua.

Sementara, saya kira sebagian besar dari kita adalah kritis dan ingin memilih yang kedua (sehingga banyak paket ML menganggap apa itu cross entropy).

Pertanyaan kedua:

Entropi silang per sampel per kelas:

Entropi silang untuk seluruh kumpulan data seluruh kelas:

Jadi, ketika hanya ada dua kelas (K = 2), Anda akan memiliki rumus kedua.

Masalah-masalah tersebut ditangani oleh penggunaan tutorial softmax.

Untuk 1) Anda benar bahwa softmax menjamin output yang tidak nol karena itu eksponensial inputnya. Untuk aktivasi yang tidak memberikan jaminan ini (seperti relu), mudah untuk menambahkan istilah positif yang sangat kecil untuk setiap output untuk menghindari masalah itu.

Adapun 2), mereka tidak sama jelas, tetapi saya formulasi softmax yang mereka berikan menangani masalah ini. Jika Anda tidak menggunakan softmax, ini akan menyebabkan Anda mempelajari istilah bias besar yang menebak 1 untuk setiap kelas untuk input apa pun. Tetapi karena mereka menormalkan softmax di semua kelas, satu-satunya cara untuk memaksimalkan output dari kelas yang benar adalah untuk itu menjadi relatif besar ke kelas yang salah.

$y_i$$\log(y_i)$

$\log(0)$$\log(y_i + \epsilon)$

$H_{y'} (y) := - \sum_{i} y_{i}' \log (y_i)$
$H_{y'}(y) := - \sum_{i} ({y_i' \log(y_i) + (1-y_i') \log(1-y_i)})$

(a) benar untuk prediksi multi-kelas (sebenarnya merupakan penjumlahan ganda), (b) sama dengan (a) untuk prediksi dua-kelas. Keduanya saling entropi.

Contoh:

$x_i$$c_i' \in \{0, 1\}$$c_i \in [0, 1]$

$c_i'$$c_i$

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, 0.8), (1, 0.8), (1, 0.2)\}$

$y_i'$$y_i$

• $y_{ik}':=1$$c_i'=k$$:=0$

• $y_{ik}:=p(k|x_i)$$x_i$$k$

$(y_i', y_i)$

$(y_i', y_i)=\{([1, 0], [0.9, 0.1]),$ $([1, 0], [0.6, 0.4]),$ $([1, 0], [0.2, 0.8]),$ $([0, 1], [0.2, 0.8]),$ $([0, 1], [0.8, 0.2])\}$

Baik (a) dan (b) dihitung sebagai:

$H_{y'}(y)=-1/5([log(0.9)+log(0.6) + log(0.2)]_{c_i=0} + [log(0.8) + log(0.2)]_{c_i=1}) = 0.352$

Penurunan:

$1$$K$
$(x_i, c_i')$$c_i' = k$$y_i'=[0,..,1,0,..]$$k^{th}$$y_{ik}'=1$$y_{ik}=p(k|x_i)$$(x_i, k)$$-log(y_{ik})$$y_{ik} \rightarrow 1 \Rightarrow -log(y_{ik}) \rightarrow 0$

$L(y_i', y_i) = -\sum_{k=1}^{K}y_{ik}'log(y_{ik})$

$y_{ik}' = 1$$k' \neq k$$0log(y_{ik'})=0$$y_{im}'=1$

$L(y_i', y_i)=-log(y_{im})$

Formula akhir untuk semua poin pelatihan adalah:

$H_{y'}(y)=-\sum_{(x_i, y_i')}\sum_{k=1}^{K}y_{ik}'log(y_{ik})$

$y_{i0}' = 1 - y_{i1}'$$y_{i0} = 1 - y_{i1}$

$\begin{align*} H_{y'}(y)&=-\sum_{(x_i, y_i')}y_{i1}'log(y_{i1})+y_{i0}'log(y_{i0})\\ &=-\sum_{(x_i, y_i')}y_{i1}'log(y_{i1})+(1-y_{i1}')log(1-y_{i1}) \end{align*}$

yang sama dengan (b).

Cross-entropy (a) atas kelas (satu penjumlahan)

Cross-entropy (a) atas kelas adalah:

$H_{y'}(y)=-\sum_{k=1}^{K}y_{k}'log(y_{k})$

Versi ini tidak dapat digunakan untuk tugas klasifikasi. Mari kita gunakan kembali data dari contoh sebelumnya:

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, 0.8), (1, 0.8), (1, 0.2)\}$

$y'_0 = 3/5 = 0.6$$y'_1 = 0.4$

$y_0 = 3/5 = 0.6$$y_1 = 0.4$

$-y'_0logy_0 - y'_1logy_1 = - 0.6log(0.6) -0.4log(0.4) = 0.292$

$(0, 0.8)$$(1, 0.2)$$y'_0$$y'_1$

$(c_i', c_i)=\{(0, 0.1), (0, 0.4), (0, \color{blue}{0.2}), (1, 0.8), (1, \color{blue}{0.8})\}$

$y'_0$$y_0=3/5$