Softmax overflow [ditutup]

Menunggu kursus selanjutnya Andrew Ng di Coursera, saya mencoba memprogram classifier Python dengan fungsi softmax pada layer terakhir untuk memiliki probabilitas yang berbeda. Namun, ketika saya mencoba menggunakannya pada dataset CIFAR-10 (input: (3072, 10000)), saya mengalami overflow ketika menghitung eksponensial. Memang, saya memiliki angka seperti 5000, 10000 atau 25000.

Saya sudah mencoba dua hal:

kurangi konstanta ke matriks sebelum menghitung eksponensial tetapi saya memiliki perbedaan besar antara angka-angka jadi, saya tidak bisa melakukan itu.
menghitung eksponensial dari log matriks tetapi masih melimpah.

Adakah yang bisa membantu saya menghindari masalah ini?

Terima kasih

EDIT: https://github.com/Kentena/softmax/

softmax numerics Dlmss
sumber

Ribuan telah memainkan set data CIFAR10 dan NNs. Anda mungkin telah mengacaukan kode Anda. Bisakah Anda menunjukkannya?

tagoma

Ya saya telah memperbarui posting saya dan memposting repositori github. Namun, kode saya tidak dikomentari: /

Dlmss

Jawaban:

Perhatikan itu

\frac{e^{x_{saya}}}{\sum_{j} e^{x_{j}}} = \frac{e^{- m}}{e^{- m}} \frac{e^{x_{saya}}}{\sum_{j} e^{x_{j}}} = \frac{e^{x_{saya} - m}}{\sum_{j} e^{x_{j} - m}}

$\frac{e^{x_i}}{\sum_j e^{x_j}} = \frac{e^{-m}}{e^{-m}}\frac{e^{x_i}}{\sum_j e^{x_j}}= \frac{e^{x_i-m}}{\sum_j e^{x_j-m}}$ untuk konstanta apa pun

m

$m$ .

Jelas itu tidak benar $e^{x_i} = e^{x_i-m}$ , tetapi versi yang dinormalisasi adalah sama. Masalah Anda adalah bahwa $x_i$ Terlalu besar, jadi kurangi angka yang sama $m$ dari mereka semua sebelum Anda mengambil softmax. Terkadang orang mengatur $m$ menjadi maksimum semua $x_i$ s.

Taylor
sumber