Bagaimana unit softmax diturunkan dan apa implikasinya?

Saya mencoba memahami mengapa fungsi softmax didefinisikan seperti itu:

$\frac{e^{z_{j}}} {\Sigma^{K}_{k=1}{e^{z_{k}}}} = \sigma(z)$

Saya mengerti bagaimana ini menormalkan data dan memetakan dengan benar untuk beberapa rentang (0, 1) tetapi perbedaan antara probabilitas berat bervariasi secara eksponensial daripada linear. Apakah ada alasan mengapa kita menginginkan perilaku ini?

Juga persamaan ini tampaknya agak arbitrer dan saya merasa bahwa keluarga besar persamaan dapat memenuhi persyaratan kami. Saya belum melihat derivasi online jadi saya berasumsi itu hanyalah sebuah definisi. Mengapa tidak memilih definisi lain yang memenuhi persyaratan yang sama?

Distribusi kategoris adalah distribusi asumsi minimum atas dukungan "serangkaian hasil eksklusif yang saling" diberikan statistik yang cukup "hasil yang terjadi". Dengan kata lain, menggunakan distribusi lain akan menjadi asumsi tambahan. Tanpa pengetahuan sebelumnya, Anda harus mengasumsikan distribusi kategoris untuk dukungan ini dan statistik yang memadai. Itu adalah keluarga eksponensial. (Semua distribusi asumsi minimum untuk dukungan yang diberikan dan statistik yang memadai adalah keluarga eksponensial.)

Cara yang benar untuk menggabungkan dua kepercayaan berdasarkan informasi independen adalah produk titik kepadatan, pastikan untuk tidak menggandakan informasi sebelumnya yang ada di kedua keyakinan. Untuk keluarga eksponensial, kombinasi ini adalah penambahan parameter alami.

Parameter ekspektasi adalah nilai yang diharapkan dari $x_k$ dimana $x_k$ adalah berapa kali Anda mengamati hasil $k$. Ini adalah parametrization yang tepat untuk mengonversi seperangkat pengamatan ke distribusi kemungkinan maksimum. Anda cukup rata-rata di ruang ini. Inilah yang Anda inginkan saat memodelkan pengamatan.

Fungsi logistik multinomial adalah konversi dari parameter alami ke parameter ekspektasi dari distribusi kategorikal. Anda dapat memperoleh konversi ini sebagai gradien log-normalizer sehubungan dengan parameter alami.

Singkatnya, fungsi logistik multinomial jatuh dari tiga asumsi: dukungan, statistik yang cukup, dan model yang kepercayaannya merupakan kombinasi dari informasi independen.

Saya tahu ini adalah posting yang terlambat, tapi saya merasa masih ada nilai dalam memberikan pembenaran bagi mereka yang kebetulan mendarat di sini.

Anda tidak sepenuhnya salah. Ini sewenang-wenang sampai batas tertentu, tetapi mungkin sewenang-wenang adalah kata yang salah. Ini lebih seperti pilihan desain. Biarkan saya jelaskan.

Ternyata Softmax sebenarnya adalah generalisasi dari fungsi Sigmoid, yang merupakan unit keluaran Bernoulli (output 0 atau 1):

$\begin{equation} [1+\text{exp}(-z)]^{-1} \end{equation}$

Tapi dari mana fungsi Sigmoid berasal, Anda mungkin bertanya.

Nah, ternyata banyak distribusi probabilitas yang berbeda termasuk Bernoulli, distribusi Poisson, Gaussian, dll mengikuti sesuatu yang disebut Generalized Linear Model (GLM). Artinya, mereka dapat diekspresikan dalam hal:

$\begin{equation} P(y;\eta) = b(y)\text{exp}[\eta^TT(y) - a(\eta)] \end{equation}$

Saya tidak akan membahas semua parameter ini, tetapi Anda tentu bisa meneliti ini.

Perhatikan contoh berikut tentang bagaimana distribusi Bernoulli dalam keluarga GLM:

$P(y=1) = \phi\\ P(y=0) = 1 - \phi\\ P(y) = \phi^y(1-\phi)^{1-y} = \text{exp}(y\text{log}(\phi) + (1-y)\text{log}(1-\phi))\\ = \text{exp}(y\text{log}(\phi) + \text{log}(1-\phi)-y\text{log}(1-\phi))\\ = \text{exp}(y\text{log}(\frac{\phi}{1-\phi}) + \text{log}(1-\phi))$

Anda dapat melihat bahwa dalam hal ini,

$b(y) = 1\\ T(y) = y\\ \eta = \text{log}(\frac{\phi}{1-\phi})\\ a(\eta) = -\text{log}(1-\phi)$

Perhatikan apa yang terjadi ketika kita menyelesaikannya $\phi$ dengan kondisi $\eta$:

$\eta = \text{log}(\frac{\phi}{1-\phi})\\ e^\eta =\frac{\phi}{1-\phi}\\ e^{-\eta} = \frac{1-\phi}{\phi} = \frac{1}{\phi}-1\\ e^{-\eta}+1 = \frac{1}{\phi}\\ \phi = [\text{exp}(-{\eta})+1]^{-1}$

Jadi untuk mendapatkan $\phi=P(y=1)$, kami mengambil sigmoid dari $\eta$. Pilihan desain datang untuk bermain ketika kita menganggap itu$\eta = w^Tx$dimana $w$ adalah bobot dan $x$ adalah data Anda, yang keduanya kami anggap sebagai $\in\mathbb{R}^n$. Dengan membuat asumsi ini, kita bisa cocok$w$ untuk perkiraan $\phi$.

Jika Anda harus melalui proses yang sama untuk distribusi Multinoulli, Anda akan mendapatkan fungsi softmax.