Definisi fungsi softmax

Pertanyaan ini menindaklanjuti stats.stackexchange.com/q/233658

Model regresi logistik untuk kelas {0, 1} adalah

P (y = 1 | x) = \frac{\exp (w^{T} x)}{1 + \exp (w^{T} x)} P (y = 0 | x) = \frac{1}{1 + \exp (w^{T} x)}

$\mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)}$

Jelas probabilitas tersebut berjumlah 1. Dengan mengatur kita juga bisa mendefinisikan regresi logistik sebagai $w = \beta_1 - \beta_0$

P (y = c | x) = \frac{\exp (β_{c}^{T} x)}{\exp (β_{0}^{T} x) + \exp (β_{1}^{T} x)} \forall c \in {0, 1}

$\mathbb{P} (y = c \;|\; x) = \frac{\exp(\beta_c^T x)}{\exp(\beta_0^T x) + \exp(\beta_1^T x)} \quad \forall \; c \in \{0, 1\}$

Namun, definisi kedua jarang digunakan karena koefisien dan tidak unik. Dengan kata lain, model ini tidak dapat diidentifikasi, seperti halnya regresi linier dengan dua variabel yang merupakan kelipatan satu sama lain. $\beta_0$ $\beta_1$

Pertanyaan

Dalam pembelajaran mesin, mengapa model regresi softmax untuk kelas {0, 1, ..., K - 1} biasanya didefinisikan sebagai berikut?

P (y = c | x) = \frac{\exp (β_{c}^{T} x)}{\exp (β_{0}^{T} x) + \dots + \exp (β_{K - 1}^{T} x)} \forall c \in {0, \dots, K - 1}

$\mathbb{P} (y = c \;|\; x) = \frac{\exp(\beta_c^T x)}{\exp(\beta_0^T x) + \dots + \exp(\beta_{K-1}^T x)} \quad \forall \; c \in \{0, \dots, K-1\}$

Bukankah seharusnya begitu

\begin{aligned} P (y = c | x) & = \frac{\exp (w_{c}^{T} x)}{1 + \exp (w_{1}^{T} x) + \dots + \exp (w_{K - 1}^{T} x)} \forall c \in {1, \dots, K - 1} \\ P (y = 0 | x) & = \frac{1}{1 + \exp (w_{1}^{T} x) + \dots + \exp (w_{K - 1}^{T} x)} \end{aligned}

$\begin{align*} \mathbb{P} (y = c \;|\; x) &= \frac{\exp(w_c^T x)}{1 + \exp(w_1^T x) + \dots + \exp(w_{K-1}^T x)} \quad \forall \; c \in \{1, \dots, K-1\} \\ \mathbb{P} (y = 0 \;|\; x) &= \frac{1}{1 + \exp(w_1^T x) + \dots + \exp(w_{K-1}^T x)} \end{align*}$

Catatan: Dalam statistik, regresi softmax disebut regresi logistik multinomial dan kelasnya adalah {1, ..., K}. Saya menemukan ini agak canggung karena ketika K = 2, kelasnya adalah {1, 2} bukannya {0, 1} jadi itu bukan generalisasi dari regresi logistik.

logistic neural-networks multinomial-logit softmax identifiability petani
sumber

Apakah biasanya didefinisikan seperti itu? Bisakah Anda menunjukkan referensi?

The Laconic

@TheLaconic Lihat definisi Softmax di scikit-learn.org/stable/modules/neural_networks_supervised.html dan www.tensorflow.org/versions/r1.1/get_started/mnist/beginners

petani

BAIK. Saya bertanya karena saya belum pernah melihat model regresi MNL didefinisikan dengan cara ini. Tapi ternyata itu "biasa" dalam konteks jaring saraf - dan sekarang saya memiliki pertanyaan yang sama seperti Anda.

The Laconic

Saya tidak yakin bagaimana menjawab pertanyaan "bukankah seharusnya X". Definisi yang diberikan dapat dibedakan, dan mendefinisikan distribusi probabilitas (jumlah ke 1). Sepertinya itu adalah bagian yang penting, jadi mengapa tidak seharusnya itu daripada yang lain?

kbrose

@ kbrose karena kurangnya identitas

Taylor

Ya, Anda benar bahwa ada kekurangan pengidentifikasian kecuali salah satu vektor koefisien diperbaiki. Ada beberapa alasan yang tidak menyebutkan hal ini. Saya tidak dapat berbicara mengapa mereka menghilangkan detail ini, tetapi inilah penjelasan tentang apa itu dan bagaimana cara memperbaikinya.

Deskripsi

Katakanlah Anda memiliki pengamatan dan prediktor , di mana beralih dari ke dan menunjukkan angka / indeks pengamatan. Anda akan perlu memperkirakan berdimensi koefisien vektor . $y_i \in \{0, 1, 2, \ldots, K-1\}$ $\mathbf{x}_i^\intercal \in \mathbb{R}^p$ $i$ $1$ $n$ $K$ $p$ $\boldsymbol{\beta}^0, \boldsymbol{\beta}^1, \ldots, \boldsymbol{\beta}^{K-1}$

Fungsi softmax memang didefinisikan sebagai yang memiliki sifat-sifat bagus seperti dapat dibedakan, jumlahnya menjadi , dll.

softmax (z)_{i} = \frac{\exp (z_{i})}{\sum_{l = 0}^{K - 1} \exp (z_{l})},

$\text{softmax}(\mathbf{z})_i = \frac{\exp(z_i)}{\sum_{l=0}^{K-1}\exp(z_l)},$

1

$1$

Regresi logistik multinomial menggunakan fungsi Softmax untuk setiap pengamatan pada vektor $i$

[\begin{matrix} x_{i}^{⊺} β^{0} \\ x_{i}^{⊺} β^{1} \\ ⋮ \\ x_{i}^{⊺} β^{K - 1}, \end{matrix}]

$\begin{bmatrix} \mathbf{x}_i^\intercal \boldsymbol{\beta}^0 \\ \mathbf{x}_i^\intercal \boldsymbol{\beta}^1 \\ \vdots \\ \mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}, \end{bmatrix}$

yang berarti

[\begin{matrix} P (y_{i} = 0) \\ P (y_{i} = 1) \\ ⋮ \\ P (y_{i} = K - 1) \end{matrix}] = [\begin{matrix} \frac{\exp [x_{i}^{⊺} β^{0}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \\ \frac{\exp [x_{i}^{⊺} β^{1}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \\ ⋮ \\ \frac{\exp [x_{i}^{⊺} β^{K - 1}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \end{matrix}] .

$\begin{bmatrix} P(y_i = 0) \\ P(y_i = 1) \\ \vdots \\ P(y_i = K-1) \end{bmatrix} = \begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^0] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^1] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \end{bmatrix}.$

Masalah

Namun, kemungkinannya tidak dapat diidentifikasi karena beberapa koleksi parameter akan memberikan kemungkinan yang sama. Misalnya, menggeser semua vektor koefisien dengan vektor yang sama akan menghasilkan kemungkinan yang sama. Ini dapat dilihat jika Anda mengalikan setiap pembilang dan penyebut dari setiap elemen vektor dengan konstanta , tidak ada yang berubah: $\mathbf{c}$ $\exp[-\mathbf{x}_i^\intercal \mathbf{c}]$

[\begin{matrix} \frac{\exp [x_{i}^{⊺} β^{0}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \\ \frac{\exp [x_{i}^{⊺} β^{1}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \\ ⋮ \\ \frac{\exp [x_{i}^{⊺} β^{K - 1}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \end{matrix}] = [\begin{matrix} \frac{\exp [x_{i}^{⊺} (β^{0} - c)]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} (β^{k} - c)]} \\ \frac{\exp [x_{i}^{⊺} (β^{1} - c)]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} (β^{k} - c)]} \\ ⋮ \\ \frac{\exp [x_{i}^{⊺} (β^{K - 1} - c)]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} (β^{k} - c)]} \end{matrix}] .

$\begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^0] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^1] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \end{bmatrix} = \begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^0-\mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k-\mathbf{c})] } \\ \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^1-\mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k-\mathbf{c})] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^{K-1} - \mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k -\mathbf{c}) ] } \end{bmatrix}.$

Memperbaikinya

Cara untuk memperbaikinya adalah dengan membatasi parameter. Memperbaiki salah satu dari mereka akan mengarah pada pengidentifikasian, karena menggeser semuanya tidak lagi diizinkan.

Ada dua pilihan umum:

set , yang berarti (Anda menyebutkan ini), dan $\mathbf{c} = \boldsymbol{\beta}^0$ $\boldsymbol{\beta}^0 = \mathbf{0}$
set , yang berarti . $\mathbf{c} = \boldsymbol{\beta}^{K-1}$ $\boldsymbol{\beta}^{K-1} = \mathbf{0}$

Abaikan saja

Namun, terkadang pembatasan itu tidak perlu. Misalnya, jika Anda tertarik untuk membentuk interval kepercayaan untuk kuantitas , maka ini sama dengan , jadi inferensi pada jumlah yang relatif tidak terlalu penting. Juga, jika tugas Anda adalah prediksi dan bukan inferensi parameter, prediksi Anda tidak akan terpengaruh jika semua vektor koefisien diestimasi (tanpa membatasi satu). $\beta^0_1 - \beta^2_1$ $\beta^0_1 - c - [\beta^2_1-c]$

Taylor
sumber