Bias regresi Softmax dan probabilitas sebelumnya untuk kelas yang tidak sama

Sejauh yang saya tahu, pembenaran untuk inisialisasi softmax bias agak bergelombang. Ingat regresi softmax adalah estimasi kemungkinan maksimum (log) untuk , dengan modelnya sebagai berikut: Dengan inisialisasi bias, niat kami adalah untuk menemukan nilai yang baik dengan mana mulai tinggi. Dengan asumsi bahwa kita menginisialisasi dengan nilai mendekati-0 kecil dan itu $W,\textbf{b}$

y \sim Cat (σ (W x + b)); σ_{i} (z) = \frac{\exp z_{i}}{\sum_{j} \exp z_{j}} .

$\DeclareMathOperator{cat}{Cat} \newcommand{\norm}[1]{\left\| #1 \right\|} \newcommand{vsigma}{{\boldsymbol\sigma}} \newcommand{vx}{{\textbf{x}}} \newcommand{vb}{{\textbf{b}}} \newcommand{vz}{{\textbf{z}}} y\sim\cat(\vsigma(W\vx+\vb)); \;\;\;\sigma_i(\vz)=\frac{\exp z_i}{\sum_j\exp z_j}.$

b

$\vb$

p (x, y | W, b) \propto p (y | W, b, x)

$p(\vx, y|W,\vb)\propto p( y|W,\vb,\vx)$

W

$W$

y

$y$ adalah label dalam , jadi: Menambahkan kemungkinan log untuk semua contoh yang diasumsikan independen , a inisialisasi yang baik untuk akan meminimalkan kemungkinan total perkiraan log data: dari wrt di atas adalah , dengan vektor jumlah setiap kelas. Fungsi di atas juga cekung,

[K]

$[K]$

W x \approx 0

$W\vx\approx 0$

\log p (y | W, b, x) = \sum_{k = 1}^{K} 1_{y = k} \log σ_{k} (W x + b) \approx \log σ_{y} (b)

$\log p( y|W,\vb,\vx)=\sum_{k=1}^K1_{y=k}\log \sigma_k(W\vx + \vb)\approx\log\sigma_y(\vb)$

{(x_{i}, y_{i})}_{i = 1}^{n}

$\{(\vx_i,y_i)\}_{i=1}^n$

b

$\vb$

\sum_{i = 1}^{n} \log σ_{y_{i}} (b) = \sum_{i = 1}^{n} b_{y_{i}} - n \log \sum_{k = 1}^{K} \exp b_{k}

$\newcommand{vc}{{\textbf{c}}} \sum_{i=1}^n\log\sigma_{y_i}(\vb)=\sum_{i=1}^nb_{y_i}-n\log\sum_{k=1}^K\exp b_k$

b

$\vb$

c - n σ (b)

$\vc-n\vsigma(\vb)$

c \in N^{K}

$\vc\in\mathbb{N}^K$ lihat pertanyaan di sini tentang smooth max sebagai bukti.

Dua fakta di atas menunjukkan maksimum tersedia setiap kali . Ini, pada gilirannya, menunjukkan inisialisasi yang layak untuk istilah ke- dari bias memang , proporsi contoh label dalam set pelatihan (alias statistik marjinal). Anda mungkin melihat bahwa Anda dapat menambahkan konstanta apa pun ke dan mencapai bias memaksimalkan kemungkinan lainnya juga; Namun, skala besar akan mendapatkan cara belajar . Hubungan dengan bias logistik tidak kebetulan --- tutorial ini membahas kesamaannya. $\vsigma(\vb)=\vc/n$ $i$ $b_i$ $\vb$ $\log p_i$ $i$ $\vb$ $W$

VF1
sumber

Bias regresi Softmax dan probabilitas sebelumnya untuk kelas yang tidak sama

Jawaban: