memahami normalisasi batch

Dalam makalah Normalisasi Batch: Mempercepat Pelatihan Jaringan Dalam dengan Mengurangi Pergeseran Kovarian Internal (di sini ) Sebelum menjelaskan proses normalisasi bets, makalah ini mencoba menjelaskan masalah yang terkait dengan (saya tidak mendapatkan apa masalah yang sebenarnya dibahas di sini) .

kutipan dari bagian 2, para 2:

Kami dapat mempertimbangkan pemutihan aktivasi di setiap langkah pelatihan atau pada beberapa interval, baik dengan memodifikasi jaringan secara langsung atau dengan mengubah parameter algoritma pengoptimalan agar bergantung pada nilai aktivasi jaringan (Wiesler et al., 2014; Raiko et al., 2012 ; Povey et al., 2014; Desjardins & Kavukcuoglu). Namun, jika modifikasi ini diselingi dengan langkah-langkah optimasi, maka langkah penurunan gradien dapat mencoba untuk memperbarui parameter dengan cara yang mengharuskan normalisasi diperbarui, yang mengurangi efek langkah gradien. Sebagai contoh, pertimbangkan layer dengan input u yang menambahkan bias yang dipelajari$b$, dan menormalkan hasilnya dengan mengurangi rata-rata aktivasi yang dihitung dari data pelatihan: $\hat x= x − E[x]$ dimana $x = u + b, X = {x_{1...N}}$ adalah himpunan nilai $x$ selama set pelatihan, dan $E[x] = \frac 1 N(\sum_{i=1}^nx_i)$ .

Jika langkah gradient descent mengabaikan ketergantungan E [x] pada b, maka itu akan memperbarui $b ← b + ∆b$dimana $∆b ∝ −\partial l/\partial\hat x$. Kemudian

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$ .

Dengan demikian, kombinasi dari pembaruan ke b dan perubahan normalisasi berikutnya tidak menyebabkan perubahan pada output lapisan atau, akibatnya, hilangnya. Saat pelatihan berlanjut, b akan tumbuh tanpa batas waktu sementara kerugiannya tetap. Masalah ini bisa menjadi lebih buruk jika normalisasi tidak hanya pusat tetapi juga skala aktivasi.

di sini adalah pemahaman saya tentang literatur:

1. Kami memiliki batch ukuran N (Satu batch pelatihan)

2. Biarkan ada dua lapisan tersembunyi yang saling terhubung satu sama lain (L1 dan L2) yang dihubungkan oleh parameter $W$ dan $b$

3. output yang keluar dari L1 adalah x1

4. $u = x1W$ (Di sinilah literatur di atas dimulai. dimensi u adalah MxN) (M adalah jumlah unit dalam L2)

5. $x = u+b$ (dimensi b = dimensi x = dimensi u = MxN)

6. Sekarang sebelum memasukkan x ke dalam L2 kami memusatkannya dengan mengurangi rata-rata $x$ dari setiap entri $x$ ($\hat x= x − E[x]$)

7. Kami menghitung kehilangan dan backpropogate gradien dan memperbarui hanya lapisan ini $b$untuk memberikan tes kewarasan. Baru$b$ = $b + \Delta b$

8. Kami menjalankannya lagi di batch yang sama dengan yang diperbarui $b$

9. ulangi 3 dan 4

10. $x_{new} = u+b + \Delta b$ (dimensi b, $\Delta b$ = dimensi x = dimensi u = MxN)

11. Sekarang sebelum memasukkan x ke dalam L2 kami memusatkannya dengan mengurangi rata-rata $x$ dari setiap entri $x$ ($\hat x = x + \Delta b − E[x + \Delta b] = x - E[x]$). yang sama dengan apa yang dihitung sebelum memperbarui b dan karenanya memperbarui b harus berpengaruh pada pelatihan

Pertanyaan saya adalah dengan bagian dari kutipan ini:

"Jika langkah gradient descent mengabaikan ketergantungan E [x] pada b, maka itu akan diperbarui $b ← b + ∆b$dimana $∆b ∝ −\partial l/\partial\hat x$. Kemudian

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$ . "

Kenapa

"

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$ "Tergantung pada apa yang datang sebelum itu? Apa gunanya bahkan sedikit? Harap juga perhatikan penggunaan kata" Lalu "(dibuat berani) menyiratkan pernyataan itu tentu menarik kausalitas dari apa yang datang sebelumnya.

Mari kita asumsikan bahwa Anda mencoba meminimalkan kerugian berikut untuk tugas yang diberikan,

$$\ell(y, \hat{y}) = \frac{1}{2}\| y - \hat{y}\|^2,$$ where $\| \cdot\|$ is the Eucledian distance, and the predicted output is $\hat{y} =\hat{x}$ for simplicity. The gradients then can be computed as follow:

$$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot \frac{\partial\hat{x}}{\partial b}, \hspace{20pt} \Delta \omega = - \frac{\partial\ell}{\partial\hat{x}} \cdot \frac{\partial\hat{x}}{\partial \omega}$$

Now, the gradient of $\hat{x}$ with respect to the bias $b$ is

$$\frac{\partial\hat{x}}{\partial b} = \frac{\partial}{\partial b}(x-E[x]) = \frac{\partial}{\partial b}\left((u+b)-E[(u+b)]\right) = 1 - \frac{\partial}{\partial b}E[(u+b)]$$

Ignoring the fact $E(x)$ is dependant on $b$ makes the above gradient equals to 1, and hence keeps updating the bias as follow:

$$\frac{\partial\hat{x}}{\partial b} = 1 - \frac{\partial}{\partial b}E[x] = 1 -0 = 1$$ and then

$$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot (1), \hspace{20pt} b \leftarrow b + \Delta b$$

Otherwise, if you wanna consider this dependency, the gradient becomes 0, and hence no update as follow:

$$\frac{\partial\hat{x}}{\partial b} = 1 - \frac{\partial}{\partial b}E[u+b] = 1 - \left(\frac{\partial}{\partial b}E[u]+\frac{\partial}{\partial b}E[b]\right) = 1 - (0+1) = 0$$ and then $$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot (0), \hspace{20pt} b \leftarrow b + 0$$

Dalam kedua kasus, terlepas dari pembaruan bias, fungsi kerugian akan tetap diperbaiki,

$$u+(b+\Delta b)−E[u+(b+∆b)]=u+b−E[u+b],$$

Namun, dalam kasus pertama, bias akan tumbuh tanpa batas.