Saya memiliki CNN berikut:

1. Saya mulai dengan gambar input berukuran 5x5
2. Kemudian saya menerapkan konvolusi menggunakan kernel 2x2 dan melangkah = 1, yang menghasilkan fitur peta ukuran 4x4.
3. Lalu saya menerapkan 2x2 max-pooling dengan stride = 2, yang mengurangi fitur map menjadi ukuran 2x2.
4. Kemudian saya menerapkan sigmoid logistik.
5. Kemudian satu lapisan yang terhubung sepenuhnya dengan 2 neuron.
6. Dan lapisan output.

Demi kesederhanaan, mari kita asumsikan saya telah menyelesaikan umpan maju dan dihitung δH1 = 0,25 dan δH2 = -0,15

Jadi setelah lulus maju penuh dan mundur sebagian selesai jaringan saya terlihat seperti ini:

Kemudian saya menghitung delta untuk lapisan non-linear (logistic sigmoid):

$$\begin{align} &\delta_{11}=(0.25 * 0.61 + -0.15 * 0.02) * 0.58 * (1 - 0.58) = 0.0364182\\ &\delta_{12}=(0.25 * 0.82 + -0.15 * -0.50) * 0.57 * (1 - 0.57) = 0.068628\\ &\delta_{21}=(0.25 * 0.96 + -0.15 * 0.23) * 0.65 * (1 - 0.65) = 0.04675125\\ &\delta_{22}=(0.25 * -1.00 + -0.15 * 0.17) * 0.55 * (1 - 0.55) = -0.06818625\\ \end{align}$$

Kemudian, saya menyebarkan delta ke layer 4x4 dan mengatur semua nilai yang disaring oleh max-pooling ke 0 dan gradient map terlihat seperti ini:

Bagaimana cara memperbarui bobot kernel dari sana? Dan jika jaringan saya memiliki lapisan konvolusional lain sebelum 5x5, nilai apa yang harus saya gunakan untuk memperbaruinya bobot kernel? Dan secara keseluruhan, apakah perhitungan saya benar?

Konvolusi menggunakan prinsip pembagian berat yang akan menyulitkan matematika secara signifikan tetapi mari kita coba untuk melewati gulma. Saya menarik sebagian besar penjelasan saya dari sumber ini .

---

Maju terus

Ketika Anda mengamati lintasan ke depan dari lapisan konvolusional dapat dinyatakan sebagai

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

di mana dalam kasus kami $k_1$ dan $k_2$ adalah ukuran kernel, dalam kasus kami $k_1=k_2=2$ . Jadi ini mengatakan untuk output $x_{0,0} = 0.25$ seperti yang Anda temukan. $m$ dan $n$ iterate melintasi dimensi kernel.

Backpropagation

Dengan asumsi Anda menggunakan mean squared error (MSE) yang didefinisikan sebagai

$E = \frac{1}{2}\sum_p (t_p - y_p)^2$,

kami ingin menentukan

$\frac{\partial E}{\partial w^l_{m', n'}}$ untuk memperbarui bobot. $m'$dan$n'$adalah indeks dalam matriks kernel yang tidak dapat dikacaukan dengan iteratornya. Misalnya$w^1_{0,0} = -0.13$ dalam contoh kita. Kita juga dapat melihat bahwa untuk gambar input$H$ x$K$ dimensi output setelah lapisan konvolusional

$(H-k_1+1)$ x $(W-k_2+1)$ .

$4$$4$$w^1_{0,0} = -0.13$$x^1_{0,0} = 0.25$

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \frac{\partial E}{\partial x^l_{i, j}} \frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}}$

Ini mengulangi seluruh ruang output, menentukan kesalahan bahwa output berkontribusi dan kemudian menentukan faktor kontribusi bobot kernel sehubungan dengan output itu.

Mari kita sebut kontribusi kesalahan dari delta ruang output untuk kesederhanaan dan untuk melacak kesalahan backpropagated,

$\frac{\partial E}{\partial x^l_{i, j}} = \delta^l_{i,j}$

Kontribusi dari bobot

Konvolusi didefinisikan sebagai

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

jadi,

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = \frac{\partial}{\partial w^l_{m', n'}} (\sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l)$

$m=m'$$n=n'$

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = o^{l-1}_{i+m', j+n'}$.

Then back in our error term

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \delta_{i,j}^l o^{l-1}_{i+m', j+n'}$.

Stochastic gradient descent

$w^{(t+1)} = w^{(t)} - \eta \frac{\partial E}{\partial w^l_{m', n'}}$

Let's calculate some of them

import numpy as np
from scipy import signal
o = np.array([(0.51, 0.9, 0.88, 0.84, 0.05), 
              (0.4, 0.62, 0.22, 0.59, 0.1), 
              (0.11, 0.2, 0.74, 0.33, 0.14), 
              (0.47, 0.01, 0.85, 0.7, 0.09),
              (0.76, 0.19, 0.72, 0.17, 0.57)])
d = np.array([(0, 0, 0.0686, 0), 
              (0, 0.0364, 0, 0), 
              (0, 0.0467, 0, 0), 
              (0, 0, 0, -0.0681)])

gradient = signal.convolve2d(np.rot90(np.rot90(d)), o, 'valid')

array([[ 0.044606, 0.094061], [ 0.011262, 0.068288]])

Now you can put that into the SGD equation in place of $\frac{\partial E}{\partial w}$.

---

Please let me know if theres errors in the derivation.

---

Update: Corrected code