Bagaimana cara menghitung jangka waktu delta dari Lapisan Konvolusional, mengingat syarat dan berat delta dari Lapisan Konvolusional sebelumnya?

Saya mencoba untuk melatih jaringan saraf tiruan dengan dua lapisan convolutional (c1, c2) dan dua lapisan tersembunyi (c1, c2). Saya menggunakan pendekatan backpropagation standar. Dalam pass mundur saya menghitung istilah kesalahan lapisan (delta) berdasarkan kesalahan lapisan sebelumnya, bobot lapisan sebelumnya dan gradien aktivasi sehubungan dengan fungsi aktivasi lapisan saat ini. Lebih khusus delta layer l terlihat seperti ini:

delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l)

Saya dapat menghitung gradien c2, yang terhubung ke layer biasa. Saya hanya mengalikan bobot h1 dengan delta itu. Kemudian saya membentuk kembali matriks itu ke dalam bentuk output dari c2, kalikan dengan gradien fungsi aktivasi dan saya selesai.

Sekarang saya memiliki istilah delta c2 - Yang merupakan matriks ukuran 4D (featureMapSize, featureMapSize, filterNum, patternNum). Selanjutnya saya memiliki bobot c2, yang merupakan matriks ukuran 3D (filterSize, filterSize, filterNum).

Dengan dua istilah ini dan gradien aktivasi c1 saya ingin menghitung delta c1.

Singkat cerita:

Mengingat istilah delta dari lapisan konvolusional sebelumnya dan bobot dari lapisan itu, bagaimana cara saya menghitung istilah delta dari lapisan konvolusional?

machine-learning data-mining neural-network deep-learning cdwoelk
sumber

Saya pertama-tama menurunkan kesalahan untuk lapisan konvolusional di bawah ini untuk kesederhanaan untuk array satu dimensi (input) yang dapat dengan mudah ditransfer ke multidimensi lalu:

Kami berasumsi di sini bahwa panjang adalah input dari konv. lapisan, adalah kernel-ukuran bobot yang menunjukkan masing-masing berat badan dengan dan output adalah . Maka kita dapat menulis (perhatikan penjumlahan dari nol): mana dan fungsi aktivasi (misalnya sigmoidal). Dengan ini, kita sekarang dapat mempertimbangkan beberapa fungsi kesalahan dan fungsi kesalahan pada lapisan konvolusional (salah satu lapisan sebelumnya) yang diberikan oleh $y^{l-1}$ $N$ $l-1$ $m$ $w$ $w_i$ $x^l$

x_{i}^{l} = \sum_{a = 0}^{m - 1} w_{a} y_{a + i}^{l - 1}

$x_i^l = \sum\limits_{a=0}^{m-1} w_a y_{a+i}^{l-1}$

y_{i}^{l} = f (x_{i}^{l})

$y_i^l = f(x_i^l)$

f

$f$

E

$E$

\partial E / \partial y_{i}^{l}

$\partial E / \partial y_i^l$ . Kami sekarang ingin mengetahui ketergantungan kesalahan pada salah satu bobot pada lapisan sebelumnya: mana kita memiliki jumlah atas semua ekspresi di mana terjadi, yaitu . Perhatikan juga bahwa kita tahu istilah terakhir muncul dari fakta bahwa yang dapat Anda lihat dari persamaan pertama. Untuk menghitung gradien kita perlu mengetahui istilah pertama, yang dapat dihitung dengan:

\frac{\partial E}{\partial w_{a}} = \sum_{a = 0}^{N - m} \frac{\partial E}{\partial x_{i}^{l}} \frac{\partial x_{i}^{l}}{\partial w_{a}} = \sum_{a = 0}^{N - m} \frac{\partial E}{\partial w_{a}} y_{i + a}^{l - 1}

$\begin{equation} \frac{\partial E}{\partial w_a} = \sum\limits_{a=0}^{N-m} \frac{\partial E}{\partial x_i^l} \frac{\partial x_i^l}{\partial w_a} = \sum\limits_{a=0}^{N-m}\frac{\partial E}{\partial w_a} y_{i+a}^{l-1} \end{equation}$

w_{a}

$w_a$

N - m

$N-m$

\frac{\partial x_{i}^{l}}{\partial w_{a}} = y_{i + a}^{l - 1}

$\frac{\partial x_i^l}{\partial w_a}= y_{i+a}^{l-1}$

\frac{\partial E}{\partial x_{i}^{l}} = \frac{\partial E}{\partial y_{i}^{l}} \frac{\partial y_{i}^{l}}{\partial x_{i}^{l}} = \frac{\partial E}{\partial y_{i}^{l}} \frac{\partial}{\partial x_{i}^{l}} f (x_{i}^{l})

$\frac{\partial E}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial y_i^l}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial}{\partial x_i^l} f(x_i^{l})$ di mana lagi istilah pertama adalah kesalahan dalam lapisan sebelumnya dan fungsi aktivasi nonlinier.

f

$f$

Dengan memiliki semua entitas yang diperlukan, kini kami dapat menghitung kesalahan dan menyebarkannya kembali secara efisien ke lapisan berharga: Perhatikan bahwa langkah terakhir dapat mudah dimengerti saat menuliskan -s wrt -s. The mengacu pada maxtrix berat dialihkan ( ).

δ_{a}^{l - 1} = \frac{\partial E}{\partial y_{i}^{l - 1}} = \sum_{a = 0}^{m - 1} \frac{\partial E}{\partial x_{i - a}^{l}} \frac{\partial x_{i - a}^{l}}{\partial y_{i}^{l - 1}} = \sum_{a = 0}^{m - 1} \frac{\partial E}{\partial x_{i - a}^{l}} w_{a}^{f l i p p e d}

$\delta^{l-1}_a = \frac{\partial E}{\partial y_i^{l-1} } = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x_{i-a}^l} \frac{\partial x_{i-a}^l}{\partial y_i^{l-1}} = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x^l_{i-a}} w_a^{flipped}$

x_{i}^{l}

$x_i^l$

y_{i}^{l - 1}

$y_i^{l-1}$

f l i p p e d

$flipped$

T

$T$

Oleh karena itu Anda bisa menghitung kesalahan di lapisan berikutnya dengan (sekarang dalam notasi vektor):

δ^{l} = (w^{l})^{T} δ^{l + 1} f^{'} (x^{l})

$\delta^{l} = (w^{l})^{T} \delta^{l+1} f'(x^{l})$

yang menjadi untuk lapisan convolutional dan subsampling: mana Operasi menyebarkan kesalahan melalui lapisan pengumpulan max.

δ^{l} = u p s a m p l e ((w^{l})^{T} δ^{l + 1}) f^{'} (x^{l})

$\delta^{l} = upsample((w^{l})^{T} \delta^{l+1}) f'(x^{l})$

u p s a m p l e

$upsample$

Silakan tambahkan atau koreksi saya!

Untuk referensi lihat:

http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

dan untuk implementasi C ++ (tanpa persyaratan untuk menginstal): https://github.com/nyanp/tiny-cnn#supported-networks

LeoW.
sumber

Bagaimana cara menghitung jangka waktu delta dari Lapisan Konvolusional, mengingat syarat dan berat delta dari Lapisan Konvolusional sebelumnya?

Jawaban: