Apa sebenarnya blok Pembelajaran Residual dalam konteks Deep Residual Networks in Deep Learning?

Saya membaca makalah Deep Residual Learning untuk Pengenalan Gambar dan saya mengalami kesulitan memahami dengan kepastian 100% apa yang diperlukan oleh blok residual secara komputasi. Membaca makalah mereka, mereka memiliki angka 2:

yang menggambarkan apa yang seharusnya menjadi Blok Residual. Apakah perhitungan blok residu sama dengan:

y = σ (W_{2} σ (W_{1} x + b_{1}) + b_{2} + x)

$\mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} )$

Atau itu sesuatu yang lain?

Dengan kata lain mungkin untuk mencoba mencocokkan notasi kertas, adalah:

F (x) + x = [W_{2} σ (W_{1} x + b_{1}) + b_{2}] + x

$\mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x}$

Benarkah itu?

$\mathbf{y}$

σ (F (x) + x) = σ ([W_{2} σ (W_{1} x + b_{1}) + b_{2}] + x)

$\sigma( \mathcal F(x) + x ) = \sigma( \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} )$

$\sigma$

machine-learning neural-networks deep-learning conv-neural-network residual-networks Charlie Parker
sumber

is x is positive relu (x) = x

Ray Tayek

Apa sebenarnya blok Pembelajaran Residual dalam konteks Deep Residual Networks in Deep Learning?

Jawaban: