Saya membaca makalah normalisasi batch (BN) (1) dan tidak mengerti perlunya menggunakan moving average untuk melacak akurasi model dan bahkan jika saya menerima bahwa itu adalah hal yang benar untuk dilakukan, saya tidak mengerti apa yang sebenarnya mereka lakukan. Menurut pemahaman saya (yang...
Sejauh yang saya mengerti, norma batch menormalkan semua fitur input ke layer ke distribusi normal unit, . Mean dan varians diperkirakan dengan mengukur nilainya untuk mini-batch saat ini.N( μ = 0 , σ= 1 )N(μ=0,σ=1)\mathcal{N}(\mu=0,\sigma=1)μ , σ2μ,σ2\mu, \sigma^2 Setelah normalisasi input...
Normalisasi batch telah dikreditkan dengan peningkatan kinerja substansial dalam jaring saraf yang dalam. Banyak materi di internet menunjukkan cara mengimplementasikannya berdasarkan aktivasi-demi-aktivasi. Saya sudah menerapkan backprop menggunakan aljabar matriks, dan mengingat bahwa saya...
Saya ingin melatih jaringan dengan non-linearitas yang menderita menghilangnya (atau meledak masalah gradien meskipun sebagian besar menghilang). Saya tahu bahwa cara standar (saat ini) adalah dengan menggunakan normalisasi batch 1 [BN] 1 atau hanya meninggalkan non-linearitas dan menggunakan unit...