Digunakan untuk pertanyaan tentang Backpropagation, yang biasanya digunakan dalam melatih Jaringan Neural bersama dengan metode pengoptimalan seperti penurunan gradien.
Ini adalah pertanyaan konseptual kecil yang telah mengganggu saya untuk sementara waktu: Bagaimana kita dapat kembali-menyebar melalui lapisan max-pooling dalam jaringan saraf? Saya menemukan max-pooling layers saat membaca tutorial ini untuk library nn Torch 7. Pustaka mengabstraksi perhitungan...
Saya telah menggunakan jaringan saraf untuk sementara waktu sekarang. Namun, satu hal yang selalu saya perjuangkan adalah pemilihan pengoptimal untuk melatih jaringan (menggunakan backprop). Apa yang biasanya saya lakukan hanyalah mulai dengan satu (misalnya SGD standar) dan kemudian coba yang lain...
Saya mengalami beberapa kesulitan dalam menurunkan propagasi kembali dengan ReLU, dan saya melakukan beberapa pekerjaan, tetapi saya tidak yakin apakah saya berada di jalur yang benar. Fungsi Biaya: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2di manayyyadalah nilai riil, dan y adalah nilai prediksi....
Saya memiliki CNN berikut: Saya mulai dengan gambar input berukuran 5x5 Kemudian saya menerapkan konvolusi menggunakan kernel 2x2 dan melangkah = 1, yang menghasilkan fitur peta ukuran 4x4. Lalu saya menerapkan 2x2 max-pooling dengan stride = 2, yang mengurangi fitur map menjadi ukuran 2x2....
Apakah saya akan mengenakan LSTM saya jika saya melatihnya melalui pendekatan sliding-window? Mengapa orang tampaknya tidak menggunakannya untuk LSTM? Untuk contoh yang disederhanakan, asumsikan bahwa kita harus memprediksi urutan karakter: A B C D E F G H I J K L M N O P Q R S T U V W X Y...
Saya punya sub-pertanyaan kecil untuk pertanyaan ini . Saya mengerti bahwa ketika kembali-merambat melalui lapisan pooling max gradien dirutekan kembali dengan cara yang neuron di lapisan sebelumnya yang dipilih sebagai max mendapatkan semua gradien. Yang saya tidak yakin 100% adalah bagaimana...
Saya mencoba mencari tahu berapa berat dan bias yang dibutuhkan untuk CNN. Katakanlah saya memiliki (3, 32, 32) gambar dan ingin menerapkan filter (32, 5, 5). Untuk setiap peta fitur, saya memiliki bobot 5x5, jadi saya harus memiliki parameter 3 x (5x5) x 32. Sekarang saya perlu menambahkan bias....
Saya memiliki dua tensor a:[batch_size, dim] b:[batch_size, dim]. Saya ingin melakukan produk dalam untuk setiap pasangan dalam batch, menghasilkan c:[batch_size, 1], di mana c[i,0]=a[i,:].T*b[i,:].
Mari kita asumsikan bahwa kita menggunakan ukuran batch 100 sampel untuk belajar. Jadi dalam setiap batch, berat setiap neuron (dan bias, dll) sedang diperbarui dengan menambahkan minus dari tingkat pembelajaran * nilai kesalahan rata-rata yang kami temukan menggunakan 100 sampel * turunan dari...
Ini adalah fakta yang diketahui bahwa jaringan 1-layer tidak dapat memprediksi fungsi xor, karena tidak dapat dipisahkan secara linear. Saya mencoba membuat jaringan 2-layer, menggunakan fungsi sigmoid logistik dan backprop, untuk memprediksi xor. Jaringan saya memiliki 2 neuron (dan satu bias)...
Saya baru-baru melakukan pekerjaan rumah di mana saya harus belajar model untuk klasifikasi 10 digit MNIST. HW memiliki beberapa kode perancah dan saya seharusnya bekerja dalam konteks kode ini. Pekerjaan rumah saya bekerja / lulus tes tetapi sekarang saya mencoba untuk melakukan semuanya dari...
Saya dapat melihat dua motif untuk menggunakan Gradien Sintetis di RNN: Untuk mempercepat pelatihan, dengan segera mengoreksi setiap lapisan dengan gradien yang diprediksi Untuk dapat mempelajari urutan yang lebih lama Saya melihat masalah dengan keduanya. Harap dicatat, saya sangat suka...