Normalisasi batch telah dikreditkan dengan peningkatan kinerja substansial dalam jaring saraf yang dalam. Banyak materi di internet menunjukkan cara mengimplementasikannya berdasarkan aktivasi-demi-aktivasi. Saya sudah menerapkan backprop menggunakan aljabar matriks, dan mengingat bahwa saya...
Dalam buku Deep Learning Ian Goodfellow , tertulis itu Terkadang, fungsi kerugian yang benar-benar kita pedulikan (katakanlah, kesalahan klasifikasi) bukan salah satu yang dapat dioptimalkan secara efisien. Misalnya, meminimalkan kerugian yang diharapkan 0-1 yang diharapkan biasanya tidak dapat...
Kemajuan baru-baru ini dalam jaringan saraf dirangkum oleh urutan arsitektur novel yang ditandai terutama dengan kompleksitas desain yang berkembang. Dari LeNet5 (1994) hingga AlexNet (2012), hingga Overfeat (2013) dan GoogleLeNet / Inception (2014) dan seterusnya ... Apakah ada upaya untuk...
Deskripsi: Biarkan domain masalah menjadi klasifikasi dokumen di mana terdapat satu set vektor fitur, masing-masing milik 1 atau lebih kelas. Misalnya, dokumen doc_1mungkin milik Sportsdan Englishkategori. Pertanyaan: Menggunakan jaringan saraf untuk klasifikasi, apa label untuk vektor fitur?...
Berikut ini adalah contoh kode keras yang menggunakannya: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu',
Pertama-tama: Saya tahu, tidak ada jumlah umum ukuran sampel yang diperlukan untuk melatih jaringan saraf. Itu tergantung pada terlalu banyak faktor seperti kerumitan tugas, kebisingan dalam data dan sebagainya. Dan semakin banyak sampel pelatihan yang saya miliki, semakin baik jaringan...
Saya memiliki dataset yang sangat besar dan sekitar 5% nilai acak hilang. Variabel-variabel ini berkorelasi satu sama lain. Contoh berikut dataset R hanyalah contoh mainan dengan data berkorelasi dummy. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE),...
Apakah ada perbedaan antara istilah "jaringan saraf" dan
LSTM dalam kode Keras berikut input_t = Input((4, 1)) output_t = LSTM(1)(input_t) model = Model(inputs=input_t, outputs=output_t) print(model.summary()) dapat direpresentasikan sebagai Saya mengerti bahwa ketika kita memanggil model.predict(np.array([[[1],[2],[3],[4]]]))(hanya) unit LSTM...
Baru-baru ini saya membaca beberapa makalah tentang jaringan saraf Bayesian (BNN) [Neal, 1992] , [Neal, 2012] , yang memberikan kemungkinan hubungan antara input dan output dalam jaringan saraf. Pelatihan seperti jaringan saraf adalah melalui MCMC yang berbeda dari algoritma back-propagation...
Saya sedang belajar dan mencoba menerapkan jaringan saraf convolutional, tetapi saya kira pertanyaan ini berlaku untuk perceptrons multilayer secara umum. Neuron keluaran di jaringan saya mewakili aktivasi setiap kelas: neuron paling aktif sesuai dengan kelas prediksi untuk input yang diberikan....
Katakanlah saya menggunakan RNN / LSTM untuk melakukan analisis sentimen, yang merupakan pendekatan banyak-ke-satu (lihat blog ini ). Jaringan dilatih melalui backpropagation terpotong terpotong (BPTT), di mana jaringan dibuka untuk hanya 30 langkah terakhir seperti biasa. Dalam kasus saya,...
Saya telah melihat ceramah CS231N dari Stanford dan saya mencoba untuk membungkus kepala saya di beberapa masalah dalam arsitektur CNN. Apa yang saya coba pahami adalah jika ada beberapa pedoman umum untuk memilih ukuran filter konvolusi dan hal-hal seperti langkah atau apakah ini lebih merupakan...
Saya memiliki dataset yang berisi 34 kolom input dan 8 kolom output. Salah satu cara untuk memecahkan masalah adalah dengan mengambil 34 input dan membangun model regresi individual untuk setiap kolom output. Saya bertanya-tanya apakah masalah ini dapat diselesaikan dengan hanya menggunakan satu...
Membaca Melangkah lebih dalam dengan konvolusi Saya menemukan lapisan DepthConcat , sebuah blok bangunan dari modul awal yang diusulkan , yang menggabungkan output beberapa tensor dengan berbagai ukuran. Penulis menyebutnya "Filter Concatenation". Tampaknya ada implementasi untuk Torch , tapi saya...
Bagaimana cara menyandikan tanggal dan waktu acara untuk jaringan saraf? Saya tidak memiliki rangkaian waktu terus menerus, tetapi beberapa peristiwa dengan tanggal dan waktu, dan saya menganalisis beberapa jenis minat. Ketertarikan ini berbeda antara pagi dan malam, dan berbeda antara hari kerja,...
Jika kita memproses 10 contoh dalam satu batch, saya mengerti kita bisa menjumlahkan kerugian untuk setiap contoh, tetapi bagaimana cara backpropagation dalam hal memperbarui bobot untuk masing-masing contoh? Sebagai contoh: Contoh 1 -> kerugian = 2 Contoh 2 -> kerugian = -2 Ini...
Fungsi softmax, yang biasa digunakan dalam jaringan saraf untuk mengubah bilangan real menjadi probabilitas, adalah fungsi yang sama dengan distribusi Boltzmann, distribusi probabilitas atas energi untuk ensembel partikel dalam kesetimbangan termal pada suhu T yang diberikan dalam...
Saya membaca makalah Deep Residual Learning untuk Pengenalan Gambar dan saya mengalami kesulitan memahami dengan kepastian 100% apa yang diperlukan oleh blok residual secara komputasi. Membaca makalah mereka, mereka memiliki angka 2: yang menggambarkan apa yang seharusnya menjadi Blok Residual....
Latar Belakang: Saya sedang mempelajari Bab 6 Pembelajaran Jauh oleh Ian Goodfellow dan Yoshua Bengio dan Aaron Courville. Pada bagian 6.2.2.2 (halaman 182 dari 183 yang dapat dilihat di sini ) penggunaan sigmoid untuk output termotivasi.P( y= 1 | x )P(y=1|x)P(y=1|x) Untuk meringkas beberapa...