Latar belakang: Banyak penelitian modern dalam ~ 4 tahun terakhir (post alexnet ) tampaknya telah beralih dari menggunakan pretraining generatif untuk jaringan saraf untuk mencapai hasil klasifikasi seni yang mutakhir. Sebagai contoh, hasil teratas untuk mnist di sini hanya mencakup 2 makalah dari...
Saya telah membaca banyak tentang jaringan saraf convoloutional dan bertanya-tanya bagaimana mereka menghindari masalah gradien menghilang. Saya tahu jaringan kepercayaan yang mendalam menumpuk auto-encoders tingkat tunggal atau jaringan dangkal pra-terlatih lainnya dan dengan demikian dapat...
Dalam pembelajaran mesin dasar kita diajarkan "aturan praktis" berikut: a) ukuran data Anda harus setidaknya 10 kali ukuran dimensi VC dari set hipotesis Anda. b) jaringan saraf dengan koneksi N memiliki dimensi VC sekitar N. Jadi ketika sebuah jaringan saraf pembelajaran yang dalam mengatakan,...
Saya melihat ke dalam menggunakan versi LSTM ( memori jangka pendek ) dari jaringan saraf berulang (RNN) untuk memodelkan data deret waktu. Ketika panjang urutan data meningkat, kompleksitas jaringan meningkat. Karena itu saya ingin tahu berapa panjang urutan yang layak untuk model dengan akurasi...
http://www.deeplearningbook.org/contents/ml.html menjelaskan kesalahan bayes seperti di bawah ini Model yang ideal adalah oracle yang hanya tahu distribusi probabilitas sebenarnya yang menghasilkan data. Bahkan model seperti itu masih akan menimbulkan beberapa kesalahan pada banyak masalah,...
Saya mencoba mempelajari cara menggunakan Neural Networks. Saya sedang membaca tutorial ini . Setelah memasang Neural Network pada Time Series menggunakan nilai pada untuk memprediksi nilai pada t + 1 penulis memperoleh plot berikut, di mana garis biru adalah seri waktu, hijau adalah prediksi pada...
Saya belum menemukan jawaban yang memuaskan untuk ini dari google . Tentu saja jika data yang saya miliki adalah urutan jutaan maka pembelajaran mendalam adalah caranya. Dan saya telah membaca bahwa ketika saya tidak memiliki data besar maka mungkin lebih baik menggunakan metode lain dalam...
Saya mempelajari Tutorial ini pada Variational Autoencoders oleh Carl Doersch . Di halaman kedua disebutkan: Salah satu kerangka kerja yang paling populer adalah Varienc Autoencoder [1, 3], subjek tutorial ini. Asumsi model ini lemah, dan pelatihan cepat melalui backpropagation. VAE memang...
Ketika kita mempelajari literatur Neural Networks , kita dapat mengidentifikasi metode lain dengan topologi neuromorfik (arsitektur seperti Neural-Network). Dan saya tidak berbicara tentang Teorema Perkiraan Universal . Contoh diberikan di bawah ini. Lalu, itu membuat saya bertanya-tanya: apa...
Saya melatih jaringan saraf menggunakan i) SGD dan ii) Adam Optimizer. Saat menggunakan SGD normal, saya mendapatkan loss pelatihan yang mulus vs kurva iterasi seperti terlihat di bawah ini (yang merah) Namun, ketika saya menggunakan Adam Optimizer, kurva kehilangan pelatihan memiliki beberapa...
Saya ingin melakukan proyek optical character recognition (OCR). Setelah melakukan beberapa penelitian saya menemukan arsitektur yang tampaknya menarik: CNN + RNN + CTC. Saya akrab dengan jaringan saraf berbelit-belit (CNN), dan jaringan saraf berulang (RNN), tetapi apa itu Classification Temporal...
Pada titik mana kita mulai mengklasifikasikan jaringan saraf berlapis ganda sebagai jaringan saraf dalam atau dengan kata lain 'Berapa jumlah minimum lapisan dalam jaringan saraf
Jika saya memiliki jaringan saraf convolutional (CNN), yang memiliki sekitar 1.000.000 parameter, berapa banyak data pelatihan yang diperlukan (anggap saya sedang melakukan penurunan gradien stokastik)? Apakah ada aturan praktis? Catatan tambahan: Ketika saya melakukan penurunan gradien stokastik...
Katakanlah saya sedang menulis sebuah algoritma untuk membangun 2-layer autoencoder dan 2-layer neural network. Apakah keduanya sama atau berbeda? Apa yang saya pahami adalah bahwa ketika saya membuat autoencoder bertumpuk, saya akan membangun lapis demi lapis. Untuk jaringan saraf, saya akan...
Bagaimana layer embedding dilatih pada layer Keras Embedding? (katakanlah menggunakan tensorflow backend, artinya mirip dengan word2vec, glove atau fasttext) Anggaplah kita tidak menggunakan penyematan
Khususnya dalam konteks kompetisi kaggle saya perhatikan bahwa kinerja model adalah semua tentang pemilihan fitur / teknik. Sementara saya dapat sepenuhnya memahami mengapa hal ini terjadi ketika berhadapan dengan algoritma ML yang lebih konvensional / jadul, saya tidak melihat mengapa ini akan...
Semua contoh yang saya temukan menggunakan keyakinan mendalam atau jaringan saraf convolutional menggunakannya untuk klasifikasi gambar, deteksi bakteri atau pengenalan suara. Apakah jaringan syaraf yang dalam juga berguna untuk tugas-tugas regresi klasik, di mana fitur-fiturnya tidak terstruktur...
Ini dengan merujuk pada kertas Pelokalan Objek Efisien Menggunakan Jaringan Konvolusional , dan dari apa yang saya pahami dropout diimplementasikan dalam 2D. Setelah membaca kode dari Keras tentang bagaimana Dropout 2D Spasial diimplementasikan, pada dasarnya bentuk biner acak [batch_size, 1, 1,...
Literatur pembelajaran yang mendalam penuh dengan trik pintar dengan menggunakan tingkat pembelajaran yang tidak konstan dalam gradient descent. Hal-hal seperti peluruhan eksponensial, RMSprop, Adagrad dll mudah untuk diimplementasikan dan tersedia di setiap paket pembelajaran yang mendalam, namun...
Topologi model Google Inception dapat ditemukan di sini: Google Inception Netowrk Saya perhatikan ada 3 lapisan softmax dalam model ini (# 154, # 152, # 145), dan 2 di antaranya adalah semacam pelarian awal model ini. Dari yang saya tahu, lapisan softmax adalah untuk hasil akhir, jadi mengapa ada...