Saya tertarik pada Pembelajaran (Jauh) Penguatan (RL) . Sebelum menyelam ke bidang ini, haruskah saya mengambil kursus di Game Theory (GT) ? Bagaimana hubungan GT dan RL
Baru-baru ini, kami melihat kemunculan Residual Neural Net, di mana, setiap lapisan terdiri dari modul komputasi dan koneksi pintasan yang mempertahankan input ke lapisan seperti output dari pameran lapisan ke-i: Jaringan memungkinkan untuk mengekstraksi fitur residu dan memungkinkan untuk...
Saya ragu tentang bagaimana tepatnya fungsi kerugian dari Deep Q-Learning Network dilatih. Saya menggunakan jaringan feedforward 2 layer dengan lapisan output linear dan lapisan tersembunyi relu. Anggaplah saya memiliki 4 tindakan yang memungkinkan. Dengan demikian, output dari jaringan saya...
Ini adalah sesuatu yang saya baca di buku Ian Goodfellow, Deep Learning . Dalam konteks jaringan saraf, "hukuman norma parameter L2 umumnya dikenal sebagai pembusukan berat. Strategi regularisasi ini mendorong bobot lebih dekat ke titik asal [...]. Secara umum, kita dapat mengatur parameter agar...
Dalam tugas visi komputer, seperti klasifikasi objek, dengan Convolutional Neural Networks (CNN), jaringan memberikan kinerja yang menarik. Tapi saya tidak yakin bagaimana mengatur parameter di lapisan convolutional. Sebagai contoh, gambar grayscale ( 480x480), lapisan konvolusional pertama dapat...
Saya memiliki dataset tidak seimbang dalam tugas klasifikasi biner, di mana jumlah positif vs jumlah negatif adalah 0,3% vs 99,7%. Kesenjangan antara positif dan negatif sangat besar. Ketika saya melatih CNN dengan struktur yang digunakan dalam masalah MNIST, hasil pengujian menunjukkan Tingkat...
Kapan seseorang ingin melakukan kliping gradien saat melatih RNN atau CNN? Saya terutama tertarik pada yang terakhir. Apa nilai awal yang baik untuk kliping? (Tentu saja bisa
Apa perbedaan antara Variational Bayes yang dikodekan secara otomatis dan Backpropagation Stochastic untuk Deep Generative Models ? Apakah kesimpulan dalam kedua metode menghasilkan hasil yang sama? Saya tidak mengetahui adanya perbandingan eksplisit antara kedua metode, meskipun demikian kedua...
Apakah mungkin untuk melatih jaringan saraf untuk menggambar dengan gaya tertentu? (Jadi itu mengambil gambar dan menggambar ulang dengan gaya yang dilatihnya.) Apakah ada teknologi yang disetujui untuk hal semacam itu? Saya tahu tentang algoritma DeepArt. Adalah baik untuk mengisi gambar utama...
Katakanlah saya memiliki beberapa arsitektur model pembelajaran yang mendalam, serta ukuran mini-batch yang dipilih. Bagaimana saya mendapatkan dari persyaratan memori yang diharapkan untuk melatih model itu? Sebagai contoh, pertimbangkan model (tidak berulang) dengan input dimensi 1000, 4 lapisan...
Apakah ada aturan praktis antara kedalaman jaringan saraf dan tingkat pembelajaran? Saya telah memperhatikan bahwa semakin dalam jaringannya, semakin rendah tingkat pembelajarannya. Jika itu benar, mengapa
Dalam hal perbedaan antara jaringan saraf dan pembelajaran yang mendalam, kita dapat membuat daftar beberapa item, seperti lebih banyak lapisan yang disertakan, kumpulan data yang besar, perangkat keras komputer yang kuat untuk membuat model pelatihan yang rumit menjadi mungkin. Selain itu, apakah...
Saya menggunakan Bidirectional RNN untuk mendeteksi peristiwa terjadinya ketidakseimbangan. Kelas positif 100 kali lebih jarang daripada kelas negatif. Meskipun tidak ada penggunaan regularisasi saya bisa mendapatkan akurasi 100% pada set kereta dan 30% pada set validasi. Saya menyalakan...
Saya membaca tentang SVM dan mengetahui bahwa mereka menyelesaikan masalah optimisasi dan ide margin maksimum sangat masuk akal. Sekarang, menggunakan kernel mereka bahkan dapat menemukan batas pemisahan non-linear yang hebat. Sejauh ini, saya benar-benar tidak tahu bagaimana SVM (mesin kernel...
Dalam makalah RCNN Lebih Cepat ketika berbicara tentang penahan, apa artinya dengan menggunakan "piramida kotak referensi" dan bagaimana hal ini dilakukan? Apakah ini hanya berarti bahwa pada setiap titik jangkar W * H * k dihasilkan kotak pembatas? Di mana W = lebar, H = tinggi, dan k = jumlah...
Dalam makalah WaveNet baru-baru ini , penulis merujuk pada model mereka yang memiliki tumpukan lapisan konvolusi melebar. Mereka juga menghasilkan bagan berikut, menjelaskan perbedaan antara konvolusi 'reguler' dan konvolusi dilatasi. Konvolusi reguler terlihat seperti Ini adalah konvolusi...
Saya sedang mengerjakan makalah Cho 2014 yang memperkenalkan arsitektur encoder-decoder untuk pemodelan seq2seq. Dalam makalah, mereka tampaknya menggunakan probabilitas input yang diberikan output (atau kemungkinan negatif-log) sebagai fungsi kerugian untuk input panjang dan output panjang...
Saya mencoba memahami bidang reseptif CNN dengan lebih baik. Untuk melakukan itu saya ingin menghitung bidang reseptif dari setiap neuron di LeNet. Untuk MLP normal itu agak mudah (lihat http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), tetapi lebih sulit untuk menghitung bidang...
Setelah membaca banyak makalah pembelajaran yang mendalam, semacam perasaan kasar adalah bahwa ada banyak trik dalam melatih jaringan untuk mendapatkan kinerja yang lebih baik dari biasanya. Dari perspektif aplikasi industri, sangat sulit untuk mengembangkan trik semacam ini kecuali...
Saya ingin menghitung pentingnya setiap fitur input menggunakan model yang mendalam. Tetapi saya hanya menemukan satu makalah tentang pemilihan fitur menggunakan pembelajaran mendalam - pemilihan fitur dalam . Mereka menyisipkan lapisan node yang terhubung ke setiap fitur secara langsung, sebelum...