Dalam makalah WaveNet baru-baru ini , penulis merujuk pada model mereka yang memiliki tumpukan lapisan konvolusi melebar. Mereka juga menghasilkan bagan berikut, menjelaskan perbedaan antara konvolusi 'reguler' dan konvolusi dilatasi. Konvolusi reguler terlihat seperti Ini adalah konvolusi...
Dalam makalah yang disebut Deep Learning dan Information Bottleneck Principle , penulis menyatakan di bagian II A) berikut ini: Neuron tunggal mengklasifikasikan hanya input yang dapat dipisahkan secara linear, karena mereka hanya dapat mengimplementasikan hiperplanes dalam ruang inputnya ....
Dalam makalah DeepGoGo AlphaGo Zero dan AlphaZero , mereka menggambarkan menambahkan Dirichlet noise ke probabilitas sebelumnya dari tindakan dari simpul akar (board state) di Pencarian Pohon Monte Carlo: Eksplorasi tambahan dicapai dengan menambahkan Dirichlet noise ke probabilitas sebelumnya...
Saya melatih jaringan saraf tiruan (backpropagation, feed-forward) dengan data terdistribusi tidak normal. Selain kesalahan rata-rata kuadrat akar, literatur sering menyarankan koefisien korelasi Pearson untuk mengevaluasi kualitas jaring yang dilatih. Tetapi, apakah koefisien korelasi Pearson...
Saya memulai perjalanan PhD saya, dan tujuan akhir yang saya tetapkan sebelumnya adalah mengembangkan JST yang akan memantau lingkungan tempat mereka bekerja dan secara dinamis menyesuaikan arsitektur mereka dengan masalah yang dihadapi. Implikasi yang jelas adalah temporalitas data: jika kumpulan...
Saya menggunakan classifier berbasis Neural Networks untuk menjalankan klasifikasi untuk data saya dalam n-dimensional. Lalu saya pikir itu mungkin ide yang baik untuk menjalankan pengurangan dimensi seperti PCA untuk data saya pada awalnya, dan kemudian memasukkan hasil PCA ke dalam classifier...
Saat menggunakan algoritme pembelajaran CD persisten untuk Mesin Bolzmann Terbatas, kami memulai rantai pengambilan sampel Gibbs kami pada iterasi pertama pada titik data, tetapi bertentangan dengan CD normal, dalam mengikuti iterasi kami tidak memulai rantai kami. Alih-alih, kita mulai dari mana...
Saya memiliki input yang sangat jarang, misalnya lokasi fitur tertentu dalam gambar input. Selanjutnya setiap fitur dapat memiliki beberapa deteksi (tidak yakin apakah ini akan mempengaruhi desain sistem). Ini saya akan menyajikan sebagai 'gambar biner' saluran k dengan piksel ON yang mewakili...
Saya telah belajar bahwa over-fitting dapat dideteksi dengan merencanakan kesalahan pelatihan dan kesalahan pengujian versus zaman. Seperti di: Saya telah membaca posting blog ini di mana mereka mengatakan jaringan saraf, net5 terlalu pas dan mereka memberikan angka ini: Yang aneh bagi saya,...
Saya ingin melatih jaringan saraf dengan urutan karakter sebagai vektor input. Contoh pembelajaran memiliki panjang yang berbeda dan untuk alasan ini saya tidak tahu bagaimana cara mewakili mereka. Katakanlah saya memiliki dua contoh urutan, di sini nama: john doe maurice delanoe Contoh pertama...
Di CNN, kita akan mempelajari filter untuk menghasilkan peta fitur dalam lapisan convolutional. Dalam Autoencoder, unit tersembunyi tunggal setiap lapisan dapat dianggap sebagai filter. Apa perbedaan antara filter yang dipelajari dalam dua jaringan
Guru saya membuktikan bahwa turunan kedua dari cross-entropy selalu positif, sehingga fungsi biaya jaringan saraf menggunakan cross entropy adalah cembung. Apakah ini benar? Saya cukup bingung tentang ini karena saya selalu belajar bahwa fungsi biaya JST adalah non-cembung. Adakah yang bisa...
Saya berurusan dengan masalah yang berkaitan dengan menemukan gradien fungsi Cross entropy loss wrt parameter θθ\theta dimana: CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Dimana, y^i=softmax(θi)y^i=softmax(θi)\hat{y}_{i} = softmax(\theta_i) dan...
Saya ingin menggunakan Jaringan Saraf Tiruan untuk memprediksi seri waktu keuangan. Saya berasal dari latar belakang IT dan memiliki pengetahuan tentang Neural Networks dan saya telah membaca tentang ini: TDNN RNN Saya telah mencari paket R untuk mereka dan saya hanya menemukan satu untuk RNN,...
Jaringan Autoencoder tampaknya jauh lebih rumit daripada jaringan MLP classifier normal. Setelah beberapa upaya menggunakan Lasagne semua yang saya dapatkan dalam output yang direkonstruksi adalah sesuatu yang menyerupai yang terbaik, rata-rata buram dari semua gambar dari database MNIST tanpa...
Dalam CBOW dan skip-gram model word2vec, bagaimana cara memilih vektor kata dari (input word matrix) vs. memilih vektor kata dari (output word matrix) berdampak pada kualitas vektor kata yang
Saya membaca makalah ini: penerjemah skype di mana mereka menggunakan CD-DNN-HMMs (Konteks bergantung pada Jaringan saraf dengan Model Hidden Markov). Saya dapat memahami ide proyek dan arsitektur yang telah mereka rancang tetapi saya tidak mengerti apa itu senones . Saya telah mencari definisi...
Menurut "Efficient Backprop" oleh LeCun et al (1998) adalah praktik yang baik untuk menormalkan semua input sehingga mereka berpusat di sekitar 0 dan berada dalam kisaran turunan maksimum kedua. Jadi misalnya kita akan menggunakan [-0,5,0,5] untuk fungsi "Tanh". Ini untuk membantu perkembangan...
Masalahnya adalah: Turunkan gradien sehubungan dengan lapisan input untuk jaringan saraf lapisan tersembunyi tunggal menggunakan sigmoid untuk input -> hidden, softmax untuk hidden -> output, dengan kehilangan entropi silang. Saya dapat melewati sebagian besar derivasi menggunakan...
Misalkan saya ingin melatih jaringan saraf yang dalam untuk melakukan klasifikasi atau regresi, tetapi saya ingin tahu seberapa yakin prediksi tersebut. Bagaimana saya bisa mencapai ini? Gagasan saya adalah menghitung entropi silang untuk setiap datum pelatihan, berdasarkan kinerja prediksinya...