Saya memulai perjalanan PhD saya, dan tujuan akhir yang saya tetapkan sebelumnya adalah mengembangkan JST yang akan memantau lingkungan tempat mereka bekerja dan secara dinamis menyesuaikan arsitektur mereka dengan masalah yang dihadapi. Implikasi yang jelas adalah temporalitas data: jika kumpulan...
Saya menggunakan classifier berbasis Neural Networks untuk menjalankan klasifikasi untuk data saya dalam n-dimensional. Lalu saya pikir itu mungkin ide yang baik untuk menjalankan pengurangan dimensi seperti PCA untuk data saya pada awalnya, dan kemudian memasukkan hasil PCA ke dalam classifier...
Saat menggunakan algoritme pembelajaran CD persisten untuk Mesin Bolzmann Terbatas, kami memulai rantai pengambilan sampel Gibbs kami pada iterasi pertama pada titik data, tetapi bertentangan dengan CD normal, dalam mengikuti iterasi kami tidak memulai rantai kami. Alih-alih, kita mulai dari mana...
Saya memiliki input yang sangat jarang, misalnya lokasi fitur tertentu dalam gambar input. Selanjutnya setiap fitur dapat memiliki beberapa deteksi (tidak yakin apakah ini akan mempengaruhi desain sistem). Ini saya akan menyajikan sebagai 'gambar biner' saluran k dengan piksel ON yang mewakili...
Saya telah belajar bahwa over-fitting dapat dideteksi dengan merencanakan kesalahan pelatihan dan kesalahan pengujian versus zaman. Seperti di: Saya telah membaca posting blog ini di mana mereka mengatakan jaringan saraf, net5 terlalu pas dan mereka memberikan angka ini: Yang aneh bagi saya,...
Saya ingin melatih jaringan saraf dengan urutan karakter sebagai vektor input. Contoh pembelajaran memiliki panjang yang berbeda dan untuk alasan ini saya tidak tahu bagaimana cara mewakili mereka. Katakanlah saya memiliki dua contoh urutan, di sini nama: john doe maurice delanoe Contoh pertama...
Di CNN, kita akan mempelajari filter untuk menghasilkan peta fitur dalam lapisan convolutional. Dalam Autoencoder, unit tersembunyi tunggal setiap lapisan dapat dianggap sebagai filter. Apa perbedaan antara filter yang dipelajari dalam dua jaringan
Guru saya membuktikan bahwa turunan kedua dari cross-entropy selalu positif, sehingga fungsi biaya jaringan saraf menggunakan cross entropy adalah cembung. Apakah ini benar? Saya cukup bingung tentang ini karena saya selalu belajar bahwa fungsi biaya JST adalah non-cembung. Adakah yang bisa...
Saya berurusan dengan masalah yang berkaitan dengan menemukan gradien fungsi Cross entropy loss wrt parameter θθ\theta dimana: CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Dimana, y^i=softmax(θi)y^i=softmax(θi)\hat{y}_{i} = softmax(\theta_i) dan...
Saya ingin menggunakan Jaringan Saraf Tiruan untuk memprediksi seri waktu keuangan. Saya berasal dari latar belakang IT dan memiliki pengetahuan tentang Neural Networks dan saya telah membaca tentang ini: TDNN RNN Saya telah mencari paket R untuk mereka dan saya hanya menemukan satu untuk RNN,...
Jaringan Autoencoder tampaknya jauh lebih rumit daripada jaringan MLP classifier normal. Setelah beberapa upaya menggunakan Lasagne semua yang saya dapatkan dalam output yang direkonstruksi adalah sesuatu yang menyerupai yang terbaik, rata-rata buram dari semua gambar dari database MNIST tanpa...
Dalam CBOW dan skip-gram model word2vec, bagaimana cara memilih vektor kata dari (input word matrix) vs. memilih vektor kata dari (output word matrix) berdampak pada kualitas vektor kata yang
Saya membaca makalah ini: penerjemah skype di mana mereka menggunakan CD-DNN-HMMs (Konteks bergantung pada Jaringan saraf dengan Model Hidden Markov). Saya dapat memahami ide proyek dan arsitektur yang telah mereka rancang tetapi saya tidak mengerti apa itu senones . Saya telah mencari definisi...
Setelah membaca banyak makalah pembelajaran yang mendalam, semacam perasaan kasar adalah bahwa ada banyak trik dalam melatih jaringan untuk mendapatkan kinerja yang lebih baik dari biasanya. Dari perspektif aplikasi industri, sangat sulit untuk mengembangkan trik semacam ini kecuali...
Menurut "Efficient Backprop" oleh LeCun et al (1998) adalah praktik yang baik untuk menormalkan semua input sehingga mereka berpusat di sekitar 0 dan berada dalam kisaran turunan maksimum kedua. Jadi misalnya kita akan menggunakan [-0,5,0,5] untuk fungsi "Tanh". Ini untuk membantu perkembangan...
Masalahnya adalah: Turunkan gradien sehubungan dengan lapisan input untuk jaringan saraf lapisan tersembunyi tunggal menggunakan sigmoid untuk input -> hidden, softmax untuk hidden -> output, dengan kehilangan entropi silang. Saya dapat melewati sebagian besar derivasi menggunakan...
Misalkan saya ingin melatih jaringan saraf yang dalam untuk melakukan klasifikasi atau regresi, tetapi saya ingin tahu seberapa yakin prediksi tersebut. Bagaimana saya bisa mencapai ini? Gagasan saya adalah menghitung entropi silang untuk setiap datum pelatihan, berdasarkan kinerja prediksinya...
Saya belajar tentang pembelajaran yang mendalam (khususnya CNN), dan bagaimana hal itu biasanya membutuhkan banyak data untuk mencegah overfitting. Namun, saya juga telah diberitahu bahwa semakin tinggi kapasitas / lebih banyak parameter model, semakin banyak data yang diperlukan untuk mencegah...
Ketika menerapkan dropout di jaringan saraf tiruan, kita perlu mengimbangi kenyataan bahwa pada waktu pelatihan sebagian neuron dinonaktifkan. Untuk melakukannya, ada dua strategi umum: scaling aktivasi pada waktu ujian membalikkan dropout selama fase pelatihan Dua strategi dirangkum dalam...
Pertanyaan saya menyangkut hubungan antara hipotesis pengkodean efisien yang diuraikan di halaman Wikipedia tentang pengkodean efisien dan algoritma pembelajaran jaringan saraf. Apa hubungan antara hipotesis pengkodean yang efisien dan jaringan saraf? Apakah ada model jaringan saraf yang secara...