Dalam posting blog baru - baru ini oleh Rong Ge, dikatakan bahwa: Dipercayai bahwa untuk banyak masalah termasuk mempelajari jaring dalam, hampir semua minimum lokal memiliki nilai fungsi yang sangat mirip dengan optimal global, dan karenanya menemukan minimum lokal cukup baik. Dari mana...
Saya telah menulis MLP sederhana di TensorFlow yang memodelkan XOR-Gate . Jadi untuk: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] itu harus menghasilkan yang berikut: output_data = [[0.], [1.], [1.], [0.]] Jaringan memiliki lapisan input, lapisan tersembunyi dan lapisan keluaran...
Saya kenal dengan algoritma gradient descent dasar untuk pelatihan jaringan saraf. Saya telah membaca makalah yang mengusulkan Adam: ADAM: METODE UNTUK OPTIMISASI STOKASTIK . Meskipun saya pasti memiliki beberapa wawasan (setidaknya), makalah ini tampaknya terlalu tinggi bagi saya secara...
Saya mencoba untuk memahami bagian konvolusi dari jaringan saraf convolutional. Melihat gambar berikut: Saya tidak memiliki masalah memahami lapisan konvolusi pertama di mana kami memiliki 4 kernel yang berbeda (ukuran ), yang kami gabungkan dengan gambar input untuk mendapatkan 4 peta...
Sementara pilihan fungsi aktivasi untuk lapisan tersembunyi cukup jelas (kebanyakan sigmoid atau tanh), saya bertanya-tanya bagaimana cara memutuskan fungsi aktivasi untuk lapisan output. Pilihan umum adalah fungsi linier, fungsi sigmoid dan fungsi softmax. Namun, kapan saya harus menggunakan yang...
Saya ingin belajar Neural Networks. Saya seorang Ahli Bahasa Komputasi. Saya tahu pendekatan pembelajaran mesin statistik dan dapat kode dalam Python. Saya ingin memulai dengan konsep-konsepnya, dan mengetahui satu atau dua model populer yang mungkin berguna dari perspektif Linguistik...
Saya mencoba menambahkan lapisan softmax ke jaringan saraf yang dilatih dengan backpropagation, jadi saya mencoba menghitung gradiennya. Output softmax adalah mana adalah nomor neuron output.hj= ezj∑ ezsayahj=ezj∑ezsayah_j = \frac{e^{z_j}}{\sum{e^{z_i}}}jjj Jika saya mendapatkannya maka saya...
Adakah yang bisa menjelaskan apa yang dilakukan unit maxout dalam jaringan saraf? Bagaimana kinerjanya dan bagaimana perbedaannya dari unit konvensional? Saya mencoba membaca makalah "Maxout Network" 2013 oleh Goodfellow et al. (dari kelompok Profesor Yoshua Bengio), tapi saya tidak...
Saya bertanya-tanya apakah seseorang dapat menyarankan apa yang merupakan titik awal yang baik untuk melakukan deteksi komunitas / partisi / pengelompokan grafik pada grafik yang memiliki bobot , tepi yang tidak terarah . Grafik yang dimaksud memiliki sekitar 3 juta tepi dan masing-masing tepi...
Momentum digunakan untuk mengurangi fluktuasi perubahan berat selama iterasi berurutan:αα\alpha Δ ωsaya( t + 1 ) =- η∂E∂wsaya+ α Δωsaya( t ) ,Δωsaya(t+1)=-η∂E∂wsaya+αΔωsaya(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), mana adalah fungsi kesalahan, -...
Mengapa fungsi sigmoid standar de-facto, , begitu populer di jaringan saraf dan regresi logistik (tidak dalam)?11 + e- x11+e-x\frac{1}{1+e^{-x}} Mengapa kita tidak menggunakan banyak fungsi turunan lainnya, dengan waktu perhitungan yang lebih cepat atau peluruhan yang lebih lambat (sehingga...
Saya hanya basah karena statistik, jadi saya minta maaf jika pertanyaan ini tidak masuk akal. Saya telah menggunakan model Markov untuk memprediksi keadaan tersembunyi (kasino tidak adil, gulungan dadu, dll.) Dan jaringan saraf untuk mempelajari klik pengguna pada mesin pencari. Keduanya memiliki...
Saya menemukan unit linear diperbaiki (ReLU) dipuji di beberapa tempat sebagai solusi untuk masalah gradien menghilang untuk jaringan saraf. Artinya, seseorang menggunakan maks (0, x) sebagai fungsi aktivasi. Ketika aktivasi positif, jelas bahwa ini lebih baik daripada, katakanlah, fungsi aktivasi...
Saya mencoba untuk memprediksi hasil dari sistem yang kompleks menggunakan jaringan saraf (JST). Nilai hasil (tergantung) berkisar antara 0 dan 10.000. Variabel input yang berbeda memiliki rentang yang berbeda. Semua variabel memiliki distribusi normal. Saya mempertimbangkan berbagai opsi untuk...
Saya mencari makalah yang dapat membantu dalam memberikan pedoman tentang bagaimana memilih hyperparameter arsitektur yang mendalam, seperti auto-encoders stacked atau jaringan deep trust. Ada banyak hiperparameter dan saya sangat bingung bagaimana memilihnya. Juga menggunakan validasi silang bukan...
Dalam makalah klasifikasi ImageNet tingkat kesalahan top-1 dan top-5 adalah unit penting untuk mengukur keberhasilan beberapa solusi, tetapi apa tingkat kesalahan itu? Dalam Klasifikasi ImageNet dengan Jaringan Neural Konvolusional Dalam oleh Krizhevsky et al. setiap solusi berdasarkan pada satu...
Jaringan saraf sering diperlakukan sebagai "kotak hitam" karena strukturnya yang kompleks. Ini tidak ideal, karena sering bermanfaat untuk memiliki pemahaman intuitif tentang bagaimana model bekerja secara internal. Apa metode memvisualisasikan bagaimana jaringan saraf yang terlatih bekerja? Atau,...
Saya melatih jaringan saraf dan kehilangan pelatihan berkurang, tetapi kehilangan validasi tidak, atau berkurang jauh lebih sedikit daripada yang saya harapkan, berdasarkan referensi atau percobaan dengan arsitektur dan data yang sangat mirip. Bagaimana saya bisa memperbaikinya? Adapun...
Suatu masalah yang sering saya lihat dalam konteks Neural Networks pada umumnya, dan Deep Neural Networks pada khususnya, adalah bahwa mereka "lapar data" - yaitu mereka tidak berkinerja baik kecuali kita memiliki kumpulan data yang besar untuk melatih jaringan. Pemahaman saya adalah bahwa ini...
Apa perbedaan antara istilah "kernel" dan "filter" dalam konteks jaringan saraf