Deskripsi Masalah Saya memulai konstruksi jaringan untuk masalah yang menurut saya bisa memiliki fungsi kerugian yang jauh lebih mendalam daripada regresi MSE sederhana. Masalah saya berkaitan dengan klasifikasi multi-kategori ( lihat pertanyaan saya di SO untuk apa yang saya maksudkan dengan...
Saya membuat jaringan saraf convolutional dan saya ingin memeriksa bahwa gradien saya dihitung dengan benar menggunakan pengecekan gradien numerik. Pertanyaannya, seberapa dekat cukup dekat? Fungsi pengecekan saya hanya memuntahkan turunan yang dihitung, turunan yang diperkirakan secara numerik,...
https://www.tensorflow.org/ Semua proyek di TensorFlow yang saya lihat di GitHub mengimplementasikan beberapa jenis model Jaringan Saraf Tiruan. Mengingat TensorFlow merupakan peningkatan dari pada DAG (ini bukan asiklik lagi), saya bertanya-tanya apakah beberapa kekurangan yang melekat membuatnya...
Saya telah mempelajari teori di balik JST akhir-akhir ini dan saya ingin memahami 'keajaiban' di balik kemampuan klasifikasi multi-kelas non-linear. Ini membawa saya ke situs web ini yang melakukan pekerjaan dengan baik untuk menjelaskan secara geometris bagaimana perkiraan ini dicapai. Inilah...
Saya bertanya-tanya tentang perbedaannya. Berdasarkan pemahaman saya, MLP adalah salah satu jenis jaringan saraf, di mana fungsi aktivasi sigmoid, dan istilah kesalahan adalah kesalahan lintas-entropi (logistik). Mencari bantuan, terima
Saya sudah mulai membaca tentang Jaringan Syaraf Berulang (RNNs) dan Memori Jangka Pendek (LSTM) ... (... oh, tidak cukup poin rep di sini untuk daftar referensi ...) Satu hal yang tidak saya dapatkan: Tampaknya selalu ada neuron di setiap instance dari lapisan tersembunyi yang "sepenuhnya...
Saya telah membaca komentar yang bagus mengenai bagaimana menangani nilai yang hilang sebelum menerapkan SVD, tetapi saya ingin tahu cara kerjanya dengan contoh sederhana: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Mengingat matriks di atas, jika saya menghapus...
Sebagai pemanasan dengan jaringan saraf berulang, saya mencoba memprediksi gelombang sinus dari gelombang sinus lain dari frekuensi lain. Model saya adalah RNN sederhana, forward pass-nya dapat dinyatakan sebagai
Secara umum saya harus melatih ulang jaringan saraf saya dengan lebih sedikit neuron sehingga memiliki lebih sedikit neuron ReLU yang mati? Saya telah membaca pendapat yang bertentangan tentang ReLU yang mati. Beberapa sumber mengatakan ReLU yang mati baik karena mereka mendorong sparsity. Yang...
Saya ingin melatih jaringan dengan non-linearitas yang menderita menghilangnya (atau meledak masalah gradien meskipun sebagian besar menghilang). Saya tahu bahwa cara standar (saat ini) adalah dengan menggunakan normalisasi batch 1 [BN] 1 atau hanya meninggalkan non-linearitas dan menggunakan unit...
Jaringan saraf berulang saya (LSTM, resp. GRU) berperilaku dengan cara yang tidak bisa saya jelaskan. Pelatihan dimulai dan dilatih dengan baik (hasilnya terlihat cukup baik) ketika akurasi tiba-tiba turun (dan kehilangan meningkat dengan cepat) - baik pelatihan dan metrik pengujian. Terkadang net...
Dalam SGD suatu jaman akan menjadi presentasi penuh dari data pelatihan, dan kemudian akan ada pembaruan bobot N per jaman (jika ada contoh data N dalam set pelatihan). Jika sekarang kita melakukan mini-batch sebagai gantinya, katakan dalam batch 20. Apakah satu zaman sekarang terdiri dari...
Apakah mungkin untuk mencapai hasil terbaik dengan menggunakan back-propagation saja (tanpa pra-pelatihan )? Atau apakah semua pendekatan pemecahan rekor menggunakan beberapa bentuk pra-pelatihan? Apakah back-propagation saja cukup
Saya memiliki pengaturan berikut untuk proyek penelitian Keuangan / Pembelajaran Mesin di universitas saya: Saya menerapkan Jaringan Saraf (Jauh) (MLP) dengan struktur berikut di Keras / Theano untuk membedakan saham berkinerja lebih baik (label 1) dari saham berkinerja buruk ( label 0)....
Saya ingin melakukan analisis sentimen pada teks, telah melalui beberapa artikel, beberapa dari mereka menggunakan "Naif Bayes" dan lainnya adalah "Jaringan Syaraf Berulang (LSTM)" , di sisi lain saya telah melihat perpustakaan python untuk analisis sentimen yang adalah nltk. Ini menggunakan "Naif...
Dalam catatan kuliah 5 minggu untuk Andrew Ng's Coursera Machine Learning Class , rumus berikut diberikan untuk menghitung nilai digunakan untuk menginisialisasi dengan nilai acak:ϵϵ\epsilonΘΘ\Theta Dalam latihan , klarifikasi lebih lanjut diberikan: Salah satu strategi efektif untuk memilih...
Jika jaring saraf yang dalam dianggap sebagai penduga fungsi universal, apakah perluasan basis benar-benar diperlukan? Atau apakah ini spesifik kasus? Misalnya, jika seseorang memiliki tiga variabel X kuantitatif, apakah akan ada keuntungan dalam memperluas jumlah variabel dengan memperkenalkan...
Cukup intuitif bahwa sebagian besar topologi / arsitektur jaringan saraf tidak dapat diidentifikasi. Tapi apa saja hasil yang terkenal di lapangan? Apakah ada kondisi sederhana yang memungkinkan / mencegah pengidentifikasian? Sebagai contoh, semua jaringan dengan fungsi aktivasi nonlinear dan...
Apakah teorema aproksimasi universal untuk jaringan saraf berlaku untuk setiap fungsi aktivasi (sigmoid, ReLU, Softmax, dll ...) atau apakah itu terbatas pada fungsi sigmoid? Pembaruan: Seperti yang ditunjukkan oleh shimao di komentar, itu tidak berlaku untuk semua fungsi. Jadi untuk kelas fungsi...
Apakah yang berikut ini benar? Bias rendah = varians tinggi Bias tinggi = varians rendah Saya mengerti bias tinggi dan rendah tetapi lalu bagaimana perbedaannya? Atau sinonim di