Saya minta maaf sebelumnya atas fakta bahwa saya masih akan mempercepat ini. Saya mencoba memahami pro dan kontra menggunakan tanh (peta -1 hingga 1) vs sigmoid (peta 0 hingga 1) untuk fungsi aktivasi neuron saya. Dari bacaan saya itu terdengar seperti hal kecil dengan perbedaan kecil. Dalam...
Ketika kita mempelajari literatur Neural Networks , kita dapat mengidentifikasi metode lain dengan topologi neuromorfik (arsitektur seperti Neural-Network). Dan saya tidak berbicara tentang Teorema Perkiraan Universal . Contoh diberikan di bawah ini. Lalu, itu membuat saya bertanya-tanya: apa...
Tempat saya telah membaca tentang kutukan dimensionalitas menjelaskannya dalam hubungannya dengan kNN terutama, dan model linier secara umum. Saya secara teratur melihat peringkat teratas di Kaggle menggunakan ribuan fitur pada dataset yang hampir tidak memiliki 100k titik data. Mereka terutama...
Saya membaca tentang pengoptimal Adam untuk Deep Learning dan menemukan kalimat berikut dalam buku baru Deep Learning oleh Begnio, Goodfellow dan Courtville: Adam menyertakan koreksi bias pada estimasi momen momen orde pertama (istilah momentum) dan momen orde kedua (tanpa fokus) untuk...
Saya belum menemukan jawaban yang memuaskan untuk ini dari google . Tentu saja jika data yang saya miliki adalah urutan jutaan maka pembelajaran mendalam adalah caranya. Dan saya telah membaca bahwa ketika saya tidak memiliki data besar maka mungkin lebih baik menggunakan metode lain dalam...
Tensorflow memiliki contoh tutorial tentang mengklasifikasikan CIFAR-10 . Pada tutorial, rata-rata kehilangan entropi silang di seluruh batch diminimalkan. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits...
Saya bereksperimen dengan algoritma mesin peningkat gradien melalui caretpaket di R. Menggunakan dataset penerimaan perguruan tinggi kecil, saya menjalankan kode berikut: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ###...
Selama pelatihan dari sebuah classifier biner jaringan saraf sederhana saya mendapatkan nilai kerugian yang tinggi, menggunakan cross-entropy. Meskipun demikian, nilai akurasi pada set validasi cukup baik. Apakah ada artinya? Tidak ada korelasi ketat antara kehilangan dan akurasi? Saya memiliki...
Sebagai tindak lanjut dari jaringan saraf saya, saya bahkan tidak bisa mempelajari jarak Euclidean. Saya menyederhanakan lebih banyak lagi dan mencoba melatih satu ReLU tunggal (dengan berat acak) menjadi satu ReLU tunggal. Ini adalah jaringan paling sederhana yang ada, namun separuh dari waktu...
Ketika saya menerapkan gradien batch mini yang layak, saya hanya rata-rata gradien dari semua contoh dalam batch pelatihan. Namun, saya perhatikan bahwa sekarang tingkat belajar optimal jauh lebih tinggi daripada gradien online yang layak. Intuisi saya adalah ini karena gradien rata-rata kurang...
Pada titik mana kita mulai mengklasifikasikan jaringan saraf berlapis ganda sebagai jaringan saraf dalam atau dengan kata lain 'Berapa jumlah minimum lapisan dalam jaringan saraf
Dalam pelatihan mini-batch jaringan saraf, saya mendengar bahwa praktik penting adalah mengocok data pelatihan sebelum setiap zaman. Adakah yang bisa menjelaskan mengapa pengocokan pada setiap zaman membantu? Dari pencarian google, saya menemukan jawaban berikut: ini membantu pelatihan bertemu...
Apa turunan dari fungsi aktivasi ReLU didefinisikan sebagai: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Bagaimana dengan kasus khusus di mana ada diskontinuitas dalam fungsi di
Saya melatih jaringan saraf menggunakan i) SGD dan ii) Adam Optimizer. Saat menggunakan SGD normal, saya mendapatkan loss pelatihan yang mulus vs kurva iterasi seperti terlihat di bawah ini (yang merah) Namun, ketika saya menggunakan Adam Optimizer, kurva kehilangan pelatihan memiliki beberapa...
Saya telah membangun beberapa jaringan saraf (MLP (terhubung penuh), Elman (berulang)) untuk tugas yang berbeda, seperti bermain Pong, mengklasifikasikan angka tulisan tangan dan lainnya ... Selain itu saya mencoba untuk membangun beberapa jaringan saraf convolutional pertama, misalnya untuk...
Dalam pembelajaran mesin dasar kita diajarkan "aturan praktis" berikut: a) ukuran data Anda harus setidaknya 10 kali ukuran dimensi VC dari set hipotesis Anda. b) jaringan saraf dengan koneksi N memiliki dimensi VC sekitar N. Jadi ketika sebuah jaringan saraf pembelajaran yang dalam mengatakan,...
Saya melihat ke dalam menggunakan versi LSTM ( memori jangka pendek ) dari jaringan saraf berulang (RNN) untuk memodelkan data deret waktu. Ketika panjang urutan data meningkat, kompleksitas jaringan meningkat. Karena itu saya ingin tahu berapa panjang urutan yang layak untuk model dengan akurasi...
Saya mengerti alasan di balik pemisahan data ke dalam set Tes dan set Validasi. Saya juga mengerti bahwa ukuran perpecahan akan tergantung pada situasi tetapi umumnya akan bervariasi dari 50/50 hingga 90/10. Saya membuat RNN untuk mengoreksi ejaan dan mulai dengan kumpulan data kalimat ~ 5m. Saya...
Saya mencoba mempelajari cara menggunakan Neural Networks. Saya sedang membaca tutorial ini . Setelah memasang Neural Network pada Time Series menggunakan nilai pada untuk memprediksi nilai pada t + 1 penulis memperoleh plot berikut, di mana garis biru adalah seri waktu, hijau adalah prediksi pada...
Bisakah seseorang tolong beri tahu saya bagaimana saya seharusnya membangun jaringan saraf menggunakan metode batch? Saya telah membaca bahwa, dalam mode batch, untuk semua sampel dalam set pelatihan, kami menghitung kesalahan, delta dan dengan demikian bobot delta untuk setiap neuron dalam...