area baru penelitian Machine Learning yang berkaitan dengan teknologi yang digunakan untuk mempelajari representasi data hirarkis, terutama dilakukan dengan jaringan saraf yang dalam (yaitu jaringan dengan dua atau lebih lapisan tersembunyi), tetapi juga dengan semacam Model Grafis Probabilistik.
Mengacu pada catatan kursus Stanford tentang Jaringan Syaraf Konvolusional untuk Pengenalan Visual , sebuah paragraf mengatakan: "Sayangnya, unit ReLU bisa rapuh selama pelatihan dan bisa" mati ". Misalnya, gradien besar yang mengalir melalui neuron ReLU dapat menyebabkan bobot diperbarui...
Perbedaan utama antara GRU dan LSTM adalah bahwa GRU memiliki dua gerbang ( reset dan memperbarui gerbang) sedangkan LSTM memiliki tiga gerbang (yaitu input , output dan gerbang lupa ). Mengapa kita menggunakan GRU ketika kita jelas memiliki lebih banyak kontrol pada jaringan melalui model LSTM...
Saat ini saya sedang mengerjakan implementasi Stochastic Gradient Descent,, SGDuntuk jaring saraf menggunakan back-propagation, dan sementara saya mengerti tujuannya, saya punya beberapa pertanyaan tentang bagaimana memilih nilai untuk tingkat pembelajaran. Apakah tingkat pembelajaran terkait...
Ketika menulis makalah / membuat presentasi tentang topik yang membahas tentang jaringan saraf, orang biasanya memvisualisasikan arsitektur jaringan. Apa cara yang baik / sederhana untuk memvisualisasikan arsitektur umum secara
Saya telah membangun model saya. Sekarang saya ingin menggambar diagram arsitektur jaringan untuk makalah penelitian saya. Contoh ditunjukkan di bawah
Masalah yang saya hadapi adalah memprediksi nilai deret waktu. Saya melihat satu seri waktu pada satu waktu dan berdasarkan misalnya 15% dari data input, saya ingin memprediksi nilai-nilai masa depannya. Sejauh ini saya telah menemukan dua model: LSTM (memori jangka pendek; kelas jaringan saraf...
Saya tahu bahwa Residual Network (ResNet) membuatnya inisialisasi normal menjadi populer. Dalam ResNet, inisialisasi normal He digunakan , sedangkan lapisan pertama menggunakan inisialisasi seragam He. Saya telah melihat melalui kertas ResNet dan kertas "Delving Deep into Rectifiers" (Dia...
Ketika saya mulai dengan jaringan saraf tiruan (NN) saya pikir saya harus berjuang overfitting sebagai masalah utama. Tetapi dalam prakteknya saya bahkan tidak bisa mendapatkan NN saya untuk melewati penghalang tingkat kesalahan 20%. Saya bahkan tidak bisa mengalahkan skor saya di hutan acak! Saya...
telah membaca sedikit tentang LSTM dan penggunaannya untuk seri waktu dan itu menarik tetapi sulit pada saat yang sama. Satu hal yang saya punya kesulitan dalam memahami adalah pendekatan untuk menambahkan fitur tambahan pada apa yang sudah menjadi daftar fitur deret waktu. Dengan asumsi Anda...
Berapa banyak parameter yang dimiliki oleh satu LSTM bertumpuk? Jumlah parameter memaksakan batas bawah pada jumlah contoh pelatihan yang diperlukan dan juga mempengaruhi waktu pelatihan. Karenanya mengetahui jumlah parameter berguna untuk model pelatihan menggunakan
Saya sering membaca bahwa dalam kasus model Deep Learning, praktik yang biasa dilakukan adalah menerapkan batch mini (umumnya yang kecil, 32/64) pada beberapa periode pelatihan. Saya tidak dapat memahami alasan di balik ini. Kecuali saya salah, ukuran bets adalah jumlah instance pelatihan yang...
Saya akan melatih jaringan LSTM besar dengan 2-3 juta artikel dan saya berjuang dengan Kesalahan Memori (saya menggunakan AWS EC2 g2x2large). Saya menemukan bahwa salah satu solusinya adalah dengan mengurangi batch_size. Namun, saya tidak yakin apakah parameter ini hanya terkait dengan masalah...
Saya mengalami kesulitan memahami perbedaan antara equivariant ke terjemahan dan invariant to translation . Dalam buku Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville, dan Y. Bengio), dapat ditemukan di jaringan konvolusional: [...] bentuk tertentu dari berbagi parameter menyebabkan...
Misalkan saya membuat NN untuk klasifikasi. Lapisan terakhir adalah lapisan padat dengan aktivasi softmax. Saya memiliki lima kelas yang berbeda untuk diklasifikasi. Misalkan untuk contoh pelatihan tunggal, true labeladalah [1 0 0 0 0]saat prediksi [0.1 0.5 0.1 0.1 0.2]. Bagaimana saya menghitung...
Sudah menjadi kebiasaan bagi pengguna komunitas yang berbeda untuk mengutip hal-hal lucu tentang bidang mereka. Mungkin menyenangkan untuk membagikan hal-hal lucu Anda tentang Pembelajaran Mesin, Pembelajaran Dalam, Ilmu Data, dan hal-hal yang Anda hadapi setiap
Bagaimana Anda bisa memprogram di perpustakaan keras (atau tensorflow) untuk mempartisi pelatihan pada beberapa GPU? Katakanlah Anda menggunakan instance Amazon ec2 yang memiliki 8 GPU dan Anda ingin menggunakan semuanya untuk berlatih lebih cepat, tetapi kode Anda hanya untuk satu CPU atau...
Saya membaca tentang NCE (suatu bentuk pengambilan sampel kandidat) dari dua sumber ini: Tulisan Tensorflow Kertas asli Adakah yang bisa membantu saya dengan hal berikut: Penjelasan sederhana tentang cara kerja NCE (saya menemukan hal di atas sulit diurai dan mendapatkan pemahaman, sehingga...
Dalam konteks Pembelajaran Mesin , saya telah melihat istilah Ground Truth banyak digunakan. Saya telah mencari banyak dan menemukan definisi berikut di Wikipedia : Dalam pembelajaran mesin, istilah "kebenaran dasar" mengacu pada akurasi klasifikasi set pelatihan untuk teknik pembelajaran yang...
Saya memiliki masalah data besar dengan dataset besar (misalnya 50 juta baris dan 200 kolom). Dataset terdiri dari sekitar 100 kolom numerik dan 100 kolom kategorikal dan kolom respons yang mewakili masalah kelas biner. Kardinalitas masing-masing kolom kategorikal kurang dari 50. Saya ingin tahu...
Jadi, baru-baru ini ada kertas Normalisasi Layer . Ada juga implementasi di Keras. Tapi saya ingat ada makalah yang berjudul Normalisasi Batch Berulang (Cooijmans, 2016) dan Batch Normalisasi Jaringan Saraf Berulang (Laurent, 2015). Apa perbedaan antara ketiganya? Ada bagian Pekerjaan Terkait ini...