Dalam pembelajaran mesin dasar kita diajarkan "aturan praktis" berikut: a) ukuran data Anda harus setidaknya 10 kali ukuran dimensi VC dari set hipotesis Anda. b) jaringan saraf dengan koneksi N memiliki dimensi VC sekitar N. Jadi ketika sebuah jaringan saraf pembelajaran yang dalam mengatakan,...
Tensorflow memiliki contoh tutorial tentang mengklasifikasikan CIFAR-10 . Pada tutorial, rata-rata kehilangan entropi silang di seluruh batch diminimalkan. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits...
Saya melihat ke dalam menggunakan versi LSTM ( memori jangka pendek ) dari jaringan saraf berulang (RNN) untuk memodelkan data deret waktu. Ketika panjang urutan data meningkat, kompleksitas jaringan meningkat. Karena itu saya ingin tahu berapa panjang urutan yang layak untuk model dengan akurasi...
Saya mencoba mempelajari cara menggunakan Neural Networks. Saya sedang membaca tutorial ini . Setelah memasang Neural Network pada Time Series menggunakan nilai pada untuk memprediksi nilai pada t + 1 penulis memperoleh plot berikut, di mana garis biru adalah seri waktu, hijau adalah prediksi pada...
Saya bereksperimen dengan algoritma mesin peningkat gradien melalui caretpaket di R. Menggunakan dataset penerimaan perguruan tinggi kecil, saya menjalankan kode berikut: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ###...
Pada titik mana kita mulai mengklasifikasikan jaringan saraf berlapis ganda sebagai jaringan saraf dalam atau dengan kata lain 'Berapa jumlah minimum lapisan dalam jaringan saraf
Bisakah seseorang tolong beri tahu saya bagaimana saya seharusnya membangun jaringan saraf menggunakan metode batch? Saya telah membaca bahwa, dalam mode batch, untuk semua sampel dalam set pelatihan, kami menghitung kesalahan, delta dan dengan demikian bobot delta untuk setiap neuron dalam...
Apa turunan dari fungsi aktivasi ReLU didefinisikan sebagai: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Bagaimana dengan kasus khusus di mana ada diskontinuitas dalam fungsi di
Ketika saya menerapkan gradien batch mini yang layak, saya hanya rata-rata gradien dari semua contoh dalam batch pelatihan. Namun, saya perhatikan bahwa sekarang tingkat belajar optimal jauh lebih tinggi daripada gradien online yang layak. Intuisi saya adalah ini karena gradien rata-rata kurang...
Tempat saya telah membaca tentang kutukan dimensionalitas menjelaskannya dalam hubungannya dengan kNN terutama, dan model linier secara umum. Saya secara teratur melihat peringkat teratas di Kaggle menggunakan ribuan fitur pada dataset yang hampir tidak memiliki 100k titik data. Mereka terutama...
Saya membaca tentang pengoptimal Adam untuk Deep Learning dan menemukan kalimat berikut dalam buku baru Deep Learning oleh Begnio, Goodfellow dan Courtville: Adam menyertakan koreksi bias pada estimasi momen momen orde pertama (istilah momentum) dan momen orde kedua (tanpa fokus) untuk...
Teorema aproksimasi universal adalah hasil yang cukup terkenal untuk jaringan saraf, pada dasarnya menyatakan bahwa berdasarkan beberapa asumsi, suatu fungsi dapat didekati secara seragam oleh jaringan saraf dengan akurasi apa pun. Apakah ada beberapa hasil analog yang berlaku untuk jaringan saraf...
Saya mencoba memahami cara kerja mesin Boltzmann, tetapi saya tidak begitu yakin bagaimana bobot dipelajari, dan belum dapat menemukan deskripsi yang jelas. Apakah yang berikut ini benar? (Juga, petunjuk penjelasan mesin Boltzmann yang bagus juga akan bagus.) Kami memiliki satu set unit yang...
Struktur pertanyaan ini adalah sebagai berikut: pada awalnya, saya memberikan konsep pembelajaran ensemble , selanjutnya saya memberikan daftar tugas pengenalan pola , kemudian saya memberikan contoh algoritma pembelajaran ensemble dan, akhirnya, memperkenalkan pertanyaan saya. Mereka yang tidak...
Saya telah melihat versi istilah "invarian permutasi" dari tugas pengenalan digit MNIST. Apa
Saya telah menerapkan Q-Learning seperti yang dijelaskan dalam, http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf Untuk sekitar. T (S, A) Saya menggunakan struktur jaringan saraf seperti berikut, Aktivasi sigmoid Input, jumlah input + 1 untuk neuron Aksi (Semua Input...
Jika saya memiliki jaringan saraf convolutional (CNN), yang memiliki sekitar 1.000.000 parameter, berapa banyak data pelatihan yang diperlukan (anggap saya sedang melakukan penurunan gradien stokastik)? Apakah ada aturan praktis? Catatan tambahan: Ketika saya melakukan penurunan gradien stokastik...
Katakanlah saya sedang menulis sebuah algoritma untuk membangun 2-layer autoencoder dan 2-layer neural network. Apakah keduanya sama atau berbeda? Apa yang saya pahami adalah bahwa ketika saya membuat autoencoder bertumpuk, saya akan membangun lapis demi lapis. Untuk jaringan saraf, saya akan...
Semua contoh yang saya temukan menggunakan keyakinan mendalam atau jaringan saraf convolutional menggunakannya untuk klasifikasi gambar, deteksi bakteri atau pengenalan suara. Apakah jaringan syaraf yang dalam juga berguna untuk tugas-tugas regresi klasik, di mana fitur-fiturnya tidak terstruktur...
Dalam convolutional neural networks (CNN), matriks bobot pada setiap langkah mendapatkan baris dan kolom terbalik untuk mendapatkan matriks kernel, sebelum melanjutkan dengan konvolusi. Ini dijelaskan pada serangkaian video oleh Hugo Larochelle di sini : Menghitung peta yang tersembunyi akan...