Saya membaca makalah normalisasi batch (BN) (1) dan tidak mengerti perlunya menggunakan moving average untuk melacak akurasi model dan bahkan jika saya menerima bahwa itu adalah hal yang benar untuk dilakukan, saya tidak mengerti apa yang sebenarnya mereka lakukan. Menurut pemahaman saya (yang...
Dalam pelatihan jaringan saraf yang dalam dan dangkal, mengapa metode gradien (misalnya gradient descent, Nesterov, Newton-Raphson) umum digunakan, berbeda dengan metaheuristik lainnya? Metaheuristik yang saya maksud adalah metode seperti annealing yang disimulasikan, optimisasi koloni semut,...
Saya memiliki model jaringan saraf yang dalam dan saya perlu melatihnya pada dataset saya yang terdiri dari sekitar 100.000 contoh, data validasi saya berisi sekitar 1000 contoh. Karena butuh waktu untuk melatih setiap contoh (sekitar 0,5 untuk setiap contoh) dan untuk menghindari overfitting, saya...
Dengan semua pembicaraan media dan hype tentang pembelajaran mendalam hari ini, saya membaca beberapa hal mendasar tentang hal itu. Saya baru saja menemukan bahwa itu hanyalah metode pembelajaran mesin untuk mempelajari pola dari data. Tetapi pertanyaan saya adalah: di mana dan mengapa metode ini...
Dalam implementasi Tensorflow dari ResNet , saya menemukan mereka menggunakan initializer penskalaan varians, saya juga menemukan xavier initializer populer. Saya tidak punya terlalu banyak pengalaman dalam hal ini, mana yang lebih baik dalam
Saya mengerti struktur dasar autoencoder variasional dan autoencoder normal (deterministik) dan matematika di belakangnya, tetapi kapan dan mengapa saya lebih suka satu jenis autoencoder dari yang lain? Yang bisa saya pikirkan adalah distribusi sebelumnya variabel laten dari autoencoder variasional...
Saya ingin tahu seberapa penting bias node bagi efektivitas jaringan saraf modern. Saya dapat dengan mudah memahami bahwa ini penting dalam jaringan yang dangkal dengan hanya beberapa variabel input. Namun, jaring saraf modern seperti dalam pembelajaran yang mendalam sering memiliki sejumlah besar...
Apakah ada perbedaan antara 'transfer pembelajaran' dan 'adaptasi domain'? Saya tidak tahu tentang konteks, tetapi pemahaman saya adalah bahwa kami memiliki beberapa dataset 1 dan melatihnya, setelah itu kami memiliki dataset 2 yang ingin kami sesuaikan dengan model kami tanpa pelatihan ulang dari...
Saya memahami lapisan convolutional dan pooling, tetapi saya tidak dapat melihat alasan untuk lapisan yang sepenuhnya terhubung di CNN. Mengapa tidak lapisan sebelumnya terhubung langsung ke lapisan
Saya mencari makalah atau teks yang membandingkan dan mendiskusikan (baik secara empiris atau teoritis): Algoritma Boosting dan Decision tree seperti Random Forests atau AdaBoost , dan GentleBoost diterapkan pada pohon keputusan. dengan Metode pembelajaran yang dalam seperti Mesin Boltzmann...
Banyak tutorial bicara online tentang gradient descent dan hampir semuanya menggunakan ukuran langkah tetap (tingkat pembelajaran ). Mengapa tidak ada penggunaan pencarian baris (seperti pencarian garis backtracking atau pencarian baris yang
Kami mendefinisikan zaman sebagai telah melalui keseluruhan dari semua sampel pelatihan yang tersedia, dan ukuran mini-batch sebagai jumlah sampel yang kami rata-rata menemukan pembaruan untuk bobot / bias yang diperlukan untuk turun gradien. Pertanyaan saya adalah apakah kita harus menggambar...
Sebagian besar jaringan saraf convolutional umum mengandung lapisan penyatuan untuk mengurangi dimensi fitur keluaran. Mengapa saya tidak dapat mencapai hal yang sama hanya dengan meningkatkan langkah lapisan konvolusional? Apa yang membuat lapisan pengumpulan
Profesor fisika saya di sekolah pascasarjana, serta peraih Noble Feynman, akan selalu menyajikan apa yang mereka sebut model mainan untuk menggambarkan konsep dasar dan metode dalam fisika, seperti osilator harmonik, pendulum, spinning top, dan kotak hitam. Model mainan apa yang digunakan untuk...
Jika Anda memiliki setengah halaman untuk menjelaskan putus sekolah , bagaimana Anda akan melanjutkan? Yang merupakan alasan di balik teknik
Saya punya beberapa pertanyaan yang membingungkan saya mengenai CNN. 1) Fitur yang diekstraksi menggunakan CNN adalah skala dan rotasi invarian? 2) Kernel yang kita gunakan untuk berbelit-belit dengan data kita sudah didefinisikan dalam literatur? kernel apa ini? apakah berbeda untuk setiap...
Bisakah kita memberikan gambar dengan ukuran variabel sebagai input ke jaringan saraf convolutional untuk deteksi objek? Jika memungkinkan, bagaimana kita bisa melakukan itu? Tetapi jika kita mencoba memotong gambar, kita akan kehilangan sebagian dari gambar dan jika kita mencoba untuk mengubah...
Ketika mempelajari jaringan saraf convolutional, saya memiliki pertanyaan mengenai gambar berikut. 1) C1 pada layer 1 memiliki 6 peta fitur, apakah itu berarti ada enam kernel konvolusional? Setiap kernel konvolusional digunakan untuk menghasilkan peta fitur berdasarkan input. 2) S1 di lapisan 2...
Berapakah jumlah filter dalam lapisan konvolusi? Bagaimana angka ini mempengaruhi kinerja atau kualitas arsitektur? Maksud saya, haruskah kita selalu memilih jumlah filter yang lebih tinggi? apa yang baik dari mereka? dan Bagaimana orang menetapkan jumlah filter yang berbeda untuk berbagai...
Latar belakang: Banyak penelitian modern dalam ~ 4 tahun terakhir (post alexnet ) tampaknya telah beralih dari menggunakan pretraining generatif untuk jaringan saraf untuk mencapai hasil klasifikasi seni yang mutakhir. Sebagai contoh, hasil teratas untuk mnist di sini hanya mencakup 2 makalah dari...