Setelah membaca banyak makalah pembelajaran yang mendalam, semacam perasaan kasar adalah bahwa ada banyak trik dalam melatih jaringan untuk mendapatkan kinerja yang lebih baik dari biasanya. Dari perspektif aplikasi industri, sangat sulit untuk mengembangkan trik semacam ini kecuali...
Asumsikan urutan 1 dimensi berikut: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... Surat-surat di A, B, C, ..sini mewakili peristiwa 'biasa'. Simbol di #, $, %, ...sini mewakili acara 'khusus' Jarak temporal antara semua peristiwa adalah tidak seragam (mulai dari detik, hingga hari) meskipun...
Menurut "Efficient Backprop" oleh LeCun et al (1998) adalah praktik yang baik untuk menormalkan semua input sehingga mereka berpusat di sekitar 0 dan berada dalam kisaran turunan maksimum kedua. Jadi misalnya kita akan menggunakan [-0,5,0,5] untuk fungsi "Tanh". Ini untuk membantu perkembangan...
Saya belajar tentang pembelajaran yang mendalam (khususnya CNN), dan bagaimana hal itu biasanya membutuhkan banyak data untuk mencegah overfitting. Namun, saya juga telah diberitahu bahwa semakin tinggi kapasitas / lebih banyak parameter model, semakin banyak data yang diperlukan untuk mencegah...
Ketika menerapkan dropout di jaringan saraf tiruan, kita perlu mengimbangi kenyataan bahwa pada waktu pelatihan sebagian neuron dinonaktifkan. Untuk melakukannya, ada dua strategi umum: scaling aktivasi pada waktu ujian membalikkan dropout selama fase pelatihan Dua strategi dirangkum dalam...
Saat membaca makalah segmentasi semantik serta implementasi yang sesuai, saya menemukan bahwa beberapa pendekatan menggunakan softmax sementara yang lain menggunakan sigmoid untuk pelabelan tingkat piksel. Misalnya, sehubungan dengan kertas u-net , output adalah peta fitur dengan dua...
Saya ingin menghitung pentingnya setiap fitur input menggunakan model yang mendalam. Tetapi saya hanya menemukan satu makalah tentang pemilihan fitur menggunakan pembelajaran mendalam - pemilihan fitur dalam . Mereka menyisipkan lapisan node yang terhubung ke setiap fitur secara langsung, sebelum...
Apakah fungsi dalam bentuk memiliki nama standar? Misalnya adalah fungsi linier.ex/(1+ex)ex/(1+ex)e^x/(1+e^x)y=a+bxy=a+bxy = a +
Saya melatih jaringan saraf convolutional sederhana untuk regresi, di mana tugasnya adalah untuk memprediksi lokasi (x, y) kotak dalam gambar, misalnya: Output dari jaringan memiliki dua node, satu untuk x, dan satu untuk y. Sisa dari jaringan adalah jaringan saraf convolutional standar....
Bagaimana Anda menginterpretasikan kurva survival dari model hazard proporsional cox? Dalam contoh mainan ini, anggaplah kita memiliki model hazard proporsional cox pada agevariabel dalam kidneydata, dan menghasilkan kurva survival. library(survival) fit <- coxph(Surv(time, status)~age,...
Contoh: Saya memiliki kalimat dalam deskripsi pekerjaan: "Java senior engineer in UK". Saya ingin menggunakan model pembelajaran yang mendalam untuk memperkirakannya sebagai 2 kategori: English dan IT jobs. Jika saya menggunakan model klasifikasi tradisional, hanya dapat memprediksi 1 label dengan...
Hai, saya sedang mempelajari teknik regresi. Data saya memiliki 15 fitur dan 60 juta contoh (tugas regresi). Ketika saya mencoba banyak teknik regresi yang dikenal (gradient boosted tree, Decision tree regression, AdaBoostRegressor dll) regresi linier dilakukan dengan sangat baik. Skor hampir...
Saya baru-baru ini menyaksikan pembicaraan oleh Eric J. Ma dan memeriksa entri blog - nya , di mana ia mengutip Radford Neal, bahwa model Bayesian tidak mengenakan pakaian yang berlebihan (tetapi mereka bisa mengenakan pakaian yang sesuai ) dan ketika menggunakannya, kita tidak perlu set tes untuk...
Sebuah autoencoder variational (Vae) menyediakan cara belajar distribusi probabilitas yang berkaitan masukan representasi latennya . Secara khusus, encoder memetakan input ke distribusi pada . Encoder tipikal akan menampilkan parameter , mewakili distribusi Gaussian ; distribusi ini digunakan...
Saya baru saja mulai menggunakan paket autoencoder di R. Input ke autoencode()fungsi termasuk lambda, beta, rho dan epsilon. Apa batasan untuk nilai-nilai ini? Apakah mereka berbeda untuk setiap fungsi aktivasi? Apakah parameter ini disebut "hyperparameters"? Dengan asumsi autoencoder yang...
Apa perbedaan antara jaringan kepercayaan yang dalam dan jaringan cembung yang dalam
Saya baru belajar mendalam, jadi ini mungkin pertanyaan sepele. Tetapi saya bertanya-tanya mengapa pembelajaran yang mendalam (atau jaringan saraf) tidak bekerja dengan baik pada data berlabel kecil. Apa pun makalah penelitian yang saya baca, dataset mereka sangat besar. Secara intuitif itu tidak...
https://www.tensorflow.org/ Semua proyek di TensorFlow yang saya lihat di GitHub mengimplementasikan beberapa jenis model Jaringan Saraf Tiruan. Mengingat TensorFlow merupakan peningkatan dari pada DAG (ini bukan asiklik lagi), saya bertanya-tanya apakah beberapa kekurangan yang melekat membuatnya...
Sebagai pemanasan dengan jaringan saraf berulang, saya mencoba memprediksi gelombang sinus dari gelombang sinus lain dari frekuensi lain. Model saya adalah RNN sederhana, forward pass-nya dapat dinyatakan sebagai
Apakah mungkin untuk mencapai hasil terbaik dengan menggunakan back-propagation saja (tanpa pra-pelatihan )? Atau apakah semua pendekatan pemecahan rekor menggunakan beberapa bentuk pra-pelatihan? Apakah back-propagation saja cukup