Arsitektur saraf: desain otomatis informasi-informasi

Kemajuan baru-baru ini dalam jaringan saraf dirangkum oleh urutan arsitektur novel yang ditandai terutama dengan kompleksitas desain yang berkembang. Dari LeNet5 (1994) hingga AlexNet (2012), hingga Overfeat (2013) dan GoogleLeNet / Inception (2014) dan seterusnya ...

Apakah ada upaya untuk membiarkan mesin memutuskan / mendesain arsitektur yang akan digunakan tergantung pada data?

Anda mungkin juga ingin melihat literatur tentang neuro-evolusi . Contoh:

• Zaremba, Wojciech. Ilya Sutskever. Rafal Jozefowicz " Eksplorasi empiris arsitektur jaringan berulang. " (2015): menggunakan perhitungan evolusioner untuk menemukan struktur RNN yang optimal.
• Franck Dernoncourt. " Formasi Reticular medial: substrat saraf untuk pemilihan tindakan? Suatu evaluasi melalui perhitungan evolusioner. " Tesis Master. École Normale Supérieure Ulm. 2011
• Bayer, Justin, Daan Wierstra, Julian Togelius, dan Jürgen Schmidhuber. " Mengembangkan struktur sel memori untuk pembelajaran urutan. " Dalam Konferensi Internasional tentang Jaringan Saraf Tiruan, hal. 755-764. Springer Berlin Heidelberg, 2009 .: menggunakan perhitungan evolusioner untuk menemukan struktur RNN yang optimal.

Pembelajaran penguatan:

• Pham, Hieu, Melody Y. Guan, Barret Zoph, Quoc V. Le, dan Jeff Dean. "Pencarian Arsitektur Saraf Efisien melalui Parameter Berbagi." arXiv preprint arXiv: 1802.03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Zoph, Barret dan Le, Quoc V. Pencarian arsitektur saraf dengan pembelajaran penguatan. Di ICLR, 2017. https://arxiv.org/abs/1611.01578
• Jose M Alvarez, Mathieu Salzmann. Mempelajari Jumlah Neuron di Jaringan Dalam. NIPS 2016. https://arxiv.org/abs/1611.06321

• Bowen Baker, Otkrist Gupta, Nikhil Naik, Ramesh Raskar. Merancang Arsitektur Jaringan Saraf Tiruan menggunakan Reinforcement Learning. https://arxiv.org/abs/1611.02167

• Barret Zoph, Quoc V. Le. Pencarian Arsitektur Saraf dengan Pembelajaran Penguatan. https://arxiv.org/abs/1611.01578

Lain-lain:

• Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas. Belajar belajar dengan gradient descent oleh gradient descent. https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Young Lee Mengoptimalkan Hyperparameters Neural Network dengan Proses Gaussian untuk Klasifikasi Act Dialog , IEEE SLT 2016.
• Cortes, Corinna, Xavi Gonzalvo, Vitaly Kuznetsov, Mehryar Mohri, dan Scott Yang. "AdaNet: Pembelajaran Struktural Adaptive dari Jaringan Syaraf Tiruan." arXiv preprint arXiv: 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : Pendekatan yang mempelajari struktur jaringan dan juga bobotnya.

Tampaknya penelitian bergerak ke arah seperti itu:

• Miconi, Thomas. " Jaringan saraf dengan struktur yang dapat dibedakan. ", ArXiv (2016): penulis memperkenalkan konsep struktur jaringan yang dapat dibedakan untuk memasukkannya dalam fungsi tujuan.

AutoML Google adalah salah satu contohnya. Itu berhasil diterapkan pada dataset ImageNet, menghasilkan NASNet , yang pada penulisan ini, telah melampaui semua model lain dalam hal akurasi. Makalah utama ada di sini:

Mempelajari Arsitektur yang Dapat Dipindahtangankan untuk Pengenalan Gambar yang Skalabel - Zoph, et. Al.