Berikut ini adalah buku yang menarik, Neural Networks: Tricks of the Trade , versi terbaru dari buku tersebut. Banyak artikel oleh beberapa pelopor jaringan saraf.
ypx dengan indah menyentuh banyak masalah praktis dengan pelatihan, jadi untuk menyentuh isu-isu lain yang Anda ajukan: banyak laboratorium industri elit masih mempublikasikan hasilnya. Misalnya tim Microsoft Research baru saja memenangkan ImageNet 2015 dan mereka merilis laporan teknis yang menggambarkan modul deep net baru mereka: Pembelajaran Residual Jauh untuk Pengenalan Gambar , tim Google juga menerbitkan arsitektur Inception mereka, Going Deeper with Convolutions . Untuk tingkat non-sepele masih ada budaya dalam pembelajaran mesin (untuk saat ini) berbagi inovasi besar. Mungkin karena kuncinya adalah akses ke data. Google dan Facebook hanya memiliki akses ke data yang tidak kami miliki. Sulit untuk mengatakan berapa banyak kredit yang digunakan untuk inovasi algoritmik mentah dan berapa banyak ke data dalam jumlah besar.
Berkenaan dengan apa yang akan terjadi di masa depan? Sulit untuk dikatakan. Ini adalah masalah yang diangkat banyak orang mengingat betapa berharganya perusahaan yang didorong oleh data ini dan seberapa kompetitifnya pasar. Tetapi untuk saat ini, saya pikir ada keseimbangan yang cukup baik dari apa yang dibagi dan tidak dibagi oleh laboratorium penelitian industri. Saya mengerti mereka tidak membagikan implementasi kode yang tepat. Tetapi mereka memang berbagi beberapa inovasi yang sangat baru.
Temukan peneliti yang mempublikasikan hasil penting dan membaca, membaca, membaca. Saya percaya pada AMA Yann LeCun tentang Reddit, dia menyebutkan bahwa dia adalah pembaca yang rakus. Saya percaya ini adalah hal yang paling penting. Dan sejauh itu praktis, cobalah untuk membuat ulang tolok ukur mereka, atau menerapkan metode mereka ke dataset yang sesuai dengan anggaran Anda.
Saya pikir terlepas dari di mana Anda berada atau apa stasiun Anda dalam hidup, ini adalah cara terbaik untuk tetap tajam dan terus mengembangkan keterampilan Anda. Jadilah pembaca yang rakus dan terapkan berbagai hal dan bangun intuisi. Saya pribadi tidak memiliki sumber daya untuk berpartisipasi dalam kompetisi ImageNet, tetapi membaca semua artikel grup berkinerja terbaik ImageNet telah sangat membantu saya.