Saya mendengarkan ceramah dan melihat slide ini:
Seberapa benar itu?
deep-learning
deep-belief-networks
Franck Dernoncourt
sumber
sumber
Jawaban:
Saya sedang menjelajahi AI StackExchange dan menemukan pertanyaan yang sangat mirip: Apa yang membedakan "Deep Learning" dari jaringan saraf lain?
Karena AI StackExchange akan ditutup besok (lagi), saya akan menyalin dua jawaban teratas di sini (kontribusi pengguna dilisensikan dengan cc by-sa 3.0 dengan atribusi yang diperlukan):
Penulis: mommi84less
Penulis: lejlot
Slide lain yang menarik:
sumber
sumber
Dropout, dari Hinton pada tahun 2006, dikatakan sebagai peningkatan terbesar dalam pembelajaran mendalam selama 10 tahun terakhir, karena mengurangi banyak overfitting.
sumber
Ini tentu pertanyaan yang akan memancing kontroversi.
Ketika jaringan saraf digunakan dalam pembelajaran mendalam, mereka biasanya dilatih dengan cara-cara yang tidak digunakan pada 1980-an. Secara khusus, strategi yang melakukan pra-lapisan individu pada jaringan saraf untuk mengenali fitur-fitur pada level yang berbeda diklaim membuatnya lebih mudah untuk melatih jaringan dengan beberapa lapisan. Itu tentu perkembangan baru sejak 1980-an.
sumber
Kuncinya adalah kata "mendalam" dalam pembelajaran mendalam. Seseorang (lupa ref) di tahun 80-an membuktikan bahwa semua fungsi non-linear dapat diperkirakan oleh jaringan saraf tunggal dengan, tentu saja, sejumlah besar unit tersembunyi. Saya pikir hasil ini mungkin membuat orang enggan mencari jaringan yang lebih dalam di era sebelumnya.
Tetapi kedalaman jaringan adalah apa yang terbukti menjadi elemen penting dalam representasi hierarkis yang mendorong keberhasilan banyak aplikasi saat ini.
sumber
Tidak persis, JST dimulai pada 50-an. Lihatlah salah satu slide bintang rock Yann LeCun untuk intro yang otentik dan komprehensif. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf
sumber