Seberapa benarkah slide ini pada pembelajaran yang mendalam mengklaim bahwa semua peningkatan dari tahun 1980 hanya karena lebih banyak data dan komputer yang lebih cepat?

22

Saya mendengarkan ceramah dan melihat slide ini:

masukkan deskripsi gambar di sini

Seberapa benar itu?

Franck Dernoncourt
sumber
6
Saya perlu lebih banyak konteks.
kardinal
2
akan membantu jika Anda mengutip peneliti. bagi saya, pada intinya pembelajaran mendalam melibatkan jaringan yang lebih besar dalam jumlah neuron dan lebih banyak lapisan. diakui bahwa agak tersirat oleh poin-poin di atas yang tampaknya akurat. poin di atas memfasilitasi jaringan yang lebih besar.
vzn
Apa sumber untuk ini?
MachineEpsilon

Jawaban:

11

Saya sedang menjelajahi AI StackExchange dan menemukan pertanyaan yang sangat mirip: Apa yang membedakan "Deep Learning" dari jaringan saraf lain?

Karena AI StackExchange akan ditutup besok (lagi), saya akan menyalin dua jawaban teratas di sini (kontribusi pengguna dilisensikan dengan cc by-sa 3.0 dengan atribusi yang diperlukan):


Penulis: mommi84less

Dua makalah 2006 yang dikutip dengan baik membawa minat penelitian kembali ke pembelajaran yang mendalam. Dalam "Algoritma pembelajaran cepat untuk jaring kepercayaan mendalam" , penulis mendefinisikan jaring keyakinan mendalam sebagai:

[...] jaring kepercayaan yang terhubung erat yang memiliki banyak lapisan tersembunyi.

Kami menemukan deskripsi yang hampir sama untuk jaringan yang dalam di " Pelatihan Greedy Layer-Wise dari Deep Networks" :

Deep multi-layer neural network memiliki banyak tingkatan non-linearitas [...]

Kemudian, dalam makalah survei "Representasi Pembelajaran: Tinjauan dan Perspektif Baru" , pembelajaran mendalam digunakan untuk mencakup semua teknik (lihat juga pembicaraan ini ) dan didefinisikan sebagai:

[...] membangun beberapa level representasi atau mempelajari hierarki fitur.

Kata sifat "dalam" dengan demikian digunakan oleh penulis di atas untuk menyoroti penggunaan beberapa lapisan tersembunyi non-linear .


Penulis: lejlot

Hanya untuk menambahkan jawaban ke @ mommi84.

Pembelajaran mendalam tidak terbatas pada jaringan saraf. Ini adalah konsep yang lebih luas dari sekedar DBN Hinton dll. Pembelajaran mendalam adalah tentang

membangun beberapa level representasi atau mempelajari hierarki fitur.

Jadi itu adalah nama untuk algoritma pembelajaran representasi hirarkis . Ada model mendalam berdasarkan Hidden Markov Model, Conditional Randoms Fields, Support Vector Machines dll. Satu-satunya hal yang umum adalah, bahwa alih-alih (populer di tahun 90-an) fitur engineering , di mana para peneliti mencoba untuk membuat serangkaian fitur, yang merupakan terbaik untuk memecahkan beberapa masalah klasifikasi - mesin-mesin ini dapat mengerjakan representasi mereka sendiri dari data mentah. Khususnya - diterapkan pada pengenalan gambar (gambar mentah) mereka menghasilkan representasi multi level yang terdiri dari piksel, lalu garis, lalu fitur wajah (jika kita bekerja dengan wajah) seperti hidung, mata, dan wajah yang akhirnya digeneralisasi. Jika diterapkan pada Natural Language Processing - mereka membangun model bahasa, yang menghubungkan kata-kata menjadi potongan-potongan, potongan-potongan menjadi kalimat dll.


Slide lain yang menarik:

masukkan deskripsi gambar di sini

sumber

Franck Dernoncourt
sumber
7

Dropout, dari Hinton pada tahun 2006, dikatakan sebagai peningkatan terbesar dalam pembelajaran mendalam selama 10 tahun terakhir, karena mengurangi banyak overfitting.

oao
sumber
2
2006? Sejauh yang saya tahu, ini diperkenalkan pada tahun 2014 di jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf .
Amuba mengatakan Reinstate Monica
6

Ini tentu pertanyaan yang akan memancing kontroversi.

Ketika jaringan saraf digunakan dalam pembelajaran mendalam, mereka biasanya dilatih dengan cara-cara yang tidak digunakan pada 1980-an. Secara khusus, strategi yang melakukan pra-lapisan individu pada jaringan saraf untuk mengenali fitur-fitur pada level yang berbeda diklaim membuatnya lebih mudah untuk melatih jaringan dengan beberapa lapisan. Itu tentu perkembangan baru sejak 1980-an.

Brian Borchers
sumber
5

Kuncinya adalah kata "mendalam" dalam pembelajaran mendalam. Seseorang (lupa ref) di tahun 80-an membuktikan bahwa semua fungsi non-linear dapat diperkirakan oleh jaringan saraf tunggal dengan, tentu saja, sejumlah besar unit tersembunyi. Saya pikir hasil ini mungkin membuat orang enggan mencari jaringan yang lebih dalam di era sebelumnya.

Tetapi kedalaman jaringan adalah apa yang terbukti menjadi elemen penting dalam representasi hierarkis yang mendorong keberhasilan banyak aplikasi saat ini.

horaceT
sumber
2
en.wikipedia.org/wiki/Universal_approximation_theorem
amoeba mengatakan Reinstate Monica
0

Tidak persis, JST dimulai pada 50-an. Lihatlah salah satu slide bintang rock Yann LeCun untuk intro yang otentik dan komprehensif. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf

Tombak
sumber
Ini adalah kependekan dari jawaban oleh standar kami, lebih dari komentar. Anda harus benar-benar mengembangkannya menjadi jawaban lengkap dengan memberikan beberapa poin penting dari slide itu!
kjetil b halvorsen