Di mana dan mengapa pembelajaran mendalam bersinar?

20

Dengan semua pembicaraan media dan hype tentang pembelajaran mendalam hari ini, saya membaca beberapa hal mendasar tentang hal itu. Saya baru saja menemukan bahwa itu hanyalah metode pembelajaran mesin untuk mempelajari pola dari data. Tetapi pertanyaan saya adalah: di mana dan mengapa metode ini bersinar? Kenapa semua pembicaraan tentang itu sekarang? Yaitu apa yang diributkan?

Jack Twain
sumber
4
Lihatlah kuliah youtube kualitatif Geoff Hinton dan Andrew Ng untuk ikhtisar mudah mengapa begitu baik.
Jase

Jawaban:

22

Manfaat utama yang diklaim:

(1) Tidak perlu fitur insinyur tangan untuk masalah pembelajaran non-linear (menghemat waktu dan terukur ke masa depan, karena teknik tangan dipandang oleh beberapa orang sebagai bantuan band jangka pendek)

(2) Fitur yang dipelajari terkadang lebih baik daripada fitur yang direkayasa dengan tangan terbaik, dan bisa sangat kompleks (visi komputer - misalnya fitur seperti wajah) sehingga butuh terlalu banyak waktu manusia untuk merekayasa.

(3) Dapat menggunakan data yang tidak berlabel untuk pra-melatih jaringan. Misalkan kita memiliki 1000000 gambar tidak berlabel dan 1000 gambar berlabel. Kita sekarang dapat secara drastis meningkatkan algoritma pembelajaran yang diawasi dengan pra-pelatihan pada 1000000 gambar yang tidak berlabel dengan pembelajaran yang mendalam. Selain itu, di beberapa domain kami memiliki banyak data yang tidak berlabel tetapi data berlabel sulit ditemukan. Algoritma yang dapat menggunakan data yang tidak berlabel ini untuk meningkatkan klasifikasi sangat berharga.

(4) Secara empiris, menghancurkan banyak tolok ukur yang hanya melihat peningkatan bertahap sampai diperkenalkannya metode pembelajaran yang mendalam.

(5) Algoritma yang sama berfungsi di banyak area dengan input mentah (mungkin dengan minor pre-processing).

(6) Terus membaik karena lebih banyak data dimasukkan ke jaringan (dengan asumsi distribusi stasioner dll).

Jase
sumber
1

Poin penting lainnya selain dari yang disebutkan di atas (saya tidak memiliki perwakilan yang cukup untuk hanya menambahkannya sebagai komentar) adalah bahwa itu adalah model generatif (setidaknya Deep Belief Nets) dan dengan demikian Anda dapat mengambil sampel dari distribusi yang dipelajari - ini dapat memiliki beberapa manfaat utama dalam aplikasi tertentu di mana Anda ingin menghasilkan data sintetik yang sesuai dengan kelas / kluster yang dipelajari.

Alex McMurray
sumber
1
Ini bukan sifat umum dari pembelajaran yang mendalam, tetapi dari model konkret yang dimaksud. Misalnya Anda dapat mengambil sampel dari Gaussian tetapi tidak dari regresi logistik. Anda juga dapat mencicipi dari berbagai model pembelajaran dalam, misalnya jaring kepercayaan mendalam seperti yang Anda katakan, mesin Boltzmann dalam, model Gaussian laten dalam, dll. Tetapi Anda tidak dapat mengambil sampel dari kapal keruk, yang merupakan model yang telah digunakan dalam semua mengesankan aplikasi.
bayerj
... Mengapa Anda tidak dapat mengambil sampel dari regresi logistik?
Hong Ooi
Diberikan model LR hal(c|x), Anda dapat mencicipi kelas yang dikondisikan pada input. Tetapi Anda tidak dapat mencicipi input. Dengan demikian, ini lebih merupakan pembedaan diskriminatif / generatif.
bayerj
1
Tetapi hal yang sama berlaku untuk model regresi gaussian, jika yang Anda maksud adalah regresi linier dasar.
Hong Ooi