Apakah kekurangan jaringan saraf berkurang?

8

Setelah bekerja dengan jaringan saraf selama sekitar setengah tahun, saya telah mengalami sendiri apa yang sering diklaim sebagai kelemahan utama mereka, yaitu overfitting dan terjebak dalam minimum lokal. Namun, melalui optimasi hyperparameter dan beberapa pendekatan yang baru ditemukan, ini telah diatasi untuk skenario saya. Dari eksperimen saya sendiri:

  • Putus sekolah nampaknya merupakan metode regularisasi yang sangat baik (juga pseudo-ensembler?),
  • Normalisasi batch memudahkan pelatihan dan menjaga kekuatan sinyal konsisten di banyak lapisan.
  • Adadelta secara konsisten mencapai optimas yang sangat baik

Saya telah bereksperimen dengan SciKit-belajar implementasi SVM bersama eksperimen saya dengan jaringan saraf, tetapi saya menemukan kinerjanya sangat buruk dibandingkan, bahkan setelah melakukan pencarian jaringan untuk hyperparameters. Saya menyadari bahwa ada banyak metode lain, dan SVM dapat dianggap sebagai sub-kelas NN, tetapi tetap saja.

Jadi, untuk pertanyaan saya:

Dengan semua metode baru yang diteliti untuk jaringan saraf, apakah mereka perlahan-lahan - atau akankah mereka - menjadi "unggul" dari metode lain? Jaringan saraf memiliki kelemahan mereka, seperti halnya yang lain, tetapi dengan semua metode baru, apakah kerugian ini telah dimitigasi ke keadaan tidak penting?

Saya menyadari bahwa seringkali "lebih sedikit lebih banyak" dalam hal kompleksitas model, tetapi itu juga dapat dirancang untuk jaringan saraf. Gagasan "tidak makan siang gratis" melarang kita untuk berasumsi bahwa satu pendekatan akan selalu unggul. Hanya saja eksperimen saya sendiri - bersama dengan makalah yang tak terhitung jumlahnya tentang penampilan luar biasa dari berbagai NN - menunjukkan bahwa mungkin ada, setidaknya, makan siang yang sangat murah.

neural-networks Alexander C. Harrington
sumber
batuk, tidak ada makan siang gratis, teorema batuk
yters

Jawaban:

5

Neural Networks memiliki kedatangan singkat lainnya juga.

  1. Dibutuhkan jauh lebih lama dan jauh lebih banyak sumber daya untuk melatih jaringan saraf daripada sesuatu seperti hutan acak. Jadi jika Anda membutuhkan kecepatan pelatihan atau sumber daya terbatas, Anda mungkin tidak harus melihat Neural Networks terlebih dahulu. Evaluasi NN dalam yang terlatih bisa jauh lebih mahal daripada teknik yang bersaing juga.
  2. Upaya yang terlibat dalam mempelajari cara merancang dan melatih NN masih jauh lebih tinggi daripada metode yang bersaing, seperti SVM. Orang-orang yang baru memulai dalam Ilmu Data mungkin harus menggunakan teknik lain untuk belajar tentang nuansa pas data sebelum terlibat dalam jaringan saraf. Dan meskipun NN sederhana dengan hanya satu atau dua hiperparameter sering tersedia di banyak pustaka sains data, mereka tidak berkinerja lebih baik daripada teknik lain sehingga hanya teknik kotak hitam ML lainnya.
  3. Sementara kami telah membuat banyak kemajuan dalam memahami bagaimana jaringan saraf melakukan keajaiban mereka, mereka masih kurang dapat diakses dan tidak dapat disbanding dengan kebanyakan metode yang bersaing. Jadi, sementara NN mungkin memecahkan masalah, mereka mungkin tidak memberi Anda wawasan semudah teknik lainnya.

Menantikan apa yang orang lain katakan di sini.

Mike Wise
sumber
Poin bagus, meskipun beberapa masalah kinerja dapat dikurangi dengan GPU, saya pikir. Selain itu, saya dengan hangat dapat merekomendasikan Keras, karena memungkinkan komposisi MLP dasar yang sangat mudah. Meskipun, seperti yang Anda katakan, ketika menggunakan perpustakaan tingkat sangat tinggi seperti SciKit Learn, agak sulit untuk mendapatkan kinerja yang baik, karena hyperparameters agak terlalu dangkal, dan mereka tidak menyediakan beberapa metodologi yang lebih baru.
Alexander C. Harrington
Ya, tetapi bahkan dengan GPU dalam jumlah besar, mereka masih jauh lebih lambat daripada teknik yang bersaing. Pelatihan DNN benar-benar berat, saya mengerjakan proyek-proyek di perusahaan teknologi yang sangat besar di mana mereka secara rutin berbicara tentang hari-hari pelatihan DNN pada kelompok GPU yang sangat besar yang dikhususkan untuk tugas-tugas semacam ini saja. Anda tidak melihat jenis komputasi yang dikhususkan untuk algoritma berbasis hutan acak AFAIK.
Mike Wise
Saya melihat. Tapi saya kira ini sebagai ganti kinerja yang jauh lebih unggul dari DNN? Atau mungkin margin yang membuat perbedaan?
Alexander C. Harrington
Yah, kita tahu DNN berpotensi mampu kecerdasan tingkat manusia :) - meskipun kita belum tahu persis bagaimana. Konkretnya, hari ini, kita tahu mereka memberi kita hasil terbaik untuk tugas-tugas seperti pengenalan gambar yang kompleks, suara decoding, inferensi niat dalam percakapan, dan beberapa lainnya.
Mike Wise
3

Hanya untuk menambah apa yang telah dikatakan dalam jawaban brilian @ MikeWise,

  • Semua hal yang sama, model pembelajaran yang dalam umumnya memiliki peringkat tertinggi bila dibandingkan dengan algoritma lain ketika ukuran dataset meningkat:

    mengapa pembelajaran yang mendalam

  • Seperti semuanya, semuanya bermuara pada dataset yang ada, jaringan saraf baik pada dataset lain tetapi pada saat yang sama, mereka akan buruk pada dataset lain. Ketika datang ke masalah tidak terstruktur (misalnya visual, teks, suara ), saat ini jaringan saraf tampaknya menjadi algoritma terbaik. Yang mengatakan, ketika datang ke data terstruktur, pemindaian cepat pada jenis algoritma yang digunakan untuk memenangkan kompetisi ilmu data online mengungkapkan bahwa, yang disebut algoritma pembelajaran mesin seperti XGboost peringkat tertinggi.

  • Ketika datang ke model lain, rekayasa fitur memainkan peran besar dalam efisiensi algoritma. Fitur Teknik umumnya adalah hal yang sulit untuk dilakukan dan dilakukan dengan benar. Algoritma pembelajaran mendalam tidak memerlukan sebanyak mungkin rekayasa fitur (jika ada sama sekali) dibandingkan dengan algoritma lain, bahkan mereka mempelajari fitur sendiri .

  • Jika orang-orang Google mengatakan mereka tidak melihat pembelajaran mendalam datang siapa yang mengesampingkan kemungkinan beberapa algoritma pembelajaran mesin keluar dan mengambil alih dunia dengan badai?

  • Berikut adalah Polling tentang apa yang dikatakan ilmuwan data ketika ditanya: apakah pembelajaran yang mendalam cocok dengan sensasi di aplikasi dunia nyata? .

  • Bahkan beberapa aplikasi pembelajaran dalam yang populer seperti Google AlphaGo tidak 100% pembelajaran dalam , sebaliknya mereka adalah pembelajaran mendalam, bagian dari "pembelajaran mesin" yang bagus. 2 sen saya adalah, mungkin kita seharusnya tidak mengesampingkan algoritma pembelajaran mesin lainnya.

Tshilidzi Mudau
sumber