Jaringan saraf vs yang lainnya

Saya belum menemukan jawaban yang memuaskan untuk ini dari google .

Tentu saja jika data yang saya miliki adalah urutan jutaan maka pembelajaran mendalam adalah caranya.

Dan saya telah membaca bahwa ketika saya tidak memiliki data besar maka mungkin lebih baik menggunakan metode lain dalam pembelajaran mesin. Alasan yang diberikan terlalu pas. Pembelajaran mesin: yaitu melihat data, ekstraksi fitur, membuat fitur baru dari apa yang dikumpulkan dll. Hal-hal seperti menghapus variabel yang sangat berkorelasi dll. Seluruh pembelajaran mesin 9 yard.

Dan saya bertanya-tanya: mengapa jaringan saraf dengan satu lapisan tersembunyi bukanlah obat mujarab untuk masalah pembelajaran mesin? Mereka adalah penduga universal, over-fitting dapat dikelola dengan dropout, l2 regularisasi, l1 regularisasi, batch-normalisasi. Kecepatan pelatihan umumnya tidak menjadi masalah jika kita hanya memiliki 50.000 contoh pelatihan. Mereka lebih baik pada saat pengujian daripada, katakanlah, hutan acak.

Jadi mengapa tidak - bersihkan data, hubungkan nilai yang hilang seperti yang biasanya Anda lakukan, pusatkan data, standarisasi data, lemparkan ke ansambel jaringan saraf dengan satu lapisan tersembunyi dan terapkan regularisasi sampai Anda melihat tidak ada over-fitting dan kemudian latih mereka sampai akhir. Tidak ada masalah dengan ledakan gradien atau menghilang gradien karena itu hanya jaringan 2 lapis. Jika lapisan dalam diperlukan, itu berarti fitur hierarkis harus dipelajari dan kemudian algoritma pembelajaran mesin lainnya juga tidak baik. Misalnya SVM adalah jaringan saraf dengan hanya kehilangan engsel.

Contoh di mana beberapa algoritma pembelajaran mesin lainnya akan mengungguli jaringan saraf 2 lapis yang diatur dengan hati-hati (mungkin 3?) Akan dihargai. Anda dapat memberi saya tautan ke masalahnya dan saya akan melatih jaringan saraf terbaik yang saya bisa dan kita dapat melihat apakah 2 jaringan saraf berlapis atau 3 jaringan gagal dari algoritma pembelajaran mesin benchmark lainnya.

Setiap algoritma pembelajaran mesin memiliki bias induktif yang berbeda, sehingga tidak selalu tepat untuk menggunakan jaringan saraf. Tren linear akan selalu dipelajari terbaik dengan regresi linier sederhana daripada ensemble jaringan nonlinier.

Jika Anda melihat pemenang kompetisi Kaggle sebelumnya , kecuali tantangan dengan data gambar / video, Anda akan segera menemukan bahwa jaringan saraf bukan solusi untuk semuanya. Beberapa solusi masa lalu di sini.

menerapkan regularisasi sampai Anda melihat tidak terlalu pas dan kemudian melatih mereka sampai akhir

Tidak ada jaminan bahwa Anda dapat menerapkan cukup regularisasi untuk mencegah overfitting tanpa sepenuhnya menghancurkan kapasitas jaringan untuk mempelajari apa pun. Dalam kehidupan nyata, jarang ada kemungkinan untuk menghilangkan kesenjangan tes-kereta, dan itulah sebabnya makalah masih melaporkan kinerja kereta dan tes.

mereka adalah penaksir universal

Ini hanya berlaku dalam batas jumlah unit yang tidak terbatas, yang tidak realistis.

Anda dapat memberi saya tautan ke masalah dan saya akan melatih jaringan saraf terbaik yang saya bisa dan kita dapat melihat apakah 2 jaringan saraf berlapis atau 3 jaringan gagal dari algoritma pembelajaran mesin benchmark lainnya

Contoh masalah yang saya harapkan jaringan saraf tidak akan pernah bisa menyelesaikan: Diberikan bilangan bulat, diklasifikasikan sebagai prima atau bukan-prima.

Saya percaya ini bisa diselesaikan dengan sempurna dengan algoritma sederhana yang mengulangi semua program yang valid dalam panjang yang menanjak dan menemukan program terpendek yang dengan benar mengidentifikasi bilangan prima. Memang, string regex 13 karakter ini dapat cocok dengan bilangan prima, yang tidak dapat dihitung secara komputasi untuk pencarian.

Dapatkah regularisasi mengambil model dari model yang cocok ke model yang memiliki kekuatan representasionalnya sangat dirusak oleh regularisasi? Tidak akan selalu ada sweet spot di antaranya?

Ya, ada sweet spot, tetapi biasanya jauh sebelum Anda berhenti makan berlebihan. Lihat gambar ini:

Jika Anda membalik sumbu horizontal dan menandai kembali sebagai "jumlah regularisasi", itu cukup akurat - jika Anda mengatur hingga tidak ada overfitting sama sekali, kesalahan Anda akan sangat besar. "Sweet spot" terjadi ketika ada sedikit overfitting, tetapi tidak terlalu banyak.

Bagaimana 'algoritme sederhana yang diputar di atas semua program yang valid dalam panjang yang menanjak dan menemukan program terpendek yang dengan benar mengidentifikasi bilangan prima.' suatu algoritma yang belajar?

$\theta$$H(\theta)$$\theta$

jadi jika saya mengerti Anda membuat argumen bahwa jika data tidak substansial jaringan yang dalam tidak akan pernah mencapai akurasi validasi jaringan dangkal terbaik diberi hyperparameter terbaik untuk keduanya?

Iya. Berikut ini adalah figur yang jelek tapi mudah-mudahan efektif untuk menggambarkan poin saya.

tapi itu tidak masuk akal. jaringan yang dalam hanya bisa belajar pemetaan 1-1 di atas yang dangkal

Pertanyaannya bukan "bisakah", tetapi "akankah", dan jika Anda melatih propaganda balik, jawabannya mungkin tidak.

Kami membahas fakta bahwa jaringan yang lebih besar akan selalu bekerja lebih baik daripada jaringan yang lebih kecil

Tanpa kualifikasi lebih lanjut, klaim itu salah.

Saya ingin menambahkan bahwa tidak ada yang namanya obat mujarab pembelajaran mesin:

Dengan teorema makan siang gratis :

Jika suatu algoritma berkinerja baik pada kelas masalah tertentu maka itu harus membayar untuk itu dengan kinerja yang menurun pada set semua masalah yang tersisa