Mengapa jaringan saraf yang dalam dan pembelajaran yang mendalam tidak cukup untuk mencapai kecerdasan umum?

Segala sesuatu yang terkait dengan Deep Learning (DL) dan jaringan deep (er) tampaknya "berhasil", setidaknya berkembang sangat cepat, dan menumbuhkan keyakinan bahwa AGI berada dalam jangkauan. Ini adalah imajinasi populer. DL adalah alat luar biasa untuk mengatasi begitu banyak masalah, termasuk pembuatan AGI. Tapi itu tidak cukup. Alat adalah bahan yang diperlukan, tetapi seringkali tidak mencukupi.

Tokoh terkemuka dalam domain mencari tempat lain untuk membuat kemajuan. Ini laporan / mengklaim mengumpulkan link ke pernyataan Yoshua Bengio , Yann LeCun dan Geoff Hinton . Laporan itu juga menjelaskan:

Kelemahan utama DL (seperti yang saya lihat) adalah: ketergantungan pada neuron model yang paling sederhana ("kartun" seperti LeCun menyebutnya); penggunaan ide dari Mekanika Statistik dan Statistik abad ke-19, yang merupakan dasar fungsi energi dan metode log-likelihood; dan kombinasi dari ini dalam teknik-teknik seperti backprop dan stochastic gradient descent, yang mengarah ke rezim aplikasi yang sangat terbatas (offline, sebagian besar batch, pembelajaran yang diawasi), membutuhkan praktisi yang sangat berbakat (alias "Stochastic Graduate Descent"), sejumlah besar mahal berlabel data pelatihan dan kekuatan komputasi. Walaupun bagus untuk perusahaan besar yang dapat memikat atau membeli bakat dan menggunakan sumber daya tak terbatas untuk mengumpulkan data dan mengolahnya, DL tidak mudah diakses atau berguna bagi sebagian besar dari kita.

Meskipun menarik dan relevan, penjelasan semacam itu tidak benar-benar menjawab inti masalahnya: Apa yang kurang?

Pertanyaan itu tampaknya luas, tetapi mungkin karena kurangnya jawaban yang sederhana. Apakah ada cara untuk menunjukkan dengan tepat apa yang kurang dari DL untuk AGI?

Semua orang yang berurusan dengan jaringan saraf kehilangan poin penting ketika membandingkan sistem dengan kecerdasan seperti manusia. Manusia membutuhkan waktu berbulan-bulan untuk melakukan sesuatu yang dapat dipahami, apalagi untuk dapat menyelesaikan masalah di mana manusia dewasa hampir tidak dapat mengelola. Itu dan ukuran otak manusia sangat besar dibandingkan dengan jaringan saraf kita. Arah mungkin benar, tetapi skalanya jauh. Jumlah neuron dalam otak manusia dapat dicocokkan dengan ingatan tetapi jumlah paralelisme untuk mensimulasikannya secara real-time belum dapat dicapai (setidaknya untuk peneliti acak). Meskipun agak tua ini mungkin memberi Anda gambaran tentang seberapa banyak kita kekurangan kekuatan pemrosesan.

Deep Learning sebagian besar berhasil dalam pembelajaran yang diawasi, sedangkan otak membangun kategori sebagian besar dengan cara yang tidak diawasi. Kami belum tahu bagaimana melakukannya. (Lihatlah google brain : 16.000 core dan yang dapat dilakukan adalah mengenali kucing dan wajah manusia dengan akurasi yang sangat buruk.)

Deep Learning menggunakan aktivasi yang sangat tidak terstruktur, yaitu representasi tingkat tinggi "anjing" dan "kucing" dalam pengklasifikasi jaringan saraf tidak harus sama sekali. Otak di sisi lain menggunakan neuron penghambat untuk membuat representasi terdistribusi jarang yang terurai menjadi aspek semantik mereka. Itu mungkin penting untuk abstraksi dan penalaran dengan analogi.

Otak memiliki banyak bagian berbeda yang bekerja bersama. Peneliti Deep Learning baru saja mulai mengintegrasikan memori atau mekanisme perhatian ke dalam arsitektur mereka.

Otak mengintegrasikan informasi dari banyak indera yang berbeda. Sebagian besar aplikasi Deep Learning hanya menggunakan satu jenis input, seperti teks atau gambar.

Otak mampu memodelkan urutan sebagai kategori. (Pada dasarnya setiap kata kerja menamai kategori berurutan (yaitu temporal).) Ia kemudian dapat mengatur kategori-kategori ini menjadi rencana hierarkis jangka panjang. Sejauh ini saya belum melihat apa pun ke arah itu dalam Pembelajaran Jauh.

Juga jaringan saraf belum dapat beroperasi pada skala yang sama dengan otak manusia. Jika Anda melihat jawaban untuk pertanyaan ini , otak manusia akan berada di depan dalam hitungan neuron selama beberapa dekade. Jaringan saraf mungkin tidak memerlukan jumlah neuron yang sama dengan otak untuk mencapai kinerja yang sama (karena akurasi yang lebih tinggi), tetapi saat ini misalnya pemrosesan video masih sangat terbatas dalam hal input dan throughput.

IMHO rintangan pertama adalah skala : bahkan DNN terbesar Google tidak mendekati skala otak, dan dengan faktor beberapa perintah besarnya ...

Saya pikir itu masih hilang aspek apa yang membuat otak manusia; memiliki banyak jaringan berbeda yang saling bekerja sama.

Sama seperti meditasi meningkatkan kemampuan kognitif dengan membuat otak bekerja lebih sinergis, kita juga bisa menerapkannya pada mesin.

Misalnya google sedang belajar komputer untuk bermimpi, sama seperti yang kita lakukan, untuk memperkuat apa yang sudah kita pelajari. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

Dan di sini adalah pathnet, jaringan jaringan saraf. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

Menciptakan semua mekanik ini dan menyatukan semuanya, dengan kekuatan yang cukup dan kita akan cukup dekat!

Para pendukung kecerdasan buatan saat ini berfokus pada masalah kemampuan komputasi - kemampuan untuk memecahkan masalah yang kompleks dengan cepat. Adalah keyakinan saya bahwa jumlah keberhasilan apa pun dalam arah ini tidak akan mengarah pada kecerdasan manusia (umum) meskipun pasti akan mengungguli manusia dalam domain tertentu. Sebaliknya, upaya harus menuju studi tentang apa yang menyebabkan sensasi peristiwa neurologis (pengalaman qualia). Tentu saja, ini adalah masalah filosofi yang sulit, tetapi saya percaya ini adalah kunci unik untuk kecerdasan umum dan kemampuannya. Rekayasa terbalik dan juga teori yang dapat diuji harus diajukan untuk mencapai tujuan ini.