Apa yang bisa kita pelajari tentang otak manusia dari jaringan saraf tiruan?

Saya tahu pertanyaan / judul saya tidak terlalu spesifik, jadi saya akan mencoba menjelaskannya:

Jaringan saraf tiruan memiliki desain yang relatif ketat. Tentu saja, secara umum, mereka dipengaruhi oleh biologi dan mencoba untuk membangun model matematika dari jaringan saraf nyata, tetapi pemahaman kita tentang jaringan saraf nyata tidak cukup untuk membangun model yang tepat. Oleh karena itu, kita tidak dapat membayangkan model yang tepat atau apa pun yang datang "dekat" jaringan saraf nyata.

Sejauh yang saya tahu, semua jaringan saraf tiruan jauh dari jaringan saraf asli. Standar, MLP terhubung sepenuhnya klasik tidak ada dalam biologi. Jaringan saraf berulang memiliki kekurangan neuroplastisitas nyata, masing-masing neuron dari RNN memiliki "arsitektur umpan balik" yang sama sementara neuron nyata menyimpan dan berbagi informasi mereka secara individual. Jaringan saraf konvolusional efektif dan populer, tetapi (misalnya) pemrosesan gambar dalam otak manusia hanya terdiri dari beberapa lapisan konvolusi sementara solusi modern (seperti GoogLeNet) sudah menggunakan puluhan lapisan ... dan meskipun mereka menghasilkan hasil yang bagus untuk komputer , mereka bahkan tidak dekat dengan kinerja manusia. Terutama ketika kita memikirkan "kinerja per-layer", karena kita membutuhkan jumlah lapisan dan pengurangan data yang cukup tinggi dibandingkan dengan jaringan saraf nyata.

Selain itu, setahu saya, bahkan jaringan syaraf tiruan modular, perluasan / swadaya-diri agak "tetap dan statis" dibandingkan dengan kemampuan beradaptasi yang sangat besar dari jaringan syaraf nyata. Neuron biologis biasanya memiliki ribuan dendrit yang menghubungkan neuron dengan sejumlah besar area berbeda dan neuron lain. Jaringan saraf tiruan jauh lebih "langsung".

Jadi, adakah yang bisa kita pelajari tentang otak manusia / jaringan saraf nyata dari jaringan saraf tiruan? Atau itu hanya beberapa upaya untuk membuat perangkat lunak yang berkinerja lebih baik daripada klasik, algoritma statis (atau bahkan melakukan hal-hal di mana algoritma tersebut gagal)?

Dapatkah seseorang menyediakan (terutama ilmiah) sumber tentang topik ini?

EDIT: Lebih banyak jawaban sangat dihargai (:

Seperti yang Anda sebutkan, sebagian besar jaringan saraf didasarkan pada abstraksi umum sederhana otak. Tidak hanya mereka kurang meniru karakteristik seperti plastisitas, tetapi mereka tidak memperhitungkan sinyal dan waktu seperti halnya neuron nyata.

Ada wawancara yang cukup baru, yang saya rasa cocok untuk pertanyaan spesifik Anda, Machine-Learning Maestro Michael Jordan tentang Delusi Data Besar dan Upaya Rekayasa Besar Lainnya , dan saya kutip:

Tetapi memang benar bahwa dengan ilmu saraf, akan membutuhkan beberapa dekade atau bahkan ratusan tahun untuk memahami prinsip-prinsip yang mendalam. Ada kemajuan pada tingkat neuroscience yang paling rendah. Tetapi untuk masalah kognisi yang lebih tinggi — bagaimana kita memandang, bagaimana kita mengingat, bagaimana kita bertindak — kita tidak tahu bagaimana neuron menyimpan informasi, bagaimana mereka menghitung, apa aturannya, apa algoritmanya, apa gambarannya, dan apa representasi itu, dan sejenisnya. Jadi kita belum berada di era di mana kita dapat menggunakan pemahaman tentang otak untuk membimbing kita dalam pembangunan sistem cerdas.

Tidak banyak --- tidak ada apa-apa --- sejauh ini telah dipelajari tentang fungsi otak dari jaringan saraf tiruan. [Klarifikasi: Saya menulis jawaban ini memikirkan jaringan saraf yang digunakan dalam pembelajaran mesin; @MattKrause (+1) benar bahwa model jaringan saraf dari beberapa fenomena saraf biologis mungkin bermanfaat dalam banyak kasus.] Namun, ini mungkin sebagian karena fakta bahwa penelitian jaringan saraf tiruan dalam pembelajaran mesin kurang lebih sama. stagnasi sampai sekitar 2006, ketika Geoffrey Hinton hampir sendirian menyulut seluruh bidang yang sekarang menarik miliaran dolar.

Dalam ceramah 2012 di Google yang disebut Brains, Sex, and Machine Learning (mulai 45:30), Hinton menyarankan bahwa jaringan saraf tiruan dapat memberikan petunjuk mengapa sebagian besar neuron berkomunikasi dengan paku dan bukan dengan sinyal analog. Yaitu, ia menyarankan untuk melihat paku sebagai strategi regularisasi mirip dengan putus sekolah. Dropout adalah cara yang dikembangkan baru-baru ini untuk mencegah overfitting, ketika hanya sebagian dari bobot yang diperbarui pada setiap langkah penurunan gradien tertentu (lihat Srivastava et al. 2014 ). Tampaknya itu dapat bekerja dengan sangat baik, dan Hinton berpikir bahwa mungkin paku (yaitu sebagian besar neuron diam pada saat tertentu) memiliki tujuan yang sama.

Saya bekerja di lembaga penelitian ilmu saraf dan saya tidak tahu siapa pun di sini yang yakin dengan argumen Hinton. Juri masih keluar (dan mungkin akan keluar untuk beberapa waktu), tetapi setidaknya ini adalah contoh dari sesuatu yang jaringan syaraf tiruan berpotensi mengajarkan kita tentang fungsi otak.

Tentu saja tidak benar bahwa otak manusia hanya menggunakan lapisan konvolusional "beberapa". Sekitar 1/3 dari otak primata terlibat dalam pemrosesan informasi visual. Diagram ini, dari Felleman dan Van Essen adalah garis besar kasar tentang bagaimana informasi visual mengalir melalui otak monyet, dimulai di mata (RGC di bagian bawah) dan berakhir di hippocampus, area memori.

Masing-masing kotak ini adalah area yang ditentukan secara anatomis (lebih atau kurang), yang berisi beberapa tahap pemrosesan (lapisan aktual, dalam kebanyakan kasus). Diagram itu sendiri berusia 25 tahun dan jika ada, kami telah belajar bahwa ada beberapa kotak lagi dan lebih banyak garis.

Ini adalah benar bahwa banyak pekerjaan pembelajaran yang mendalam lebih "samar-samar terinspirasi oleh" otak daripada didasarkan pada beberapa mendasari kebenaran saraf. "Pembelajaran mendalam" juga memiliki keuntungan tambahan dengan terdengar jauh lebih seksi daripada "regresi logistik berulang."

Namun, model matematika dari jaringan saraf juga banyak berkontribusi pada pemahaman kita tentang otak. Pada satu ekstrim, beberapa model berusaha untuk meniru biologi dan biofisika yang dikenal secara tepat. Ini biasanya termasuk istilah untuk ion individu dan alirannya. Beberapa bahkan menggunakan rekonstruksi 3D dari neuron nyata untuk membatasi bentuknya. Jika ini menarik bagi Anda, ModelDB memiliki banyak koleksi model dan publikasi terkait. Banyak yang diimplementasikan menggunakan perangkat lunak NEURON yang tersedia secara bebas .

Ada model skala yang lebih besar yang mencoba meniru efek perilaku atau neurofisiologis tertentu, tanpa terlalu khawatir tentang biofisika yang mendasarinya. Model Connectionist atau Parallel-Distributed-Processing, yang sangat populer di akhir 1980-an dan 1990-an dan menggunakan model yang mirip dengan yang mungkin Anda temukan dalam aplikasi pembelajaran mesin saat ini (misalnya, tidak ada biofisika, fungsi aktivasi sederhana dan konektivitas stereotip) untuk menjelaskan berbagai proses psikologis. Ini telah sedikit keluar dari mode, meskipun orang bertanya-tanya apakah mereka mungkin kembali sekarang karena kita memiliki komputer yang lebih kuat dan strategi pelatihan yang lebih baik. (Lihat edit di bawah!)

Akhirnya, ada banyak pekerjaan di suatu tempat di tengah yang mencakup beberapa "fenomenologi", ditambah beberapa detail biologis (misalnya, istilah penghambatan secara eksplisit dengan sifat-sifat tertentu, tetapi tanpa menyesuaikan distribusi saluran klorida yang tepat). Banyak pekerjaan saat ini cocok dengan kategori ini, misalnya, karya Xiao Jing Wang (dan banyak lainnya ....)

EDIT : Sejak saya menulis ini, ada ledakan pekerjaan yang membandingkan sistem visual (nyata) dengan jaringan saraf dalam yang dilatih pada tugas pengenalan objek. Ada beberapa kesamaan yang mengejutkan. Kernel pada lapisan pertama dari jaringan saraf sangat mirip dengan kernel / bidang reseptif dalam korteks visual primer dan lapisan berikutnya menyerupai bidang reseptif di area visual yang lebih tinggi (lihat karya Nikolaus Kriegeskorte, misalnya ). Pelatihan ulang jaringan saraf dapat menyebabkan perubahan serupa pada pelatihan perilaku yang luas (Wenliang dan Seitz, 2018) . DNN dan manusia terkadang - tetapi tidak selalu - membuat pola kesalahan yang sama juga.

Saat ini, masih agak tidak jelas apakah ini mencerminkan kesamaan antara jaringan saraf tiruan nyata dan buatan pada umumnya, sesuatu tentang gambar khusus [*], atau kecenderungan jaringan saraf semua garis untuk menemukan pola, bahkan ketika mereka tidak ada di sana. Namun demikian, membandingkan keduanya telah menjadi bidang penelitian yang semakin panas dan sepertinya kita akan belajar sesuatu darinya.

* Sebagai contoh, representasi yang digunakan dalam sistem visual awal / lapisan pertama CNN adalah dasar yang jarang optimal untuk gambar alami.

Yang kita benar-benar pelajari adalah penggunaan aktivasi jarang dan penggunaan fungsi aktivasi linier yang diperbaiki. Yang kemudian pada dasarnya adalah salah satu alasan, mengapa kita melihat ledakan dalam aktivitas yang disebut jaringan saraf karena menggunakan fungsi aktivasi semacam ini menghasilkan penurunan dramatis dari pelatihan yang diberikan untuk jaringan komputasi artifisial yang kita gunakan untuk memanggil jaringan saraf.

Apa yang kami pelajari adalah mengapa sinaps dan neuron dibangun dengan cara ini dan mengapa lebih disukai. Aktivasi linear terkoreksi ini (f (x): = x> a? X: 0) menghasilkan aktivasi jarang (hanya beberapa 'neuron' (bobot)) yang diaktifkan.

Jadi apa yang kita lakukan sementara pengetahuan kita meluas ke fungsi biologis, kita mengerti mengapa ini dipilih dan disukai oleh evolusi. Kami memahami bahwa sistem itu cukup memadai tetapi juga stabil dalam hal pengendalian kesalahan selama pelatihan dan juga melestarikan sumber daya seperti energi dan sumber daya kimia / biologis di otak.

Kami hanya memahami mengapa otak itu apa adanya. Juga dengan melatih dan melihat strategi-strategi yang kami pahami tentang kemungkinan arus informasi dan pemrosesan informasi yang terlibat membantu kami membangun dan menilai hipotesis tentang subyek yang sebenarnya.

Sebagai contoh, sesuatu yang dapat saya ingat dari satu dekade yang lalu adalah melatih suatu sistem untuk belajar bahasa lisan alami dan penemuan yang dibuatnya adalah sistem yang menunjukkan masalah serupa yang merangkum kembali perilaku analog bayi yang belajar berbicara dalam bahasa. Bahkan perbedaan antara mempelajari berbagai jenis bahasa cukup mirip.

Jadi dengan mempelajari pendekatan dan desain ini, disimpulkan bahwa pemrosesan informasi manusia selama pembelajaran bahasa cukup mirip untuk menarik rekomendasi pelatihan dan perawatan untuk masalah terkait bahasa, yang membantu dalam membantu dan memahami kesulitan manusia dan mengembangkan perawatan yang lebih efisien (apa pun yang pernah terjadi). itu benar-benar membuatnya dalam praktek adalah pertanyaan lain).

Sebulan yang lalu saya membaca sebuah artikel tentang bagaimana navigasi 3D dan mengingat otak tikus benar-benar bekerja dan dengan membuat model komputasi tentang setiap temuan itu sangat membantu untuk memahami apa yang sebenarnya terjadi. Jadi model buatan mengisi kekosongan dari apa yang diamati dalam sistem biologis.

Itu benar-benar membuat saya takjub ketika saya mengetahui bahwa para ilmuwan neurologis menggunakan bahasa yang mengumpulkan lebih dari seorang insinyur daripada orang biologis berbicara tentang sirkuit, aliran informasi dan unit pemrosesan logis.

Jadi kita belajar banyak dari jaringan syaraf tiruan karena menyajikan kita dengan alasan bermain empiris kita dapat memperoleh aturan dan jaminan dari ketika datang ke mengapa arsitektur otak adalah apa itu dan juga mengapa evolusi lebih memilih ini daripada cara-cara alternatif.

Masih banyak yang kosong tetapi dari apa yang saya baca - saya baru saja masuk ke CNN dll. Tetapi memiliki AI buatan, logika fuzzy dan jaringan saraf selama masa kuliah di awal tahun 2000-an.

Jadi saya telah mengejar perkembangan dan penemuan senilai satu dekade yang menghasilkan rasa terima kasih untuk semua ilmuwan dan praktisi jaringan saraf dan bidang AI. Orang-orang baik, sangat baik!