Apa yang menghalangi jaringan syaraf berdenyut digunakan dalam aplikasi?
13
Jaringan saraf pulsed atau Spiking menggabungkan lebih banyak dinamika membran neuron biologis, di mana pulsa membawa informasi ke lapisan berikutnya. Neuron tidak harus harus "menembak" semua pada saat yang sama, seperti yang mereka lakukan di backprop, misalnya.
Namun, tampaknya ada hambatan terhadap penggunaan model ini untuk masalah pembelajaran mesin. Apa masalah spesifik yang menghalangi praktisi pembelajaran mesin menggunakan model yang lebih realistis secara biologis?
Masalah utama adalah tidak ada yang tahu cara kerja otak :)
Teori
Sejauh yang saya tahu, ada tiga langkah besar dalam penelitian jaringan saraf:
Model perceptron (atau, threshold-gate), di mana fungsi boolean dapat dihitung oleh beberapa perceptron multi-layer dengan satu layer tersembunyi.
Model Neuron - versi yang lebih baik dari versi sebelumnya, di mana elemen-elemen jaringan menggunakan fungsi aktivasi sigmoid (sekumpulan kemungkinan input dan output). Mereka juga dapat menghitung fungsi boolean (setelah menerapkan ambang) dan, juga, dapat memperkirakan fungsi kontinu.
Model neuron Spiking, yang menggunakan "temporal coding" untuk meneruskan informasi antar elemen jaringan. Ini dapat melakukan semua yang dilakukan model sebelumnya, dan sering dapat melakukannya dengan lebih sedikit neuron.
Pada dasarnya, evolusi di sini adalah untuk lebih dekat dengan cara kerja otak manusia, dan model terakhir memiliki kesetiaan terbaik.
Praktek
SNNs tampak sangat menjanjikan dan bahkan ada produk komersil yang SpikeNET buat di atasnya (di bawah "Apa yang SpikeNET bisa lakukan" dan "Apa yang SpikeNET belum bisa lakukan" Anda dapat melihat masalah yang mereka hadapi).
Saya tidak bisa mengatakan tentang masalah spesifik dengan jaringan spiking - tetapi secara umum saya memiliki kesan bahwa masalah muncul karena orang ingin SNN bekerja lebih dan lebih seperti otak manusia:
mereka ingin memilih cara membuat kode informasi - yang dapat dilakukan melalui penundaan kode (neuron yang lebih terstimulasi cenderung meningkat lebih sering dan lebih cepat ), pengkodean biner (informasi diwakili oleh jumlah lonjakan dalam interval waktu tertentu), pengkodean waktu (informasi adalah kebalikan dari granularity dari interval waktu yang dapat dibedakan), coding urutan peringkat (paku pertama yang diterima oleh neuron diberi pengaruh dan kemudian dihambat) dan yang lainnya.
mereka meniru plastisitas Ibrani yang meningkatkan bobot antara neuron ketika kedua neuron "hidup" (atau keduanya "mati") pada saat yang sama.
mereka menerapkan pengaturan diri sendiri di mana sekelompok neuron bersaing dengan neuron pemenang yang menghambat respons neuron lain. Dengan neuron spike, pemenang dapat dihitung dengan cepat hanya berdasarkan pada peristiwa penembakan tunggal.
Wikipedia memiliki link ke "Pulsed Neural Networks" buku yang memiliki "Isu Pelaksanaan Pulse-Coded Neural Networks" Bagian tapi aku tidak berpendidikan cukup untuk Komentar itu.
Adapun pengantar topik, saya merekomendasikan makalah ini: Jaringan Syaraf Berdenyut dan Aplikasi mereka ( pdf )
Saya setuju bahwa tidak ada yang tahu bagaimana otak bekerja, tetapi sudah ada model membran yang bagus, akurat secara fisiologis sejak sekitar 30-an. Informasi yang luar biasa dalam jawabannya, tetapi dari apa yang Anda tulis, saya pikir praktisi akan didorong untuk menggunakannya, bukan berkecil hati.
jonsca
Yap persis - mereka yang didorong oleh isu-isu tersebut! :)
andreister
0
tampaknya semua algoritma jaringan saraf menggunakan beberapa bentuk gradient descent dalam algoritma pelatihan mereka dan bahkan model non JST menggunakan gradient descent. tampaknya tidak ada teori tentang cara menerapkan gradient descent secara temporal atas SNNs. satu kemungkinan adalah peningkatan dalam komputasi neuromorfik yang menggunakan model yang lebih realistis secara biologis serupa dengan SNN. tetapi sepertinya tidak ada tolok ukur / terobosan pembelajaran mesin yang kuat yang dicapai di bidang neuromorfik hingga saat ini sebagaimana tolok ukur yang sangat pasti dicapai dengan JST dalam banyak masalah ML standar seperti pengenalan tulisan tangan, pengenalan suara, pengenalan objek, terjemahan bahasa, dll.
tampaknya semua algoritma jaringan saraf menggunakan beberapa bentuk gradient descent dalam algoritma pelatihan mereka dan bahkan model non JST menggunakan gradient descent. tampaknya tidak ada teori tentang cara menerapkan gradient descent secara temporal atas SNNs. satu kemungkinan adalah peningkatan dalam komputasi neuromorfik yang menggunakan model yang lebih realistis secara biologis serupa dengan SNN. tetapi sepertinya tidak ada tolok ukur / terobosan pembelajaran mesin yang kuat yang dicapai di bidang neuromorfik hingga saat ini sebagaimana tolok ukur yang sangat pasti dicapai dengan JST dalam banyak masalah ML standar seperti pengenalan tulisan tangan, pengenalan suara, pengenalan objek, terjemahan bahasa, dll.
sumber