Saya membaca tentang teknik komputasi reservoir seperti Echo State Networks dan Liquid State Machines . Kedua metode melibatkan input makan ke populasi neuron spiking yang terhubung secara acak (atau tidak), dan algoritma pembacaan yang relatif sederhana yang menghasilkan output (misalnya regresi linier). Bobot populasi neuron dapat diperbaiki, atau dilatih melalui aturan aktivitas lokal seperti- Ibrani seperti STDP .
Teknik-teknik ini bekerja dengan baik ketika memodelkan input multi-dimensi yang memiliki komponen temporal yang signifikan. Namun, menghitung potensial selaput neuron spike melibatkan integrasi persamaan diferensial dan dapat menjadi mahal secara komputasi.
Adakah contoh di mana kompleksitas komputasi tambahan dari teknik komputasi reservoir tidak sebanding dengan perolehan dalam tugas prediksi atau klasifikasi?
Misalnya, apakah ada kasus teknik SNN mengungguli arsitektur kompleks yang sebanding berdasarkan RNNs, ANNs, SVMs, DNNs, CNNs, atau algoritma lainnya?
Jawaban:
Jawaban saya berasal dari pengalaman lebih dari eksperimen atau tolok ukur yang dipublikasikan.
Sejauh yang saya tahu, Spiking Neural Networks tidak mengungguli algoritma lain dalam tugas apa pun. Ada kemajuan dalam robotika dan komputasi reservoir tetapi algoritma komputasi reservoir sebagus algoritma lainnya (seperti pembelajaran penguatan) menurut publikasi terbaru. Ada desas-desus bahwa beberapa perusahaan tertarik pada algoritma ini karena mereka telah mempekerjakan beberapa peneliti komputasi reservoir baru-baru ini tetapi ini hanya rumor.
Berikut ini adalah salah satu publikasi terbaru yang merinci kemajuan dan keterbatasan komputasi reservoir dalam robotika https://www.cs.unm.edu/~afaust/MLPC15_proceedings/MLPC15_paper_Polydoros.pdf
Saya mulai bereksperimen dengan Liquid State Machines di kampus menggunakan arsitektur yang diusulkan Wolfgang Maass. Itu tampak menjanjikan, khususnya gagasan tentang neuron penghambat yang membentuk bagian dari sirkuit. Tetapi pada kenyataannya menggunakan algoritma ini dalam aplikasi data kehidupan nyata (klasifikasi bahasa, klasifikasi gambar antara lain) tidak cukup untuk mendekati tolok ukur seperti RNNs, ANNs, SVMs. Kadang-kadang bahkan vanilla Multilayer Neural Networks berkinerja lebih baik daripada Liquid State Machines. Pemahaman saya adalah bahwa model semacam ini baik untuk robotika dan tugas terkait otonom lainnya seperti sensor dan navigasi otonom (tapi itu bukan bidang penelitian saya) tetapi tidak begitu banyak untuk jenis data lainnya. Ada beberapa laboratorium, terutama di Eropa yang bekerja dengan algoritma ini, tetapi sejauh ini saya belum pernah mendengar banyak kemajuan di bidang ini dalam beberapa tahun terakhir.
Saya percaya bahwa algoritma yang diilhami otak adalah langkah besar berikutnya dalam AI, dan sementara banyak perusahaan seperti Numenta dan Deepmind sedang meneliti ke arah ini, sampai hari ini masih banyak pekerjaan yang harus dilakukan untuk mendapatkan terobosan berikutnya dalam AI.
sumber