Merupakan daya komputasi dari jaringan saraf yang terkait dengan fungsi aktivasi

10

Terbukti bahwa jaringan syaraf tiruan dengan bobot rasional memiliki kekuatan komputasi dari mesin Turing Universal Turing Machine dengan Neural Nets . Dari apa yang saya dapatkan, tampaknya menggunakan bobot bernilai nyata menghasilkan kekuatan komputasi yang lebih besar, meskipun saya tidak yakin dengan yang ini.

Namun, apakah ada korelasi antara kekuatan komputasi dari jaringan syaraf dan fungsi aktivasi? Misalnya, jika fungsi aktivasi membandingkan input dengan batas urutan Specker (sesuatu yang tidak dapat Anda lakukan dengan mesin Turing biasa, kan?), Apakah ini membuat jaringan saraf komputasi "lebih kuat"? Bisakah seseorang mengarahkan saya ke referensi ke arah ini?

computability neural-networks K.Steff
sumber
Apa yang Anda maksud dengan kekuatan komputasi?
edA-qa mort-ora-y
@ edA-qamort-ora-y Saya telah melakukan beberapa pengeditan untuk mengklarifikasi pertanyaan. Jika Anda memiliki saran edit lainnya, saya akan dengan senang hati mengakomodasi mereka
K.Steff

Jawaban:

12

Hanya sebuah catatan:

  • Rasional berulang berbobot yang memiliki fungsi aktivasi boolean (ambang sederhana) setara dengan automata keadaan terbatas (Minsky, "Komputasi: mesin terbatas dan tak terbatas", 1967);NN

  • NN

  • NN

tapi ...

  • NN
Vor
sumber
5

Saya akan mengambil solusi mudah dan berkata "Ya". Pertimbangkan fungsi aktivasi yang menerima input apa pun dan secara sederhana mengembalikan nilai konstan (artinya, mengabaikan input). Jaringan ini selalu menghasilkan output yang konstan, dan dengan demikian daya komputasi (kemungkinan oleh definisi apa pun) dari jaringan ini adalah nol. Itu tidak mampu menghitung apa pun.

Ini cukup untuk menunjukkan korelasi antara fungsi aktivasi pada kekuatan jaringan. Tentu saja tidak menunjukkan, atau membantah, bahwa jaringan dapat memiliki kekuatan lebih dari mesin turing universal.

edA-qa mort-ora-y
sumber