Modular / Multiple Neural networks (MNNs) berputar di sekitar pelatihan jaringan yang lebih kecil dan independen yang dapat saling memberi makan satu sama lain atau jaringan lain yang lebih tinggi.
Pada prinsipnya, organisasi hierarkis dapat memungkinkan kita untuk memahami ruang masalah yang lebih kompleks dan mencapai fungsionalitas yang lebih tinggi, tetapi tampaknya sulit untuk menemukan contoh penelitian konkret yang dilakukan di masa lalu mengenai hal ini. Saya telah menemukan beberapa sumber:
https://en.wikipedia.org/wiki/Modular_neural_network
https://www.teco.edu/~albrecht/neuro/html/node32.html
https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf? berikutnyaence=1&isAllowed=y
Beberapa pertanyaan konkret yang saya miliki:
Apakah ada penelitian terbaru tentang penggunaan MNN?
Apakah ada tugas di mana MNN telah menunjukkan kinerja yang lebih baik daripada jaring tunggal besar?
Bisakah MNN digunakan untuk klasifikasi multimoda, yaitu melatih setiap jaring pada tipe data yang berbeda secara fundamental, (teks vs gambar) dan meneruskannya ke perantara tingkat yang lebih tinggi yang beroperasi pada semua output?
Dari perspektif rekayasa perangkat lunak, bukankah ini lebih toleran terhadap kesalahan dan mudah diisolasi pada sistem terdistribusi?
Apakah ada pekerjaan untuk mengadaptasi topologi subnetwork secara dinamis menggunakan proses seperti Neural Architecture Search?
Secara umum, apakah MNN praktis dengan cara apa pun?
Mohon maaf jika pertanyaan-pertanyaan ini tampak naif, saya baru saja datang ke ML dan lebih luas CS dari latar belakang biologi / neuroscience dan saya terpikat oleh potensi saling mempengaruhi.
Saya sangat menghargai Anda meluangkan waktu dan memberikan wawasan Anda!
sumber
Jawaban:
Memang ada investigasi yang sedang berlangsung, mengenai topik ini. Publikasi pertama dari pawai terakhir mencatat bahwa modularitas telah dilakukan, meskipun tidak secara eksplisit, sejak beberapa waktu yang lalu, tetapi entah bagaimana pelatihan tetap monolitik. Makalah ini menilai beberapa pertanyaan utama tentang masalah ini dan membandingkan waktu pelatihan dan kinerja pada jaringan saraf modular dan sangat berulang. Lihat:
Beberapa yang lain sangat fokus pada modularitas, tetapi tetap dengan pelatihan monolitik (lihat penelitian Jacob Andrea , khususnya Learning to reason sangat terkait dengan pertanyaan ketiga Anda). Di suatu tempat antara akhir 2019 dan Maret tahun depan, seharusnya ada lebih banyak hasil (kebetulan saya tahu).
Sehubungan dengan dua pertanyaan terakhir Anda, kami mulai melihat sekarang bahwa modularitas adalah kunci utama menuju generalisasi. Izinkan saya merekomendasikan Anda beberapa makalah (Anda dapat menemukan semuanya di arxiv atau google scholar):
Stochastic Adaptive Neural Architecture Mencari Spotting Kata Kunci (variasi arsitektur untuk menyeimbangkan kinerja dan penggunaan sumber daya).
Membuat Arsitektur Pemrograman Neural Menggeneralisasi melalui Rekursi (mereka melakukan submodularitas tugas dan saya percaya ini adalah pertama kalinya generalisasi dijamin dalam bidang jaringan saraf).
Menguasai permainan Go dengan jaringan saraf yang dalam dan pencarian pohon (topologi jaringan sebenarnya adalah pohon pencarian itu sendiri, Anda dapat melihat lebih banyak tentang ini jika Anda mencari grafik jaringan saraf).
sumber
Perbandingan tolok ukur sistem yang terdiri dari jaringan yang dilatih secara terpisah relatif terhadap jaringan yang lebih dalam satu kemungkinan tidak akan mengungkapkan pilihan terbaik yang berlaku secara universal. 1 Kita dapat melihat dalam literatur peningkatan jumlah sistem yang lebih besar di mana beberapa jaringan buatan digabungkan, bersama dengan jenis komponen lainnya. Itu yang diharapkan. Modularisasi sebagai sistem tumbuh dalam kompleksitas dan tuntutan pada kinerja dan pertumbuhan kemampuan adalah setua industrialisasi.
Laboratorium kami bekerja dengan kontrol robot, instrumentasi termodinamika, dan analisis data, jaringan buatan adalah komponen dalam konteks sistem yang lebih besar ini. kami tidak memiliki MLP atau RNN tunggal yang dengan sendirinya melakukan fungsi apa pun yang bermanfaat.
Bertentangan dengan dugaan tentang hierarki beberapa dekade yang lalu, pendekatan topologi yang tampaknya bekerja dengan baik dalam banyak kasus mengikuti hubungan modul sistem yang lebih umum yang terlihat di pembangkit listrik, pabrik otomatis, aeronautika, arsitektur informasi perusahaan, dan kreasi rekayasa rumit lainnya. Koneksi adalah koneksi, dan jika dirancang dengan baik, fungsi pengawasan minimal. Aliran terjadi antara modul yang melibatkan protokol untuk komunikasi, dan setiap modul menjalankan fungsinya dengan baik, merangkum tingkat kompleksitas dan detail fungsional yang lebih rendah. Ini bukan satu jaringan yang mengawasi yang tampaknya muncul paling efektif dalam praktik aktual tetapi keseimbangan dan simbiosis. Identifikasi desain master-slave yang jelas di otak manusia tampaknya sama-sama licin.
Tantangannya adalah tidak menemukan jalur informasi yang membentuk topologi informasi sistem. Aliran informasi sering jelas pada analisis masalah. Kesulitannya adalah dalam menemukan strategi terbaik untuk melatih jaringan independen ini. Ketergantungan pelatihan adalah umum dan sering kritis, sedangkan pada hewan, pelatihan terjadi in situ atau tidak sama sekali. Kami menemukan kondisi di mana pembelajaran semacam itu dalam sistem kami praktis dan bagaimana mencapainya. Sebagian besar penelitian kami sejalan dengan ini dimaksudkan untuk menemukan cara untuk mencapai keandalan yang lebih tinggi dan beban yang lebih rendah dalam hal jam penelitian untuk mendapatkannya.
Fungsionalitas yang lebih tinggi tidak selalu bermanfaat. Ini sering menghasilkan keandalan yang lebih rendah dan mengkonsumsi sumber daya pengembangan tambahan dengan sedikit pengembalian. Temukan cara untuk mengawinkan otomatisasi tingkat tinggi, penghematan sumber daya, dan keandalan dalam satu proses pengembangan, dan Anda mungkin memenangkan penghargaan dan penyebutan terhormat di web.
Sistem paralel yang memiliki tujuan yang sama adalah ide yang bagus, tetapi bukan yang baru. Dalam satu sistem aeronautika, sembilan sistem paralel memiliki tujuan yang sama, dalam kelompok tiga. Setiap kelompok menggunakan pendekatan komputasi yang berbeda. Jika dua sistem menggunakan pendekatan yang sama memberikan output yang sama dan yang ketiga berbeda, output yang cocok digunakan dan perbedaan yang ketiga dilaporkan sebagai kesalahan sistem. Jika dua pendekatan yang berbeda memberikan hasil yang serupa dan yang ketiga berbeda secara substansial, gabungan dari dua hasil yang serupa digunakan dan yang ketiga dilaporkan sebagai kasus penggunaan untuk lebih mengembangkan pendekatan perbedaan pendapat.
Toleransi kesalahan yang ditingkatkan memiliki biaya, delapan sistem lebih banyak dan sumber daya komputasi serta konektivitas yang terkait ditambah dengan pembandingnya, tetapi dalam sistem yang merupakan masalah hidup dan mati, biaya tambahan dibayarkan dan keandalannya dimaksimalkan.
Adaptasi topologi dinamis terkait dengan sistem redundan dan toleransi kesalahan tetapi dalam beberapa hal cukup berbeda. Dalam bidang pengembangan itu, teknologi untuk mengikuti adalah komputasi neuromorfik, yang sebagian terinspirasi oleh neuroplastisitas.
Satu perbedaan terakhir untuk dipertimbangkan adalah antara topologi proses, topologi data, dan topologi perangkat keras. Ketiga kerangka geometrik ini dapat menghasilkan efisiensi yang lebih besar bersama jika disejajarkan dengan cara-cara spesifik yang menghasilkan pemetaan lebih langsung antara hubungan antara aliran, representasi, dan mekanika. Namun, mereka adalah topologi yang berbeda. Arti keselarasan mungkin tidak jelas tanpa masuk ke dalam konsep-konsep ini dan rincian yang muncul untuk tujuan produk atau layanan tertentu.
Catatan kaki
[1] Jaringan dalam yang dilatih sebagai satu kesatuan dan fungsi tanpa konektivitas ke jaringan buatan lainnya tidak harus bersifat monolitik. Sebagian besar jaringan dalam praktis memiliki urutan lapisan yang heterogen dalam hal fungsi aktivasi mereka dan seringkali jenis sel mereka.
sumber