Apakah teorema aproksimasi universal untuk jaringan saraf berlaku untuk setiap fungsi aktivasi (sigmoid, ReLU, Softmax, dll ...) atau apakah itu terbatas pada fungsi sigmoid?
Pembaruan: Seperti yang ditunjukkan oleh shimao di komentar, itu tidak berlaku untuk semua fungsi. Jadi untuk kelas fungsi aktivasi apa yang dimilikinya?
neural-networks
approximation
Skander H.
sumber
sumber
Jawaban:
The Artikel wikipedia memiliki pernyataan resmi.
sumber
Jaringan feedforward multilayer adalah referensi yang diterbitkan yang membahas masalah ini. Fungsi aktivasi polinom tidak memiliki properti aproksimasi universla.
NN pracetak dengan fungsi aktivasi tidak terbatas mencakup banyak fungsi aktivasi. Itu terlihat hanya pada lapisan tersembunyi NN. Ini berat pada analisis Fourier.
Saya menekankan bahwa referensi kedua adalah pra-cetak karena saya tidak dapat menjamin keakuratannya. Leshno et alt 1993 adalah publikasi yang diulas.
sumber
Makalah Kurt Hornik tahun 1991 "Kemampuan Aproksimasi dari Jaringan Multilayer Feedforward" membuktikan bahwa "jaringan feedforward multilayer standar dengan sedikitnya satu lapisan tersembunyi dan fungsi aktivasi yang tidak terikat dan tidak terikat secara acak adalah penduga universal yang berkenaan denganL.P( μ ) kriteria kinerja, untuk ukuran lingkungan input terbatas yang sewenang-wenang μ , asalkan hanya cukup banyak unit tersembunyi yang tersedia. "Dengan kata lain, hipotesis bahwa fungsi aktivasi dibatasi dan tidak konstan cukup untuk mendekati hampir semua fungsi mengingat kita dapat menggunakan unit tersembunyi sebanyak yang kita inginkan dalam jaringan saraf. makalah harus tersedia di sini: http://zmjones.com/static/statribution-learning/hornik-nn-1991.pdf
sumber