Sortir angka hanya menggunakan 2 lapisan tersembunyi

10

Saya membaca kertas landasan Sequence to Sequence Learning dengan Neural Networks oleh Ilya Sutskever dan Quoc Le. Pada halaman pertama, secara singkat disebutkan bahwa:

A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size

Adakah yang bisa menjelaskan secara singkat bagaimana cara mengurutkan angka menggunakan hanya 2 lapisan tersembunyi?

deep-learning Aerin
sumber

Jawaban:

3

Melakukan riset, saya menemukan sebuah makalah yang membuktikan bahwa penyortiran dapat dilakukan dengan paling banyak 3 lapisan, dan solusi mereka optimal jika Anda membatasi ukuran jaringan menjadi polinomial wrt dengan jumlah nomor input:

Kedalaman Jaringan Saraf Efisien untuk Divisi dan Masalah Terkait , lihat Teorema 7 di halaman 955 (halaman 10 dalam PDF).

Maximilian Janisch
sumber
1
Terima kasih telah menemukan makalah yang relevan! Sebenarnya, makalah ini melakukan pengurutan dengan "kedalaman" 3, yang tampaknya berarti hanya dua lapisan tersembunyi. Lihat juga referensi mereka 14 yang mereka andalkan untuk batas bawah, "Sirkuit Ambang Batas Kedalaman" igi-web.tugraz.at/people/maass/psfiles/34o.pdf (juga pada ResearchGate) esp halaman 131-132 (3 -4 dalam pdf).
Ben Reiniger