Jumlah minimum lapisan dalam jaringan saraf yang dalam

Pada titik mana kita mulai mengklasifikasikan jaringan saraf berlapis ganda sebagai jaringan saraf dalam atau dengan kata lain 'Berapa jumlah minimum lapisan dalam jaringan saraf dalam?'

"Deep" adalah istilah pemasaran: karena itu Anda dapat menggunakannya kapan pun Anda perlu memasarkan jaringan saraf multi-lapis Anda.

"Dalam"
Salah satu jaringan saraf dalam yang paling awal memiliki tiga lapisan tersembunyi yang terhubung erat ( Hinton et al. (2006) ).

"Sangat Jauh"
Pada tahun 2014 netowrks VGG "sangat dalam" Simonyan et al. (2014) terdiri dari 16+ lapisan tersembunyi.

"Sangat Dalam"
Pada 2016 jaringan residual "sangat dalam" He et al. (2016) terdiri dari 50 hingga 1.000+ lapisan tersembunyi.

Sesuai literatur,

Schmidhuber, J. (2015). "Pembelajaran Jauh dalam Jaringan Saraf Tiruan: Suatu Tinjauan". Jaringan Saraf Tiruan. 61: 85–117. arXiv: 1404.7828gratis untuk dibaca. doi: 10.1016 / j.neunet.2014.09.003.

https://en.wikipedia.org/wiki/Deep_learning

Dikatakan bahwa

Tidak ada yang disepakati secara universal ambang batas membagi pembelajaran dangkal dari pembelajaran dalam, tetapi sebagian besar peneliti di lapangan setuju bahwa pembelajaran mendalam memiliki beberapa lapisan nonlinier (CAP> 2) dan Schmidhuber menganggap CAP> 10 sebagai pembelajaran yang sangat mendalam

Rantai transformasi dari input ke output adalah Credit Assignment Path atau CAP. Untuk jaringan saraf umpan maju, kedalaman CAP, dan dengan demikian kedalaman jaringan, adalah jumlah lapisan tersembunyi ditambah satu.