Jaringan Hopfield dapat menyimpan vektor dan mengambilnya mulai dari versi berisiknya. Mereka melakukan pengaturan bobot untuk meminimalkan fungsi energi ketika semua neuron diatur sama dengan nilai vektor, dan mengambil vektor menggunakan versi berisik itu sebagai input dan memungkinkan jaring untuk menetap pada minimum energi.
Mengesampingkan masalah seperti kenyataan bahwa tidak ada jaminan bahwa internet akan menyelesaikan dalam minimum terdekat dll - masalah akhirnya diselesaikan dengan mesin Boltzmann dan akhirnya dengan propagasi balik - terobosannya adalah mereka adalah titik awal untuk memiliki representasi abstrak. Dua versi dari dokumen yang sama akan mengingat status yang sama, mereka akan diwakili, dalam jaringan, oleh status yang sama.
Seperti Hopfield sendiri menulis dalam makalahnya 1982 jaringan saraf dan sistem fisik dengan kemampuan komputasi kolektif yang muncul
Pemodelan saat ini mungkin terkait dengan bagaimana suatu entitas atau Gestalt diingat atau dikategorikan berdasarkan input yang mewakili kumpulan fitur-fiturnya.
Di sisi lain, terobosan pembelajaran yang mendalam adalah kemampuan untuk membangun banyak representasi hirarki input, yang pada akhirnya mengarah pada mempermudah kehidupan para praktisi AI, penyederhanaan rekayasa fitur. (lihat misalnya Pembelajaran Representasi: Tinjauan dan Perspektif Baru , Bengio, Courville, Vincent).
Dari sudut pandang konseptual, saya percaya orang dapat melihat pembelajaran yang mendalam sebagai generalisasi dari jaring Hopfield: dari satu representasi tunggal ke hierarki representasi.
Apakah itu benar dari sudut pandang komputasi / topologi juga? Tidak mempertimbangkan bagaimana jaringan Hopfield "sederhana" (neuron 2-fungsi, tidak berarah, fungsi energi), dapatkah seseorang melihat setiap lapisan jaringan sebagai jaringan Hopfield dan seluruh proses sebagai ekstraksi berurutan dari Gestalt yang dihafal sebelumnya, dan reorganisasi dari Gestalt ini?
sumber