Apa yang dimaksud dengan vektor aktivitas dalam jaringan saraf?

Saya membaca makalah baru Hinton, "Dynamic Routing Between Capsules" dan tidak memahami istilah "vektor aktivitas" secara abstrak.

Kapsul adalah sekelompok neuron yang vektor aktivitasnya mewakili parameter instantiasi dari jenis entitas tertentu seperti objek atau bagian objek. Kami menggunakan panjang vektor aktivitas untuk mewakili probabilitas bahwa entitas itu ada dan orientasinya untuk mewakili parameter instantiation. Kapsul aktif pada satu tingkat membuat prediksi, melalui matriks transformasi, untuk parameter instantiasi kapsul tingkat yang lebih tinggi. Ketika banyak prediksi setuju, kapsul level yang lebih tinggi menjadi aktif. Kami menunjukkan bahwa sistem kapsul multi-layer yang terlatih secara diskriminatif mencapai kinerja mutakhir di MNIST dan jauh lebih baik daripada jaringan konvolusional dalam mengenali angka yang sangat tumpang tindih. Untuk mencapai hasil ini kami menggunakan mekanisme routing-by-agreement iteratif:

https://arxiv.org/pdf/1710.09829.pdf

Saya pikir vektor seperti array data yang Anda jalankan melalui jaringan.

Saya mulai bekerja melalui kursus pembelajaran mendalam Andrew Ng, tetapi semuanya baru dan istilah-istilah terlintas di kepala saya.

Dalam jaringan saraf tradisional, simpul jaringan adalah neuron dan output dari neuron tunggal adalah nilai tunggal (" skalar "). Nomor ini disebut pengaktifannya . Sebuah lapisan neuron dalam jaringan output vektor aktivasi. Kita tidak boleh membingungkan ini dengan vektor aktivitas di Jaringan Kapsul.

Jaringan Kapsul berbeda karena simpul jaringan adalah Kapsul daripada neuron. Mereka adalah dimensi yang lebih tinggi: output dari Kapsul bukan skalar tetapi vektor yang mewakili sekelompok parameter yang terkait dengan input. Karenanya vektor aktivasi nama .

Motivasi

Dalam jaringan saraf tidak ada struktur yang melekat antara output skalar dari neuron, ini adalah sesuatu yang harus dipelajari lapisan berikut. Dalam Jaringan Kapsul, output kapsul mewakili semua parameter yang terkait dengan bersama-sama dalam vektor termasuk prediksi untuk aktivasi Kapsul lapisan yang lebih dalam. Ini menambahkan struktur lokal yang berguna.

Misalnya, pertimbangkan pengenalan wajah. Jika Anda memiliki kapsul yang tahu cara mengenali mata, ia dapat menampilkan vektor aktivitas yang mewakili mis "karena saya telah mengenali posisi mata (x, y) dengan probabilitas p = 0,97 Saya memperkirakan parameter untuk seluruh wajah adalah (f1, ... fn) ".

Seperti dijelaskan dalam kertas Dynamic Routing Between Capsules Anda merujuk pada informasi ini kemudian digunakan dengan cara kapsul di lapisan sebelumnya (bagian: mata, mulut, hidung) memprediksi aktivasi lapisan yang lebih dalam (wajah). Misalnya, pengenal wajah hanya akan sangat diaktifkan ketika ada kesepakatan antara pengenal mata, hidung dan mulut (bagian-bagian) dan pengenal wajah (keseluruhan) tentang di mana wajah itu berada ( (f1, ... fn ) parameter).

Inspirasi Sejarah

Algoritma visi komputer yang lebih lama seperti SIFT bekerja dengan cara yang sama di mana pengakuan didasarkan kesepakatan antara konfigurasi fitur multi-dimensi (poin utama) dan konfigurasi referensi.

Saya mengartikannya seperti "vektor aktivasi neuron dalam kapsul". Aktivasi untuk neuron yang diberikan adalah jumlah tertimbang dari inputnya, melewati fungsi aktivasi (sigmoid, relu, dll).