Latar Belakang Pengantar
Dalam jaringan saraf convolutional, kami biasanya memiliki struktur / aliran umum yang terlihat seperti ini:
- input gambar (yaitu vektor 2D
x
)
(Lapisan Konvolusional 1 (Konv1) dimulai di sini ...)
- menggabungkan satu set filter (
w1
) di sepanjang gambar 2D (yaitu melakukanz1 = w1*x + b1
penggandaan produk titik), di manaz1
3D, danb1
bias. - menerapkan fungsi aktivasi (mis. ReLu) untuk membuat
z1
non-linear (mis.a1 = ReLu(z1)
), di manaa1
3D.
(Lapisan Konvolusional ke-2 (Conv2) dimulai di sini ...)
- menggabungkan satu set filter di sepanjang aktivasi yang baru dihitung (mis. lakukan
z2 = w2*a1 + b2
penggandaan produk titik), di manaz2
3D, dan danb2
adalah bias. - menerapkan fungsi aktivasi (mis. ReLu) untuk membuat
z2
non-linear (mis.a2 = ReLu(z2)
), di manaa2
3D.
Pertanyaan
Definisi istilah "peta fitur" tampaknya bervariasi dari satu literatur ke literatur lainnya. Secara konkret:
- Untuk lapisan convolutional 1, apakah "peta fitur" bersesuaian dengan vektor input
x
, atau output dot produkz1
, atau aktivasi keluarana1
, atau "proses" convertingx
kea1
, atau sesuatu yang lain? - Demikian pula, untuk lapisan konvolusional ke-2, apakah "peta fitur" sesuai dengan aktivasi input
a1
, atau produk titik keluaranz2
, atau aktivasi outputa2
, atau "proses" konversia1
menjadia2
, atau sesuatu yang lain?
Selain itu, apakah benar bahwa istilah "peta fitur" persis sama dengan "peta aktivasi"? (Atau apakah mereka benar-benar berarti dua hal yang berbeda?)
Referensi tambahan:
Cuplikan dari Jaringan Saraf Tiruan dan Pembelajaran Dalam - Bab 6 :
* Nomenklatur ini digunakan secara longgar di sini. Secara khusus, saya menggunakan "peta fitur" bukan berarti fungsi yang dihitung oleh lapisan convolutional, melainkan aktivasi output neuron tersembunyi dari lapisan. Jenis penyalahgunaan nomenklatur yang ringan ini cukup umum dalam literatur penelitian.
Cuplikan dari Visualisasi dan Memahami Jaringan Konvolusional oleh Matt Zeiler :
Dalam makalah ini kami memperkenalkan teknik visualisasi yang mengungkapkan rangsangan input yang menggairahkan peta fitur individu pada setiap lapisan dalam model. [...] Pendekatan kami, sebaliknya, memberikan tampilan invarian non-parametrik, yang menunjukkan pola mana dari rangkaian pelatihan yang mengaktifkan peta fitur. [...] operasi kontras lokal yang menormalkan respons di seluruh peta fitur. [...] Untuk memeriksa aktivasi convnet yang diberikan, kami mengatur semua aktivasi lainnya di layer menjadi nol dan meneruskan peta fitur sebagai input ke lapisan deconvnet yang terlampir. [...] convnet menggunakan relu non-linearities, yang memperbaiki peta fitur sehingga memastikan fitur peta selalu positif. [...] The convnet menggunakan filter yang dipelajari untuk menggabungkan fitur peta dari lapisan sebelumnya. [...] Gambar 6, visualisasi ini adalah representasi akurat dari pola input yang merangsang peta fitur yang diberikan dalam model [...] ketika bagian-bagian dari gambar input asli yang sesuai dengan pola tersumbat, kita melihat penurunan aktivitas yang berbeda dalam peta fitur. [...]
Keterangan: juga memperkenalkan istilah "peta fitur" dan "peta fitur yang diperbaiki" pada Gambar 1.
Cuplikan dari Stanford CS231n Bab tentang CNN :
[...] Salah satu perangkap berbahaya yang dapat dengan mudah dilihat dengan visualisasi ini adalah bahwa beberapa peta aktivasi mungkin nol untuk banyak input yang berbeda, yang dapat menunjukkan filter mati, dan dapat menjadi gejala tingkat pembelajaran yang tinggi [...] Aktivasi yang tampak khas pada lapisan CONV pertama (kiri), dan lapisan 5 CONV (kanan) dari AlexNet yang terlatih melihat gambar seekor kucing. Setiap kotak menunjukkan peta aktivasi yang sesuai dengan beberapa filter. Perhatikan bahwa aktivasi jarang (sebagian besar nilai nol, dalam visualisasi ini ditampilkan dalam warna hitam) dan sebagian besar lokal.
Cuplikan dari A-Beginner's-Guide-To-Understanding-Convolutional-Neural-Networks
[...] Setiap lokasi unik pada volume input menghasilkan angka. Setelah menggeser filter ke semua lokasi, Anda akan mengetahui bahwa yang tersisa adalah array angka 28 x 28 x 1, yang kami sebut peta aktivasi atau peta fitur.
a1
,a2
dll.). Di Conv2, saya kira saya akan memanggila1
peta aktivasi input, dana2
peta aktivasi output. Di Conv1, sayax
gambar input, dana1
peta aktivasi output.sebelum berbicara tentang apa artinya peta fitur, biarkan tentukan saja istilah vektor fitur.
vektor fitur adalah representasi vektor objek. Misalnya, sebuah mobil dapat diwakili oleh [jumlah roda, pintu. windows, umur .. dll].
peta fitur adalah fungsi yang mengambil vektor fitur dalam satu ruang dan mengubahnya menjadi vektor fitur di ruang lain. Misalnya diberikan vektor fitur [volume, berat, tinggi, lebar] dapat mengembalikan [1, volume / berat, tinggi * lebar] atau [tinggi * lebar] atau bahkan hanya [volume]
sumber