Dari pemahaman saya, CNN terdiri dari dua bagian. Bagian pertama (lapisan conv / pool) yang melakukan ekstraksi fitur dan bagian kedua (lapisan fc) yang melakukan klasifikasi dari fitur.
Karena jaring saraf yang terhubung penuh bukan pengklasifikasi terbaik (yaitu, mereka dikalahkan oleh SVM dan RF sebagian besar waktu), mengapa CNN menyimpulkan dengan lapisan FC, daripada katakanlah SVM atau RF?
Tidak sesederhana itu. Pertama-tama, SVM adalah, dengan cara, jenis jaringan saraf (Anda dapat mempelajari solusi SVM melalui backpropagation). Lihat Apa * itu * Jaringan Syaraf Tiruan? . Kedua, Anda tidak bisa tahu sebelumnya model mana yang akan bekerja lebih baik, tetapi masalahnya adalah dengan arsitektur neuromorfik sepenuhnya, Anda dapat mempelajari bobot ujung ke ujung, sambil menempelkan SVM atau RF ke aktivasi lapisan tersembunyi terakhir dari CNN. hanya prosedur ad hoc . Ini mungkin berkinerja lebih baik, dan mungkin tidak, kita tidak bisa tahu tanpa pengujian.
Bagian penting adalah bahwa arsitektur convolutional sepenuhnya mampu merepresentasikan pembelajaran, yang berguna untuk berbagai alasan. Untuk sekali, ini dapat mengurangi atau menghilangkan fitur rekayasa sama sekali dalam masalah Anda.
Tentang lapisan FC, secara matematis setara dengan lapisan Konvolusional 1x1. Lihat posting Yann Lecun , yang saya transkrip di bawah:
Dalam Jaring Konvolusional, tidak ada yang namanya "lapisan yang sepenuhnya terhubung". Hanya ada lapisan konvolusi dengan kernel konvolusi 1x1 dan tabel koneksi penuh.
Itu fakta yang terlalu jarang dipahami sehingga ConvNets tidak perlu memiliki input ukuran tetap. Anda dapat melatih mereka pada input yang terjadi untuk menghasilkan vektor output tunggal (tanpa batas spasial), dan kemudian menerapkannya pada gambar yang lebih besar. Alih-alih vektor output tunggal, Anda kemudian mendapatkan peta spasial vektor output. Setiap vektor melihat jendela input di lokasi berbeda pada input.
Dalam skenario itu, "lapisan sepenuhnya terhubung" benar-benar bertindak sebagai konvolusi 1x1.
Jika Anda tahu Teorema Makan Siang Tanpa-Bebas (Wolpert & Macready), Anda tidak akan terlalu terpaku pada satu classifier dan bertanya mengapa itu bukan yang terbaik. Teorema NFL pada dasarnya menyatakan bahwa "di alam semesta semua fungsi biaya, tidak ada satu classifier terbaik." Kedua, kinerja classifier selalu "tergantung pada data."
The Ugly Duckling Teorema (Watanabe) menyatakan pada dasarnya bahwa "di alam semesta dari semua set fitur, tidak ada satu set terbaik dari fitur."
Mengingat hal-hal di atas, serta Occam's Razor , tidak pernah ada yang lebih baik dari yang lain, terlepas dari data dan fungsi biaya.
Saya selalu berpendapat bahwa CNN sendiri bukan ensemble dari pengklasifikasi yang keanekaragaman (kappa vs kesalahan) dapat dinilai.