Seberapa pentingkah perluasan basis untuk jaring dalam?

Jika jaring saraf yang dalam dianggap sebagai penduga fungsi universal, apakah perluasan basis benar-benar diperlukan? Atau apakah ini spesifik kasus? Misalnya, jika seseorang memiliki tiga variabel X kuantitatif, apakah akan ada keuntungan dalam memperluas jumlah variabel dengan memperkenalkan interaksi, polinomial, dll.? Ini tampaknya memiliki utilitas yang baik dalam RF misalnya dan SVM, tapi saya tidak yakin apakah ini akan menjadi strategi yang baik untuk jaring saraf.

Jika ini mungkin terlalu luas atau tidak jelas, dapatkah seseorang mengarahkan saya ke beberapa informasi terkait tentang perluasan basis dan rekayasa fitur dalam konteks jaring yang dalam?

Gagasan deep neural network adalah dapat melakukan rekayasa fitur secara otomatis untuk kita. (Lihat bab pertama buku pembelajaran dalam .) Saya sangat menyarankan Anda untuk membaca bab pertama.

Melakukan ekspansi basis tidak benar-benar perlu dan tidak biasa digunakan. Perlu diingat bahwa, jaring yang dalam biasanya mengambil fitur mentah sebagai input, untuk gambar yang memiliki (setidaknya) ribuan piksel, juga tidak mungkin untuk melakukan ekspansi basis (katakanlah ekspansi polinomial orde tinggi) secara efektif sebelum mengumpankan ke saraf. jaringan.

Bahkan, ada beberapa operasi dalam jaringan saraf yang dalam dapat dipandang sebagai basis ekspansi.

• Lapisan konvolusi dapat dilihat sebagai melakukan rekayasa fitur dalam perluasan basis Fourier. Lihat pertanyaan saya: Apa intuisi di balik jaringan saraf convolutional?

• ReLU dapat dilihat sebagai melakukan piecewise linear fit (spline basis).

Banyak model pembelajaran mendalam mempelajari fitur mereka sendiri dari data input mentah selama pelatihan (misalnya, Jaringan Neural Konvolusi 2D untuk gambar). Jadi dalam banyak kasus, Anda bahkan tidak perlu khawatir untuk meneruskan variabel secara eksplisit ke model Anda. Dalam beberapa kasus lain, Anda masih memerlukan fitur, tetapi hanya fitur inti (mis., Kata-kata dalam NLP). Fitur-fitur ini direpresentasikan sebagai vektor dalam ruang embedding yang menangkap kesamaan (misalnya, bahwa 'presiden' dekat dengan 'Obama'). Ruang penyematan dapat berasal dari pra-pelatihan tanpa pengawasan (word2vec, glove) atau diinisialisasi secara acak, dan vektor disetel selama pelatihan melalui backpropagation. Arsitektur jaringan bertanggung jawab untuk mempelajari kombinasi fitur, seperti perbedaan antara 'tidak buruk, cukup baik' dan 'tidak baik,

Paragraf 'Fitur kombinasi' Bagian 3 dari Goldberg, Y. (2015). Primer pada model jaringan saraf untuk pemrosesan bahasa alami. Jurnal Penelitian Kecerdasan Buatan, 57, 345-420. menjelaskannya dengan sangat baik (saya sangat merekomendasikan membaca seluruh Bagian 3, ini sangat bagus):

Fitur kombinasi sangat penting dalam model linier karena mereka memperkenalkan lebih banyak dimensi ke input, mengubahnya menjadi ruang di mana data-poin lebih dekat untuk dipisahkan secara linear. Di sisi lain, ruang kombinasi yang mungkin sangat besar, dan perancang fitur harus menghabiskan banyak waktu membuat satu set kombinasi fitur yang efektif. Salah satu janji model jaringan saraf non-linear adalah bahwa kita hanya perlu mendefinisikan fitur inti. Non-linearitas dari classifier, sebagaimana didefinisikan oleh struktur jaringan, diharapkan untuk mengurus menemukan kombinasi fitur indikatif, mengurangi kebutuhan untuk rekayasa kombinasi fitur.