Apakah jaringan saraf menggunakan pengkodean yang efisien?

9

Pertanyaan saya menyangkut hubungan antara hipotesis pengkodean efisien yang diuraikan di halaman Wikipedia tentang pengkodean efisien dan algoritma pembelajaran jaringan saraf.

Apa hubungan antara hipotesis pengkodean yang efisien dan jaringan saraf?

Apakah ada model jaringan saraf yang secara eksplisit terinspirasi oleh hipotesis pengkodean yang efisien?

Atau akan lebih adil untuk mengatakan bahwa semua algoritma pembelajaran jaringan saraf setidaknya secara implisit didasarkan pada pengkodean yang efisien?

neural-networks information-theory Mike NZ
sumber
1
Mungkin autoencoder jarang adalah apa yang Anda cari? (Jika minat Anda kurang teknis dan lebih luas / filosofis, saran pengguna kenorb mungkin tepat.)
GeoMatt22
3
Pertanyaan menarik. Dugaan saya adalah NN tidak jauh dari apa yang kita anggap “efisien”. Saya pikir teknik yang umum digunakan seperti Dropout sebenarnya akan berusaha untuk mengurangi efisiensi pengkodean.
kbrose
1
Referensi lain: Hipotesa Tiket Lotere, arxiv.org/abs/1803.03635 berbicara tentang menemukan sub jaringan kerja keras tapi saya pikir mungkin ada koneksi ke pengkodean yang efisien
kbrose
Saya bukan ahli teori informasi, tetapi saya tidak percaya bahwa ada hubungan antara pengkodean efisien apa yang dilakukan NN, saya juga tidak mengetahui adanya upaya historis atau kini untuk menggabungkan pengkodean efisien. Namun, mungkin benar bahwa NN melakukan pengkodean sinyal secara efisien: arxiv.org/abs/1503.02406
shadowtalker
Saya tidak punya cukup (belum) untuk membuat ini menjadi jawaban, tetapi bagi saya ini tampaknya berkaitan dengan pertanyaan apakah NNs benar-benar hanya menghafal, daripada belajar.
Bill Clark

Jawaban:

1

Saya percaya bahwa seseorang dapat berdebat bahwa suatu koneksi telah dibuat. Saya akan meminta maaf karena tidak memposting sumber saya karena saya tidak dapat menemukannya, tetapi ini berasal dari slide lama yang disajikan Hinton. Di dalamnya, ia mengklaim bahwa salah satu cara berpikir mendasar bagi mereka yang melakukan pembelajaran mesin (saat presentasi mendahului penggunaan umum kata deep learning) adalah bahwa terdapat transformasi data yang optimal sehingga data dapat dengan mudah terpelajar. Saya percaya untuk jaring saraf, 'transformasi optimal' dari data melalui back prop, ADALAH hipotesis pengkodean yang efisien dalam tindakan. Dengan cara yang sama yang memberikan kernel yang tepat, banyak ruang dapat dengan mudah diklasifikasikan dengan model linier, mempelajari cara yang tepat untuk mengubah dan menyimpan data IS analog dengan yang dan bagaimana neuron harus diatur untuk mewakili data.

Emu Anonim
sumber