Jaringan saraf - makna bobot

11

Saya menggunakan umpan-forward NN. Saya mengerti konsepnya, tetapi pertanyaan saya adalah tentang bobot. Bagaimana Anda bisa menafsirkannya, yaitu apa yang mereka wakili atau bagaimana mereka dapat undestrood (hanya koefisien fungsi)? Saya telah menemukan sesuatu yang disebut "ruang bobot", tetapi saya tidak yakin apa artinya.

Martin Perry
sumber
Lihat juga stats.stackexchange.com/questions/93705/…
Sycorax mengatakan Reinstate Monica

Jawaban:

6

Bobot individu mewakili kekuatan koneksi antar unit. Jika bobot dari unit A ke unit B memiliki besaran lebih besar (semuanya sama), itu berarti bahwa A memiliki pengaruh lebih besar terhadap B (yaitu untuk meningkatkan atau menurunkan tingkat aktivasi B).

Anda juga bisa memikirkan set bobot yang masuk ke unit sebagai ukuran apa yang 'dipedulikan' unit itu. Ini paling mudah dilihat di lapisan pertama. Katakanlah kita memiliki jaringan pemrosesan gambar. Unit awal menerima koneksi berbobot dari piksel input. Aktivasi setiap unit adalah jumlah nilai intensitas piksel tertimbang, yang dilewatkan melalui fungsi aktivasi. Karena fungsi aktivasi adalah monoton, aktivasi unit yang diberikan akan lebih tinggi ketika piksel input mirip dengan bobot yang masuk dari unit tersebut (dalam arti memiliki produk titik besar). Jadi, Anda dapat menganggap bobot sebagai satu set koefisien filter, yang mendefinisikan fitur gambar. Untuk unit di lapisan yang lebih tinggi (di jaringan feedforward), input bukan dari piksel lagi, tetapi dari unit di lapisan bawah. Jadi, bobot yang masuk lebih seperti '

Tidak yakin tentang sumber asli Anda, tetapi jika saya berbicara tentang 'ruang berat', saya akan merujuk pada set semua nilai yang mungkin dari semua bobot dalam jaringan.

pengguna20160
sumber
dengan merujuk pada jawaban Anda di atas, 'aktivasi unit yang diberikan akan lebih tinggi ketika piksel input mirip dengan bobot yang masuk dari unit tersebut (dalam arti memiliki produk titik besar)', dapatkah Anda menjelaskannya. Apakah ini berarti jika input serupa dengan bobot antara input dan unit tersembunyi, maka aktivasi unit tersembunyi akan lebih tinggi?
Ironluca
1
x1x2yx1yx2x1y>x2yx1yx2y
6

Yah, itu tergantung pada arsitektur jaringan dan lapisan tertentu. Secara umum NN tidak dapat diartikan, ini adalah kelemahan utama mereka dalam analisis data komersial (di mana tujuan Anda adalah untuk mengungkap wawasan yang dapat ditindaklanjuti dari model Anda).

Tapi saya suka jaringan convolutional, karena mereka berbeda! Meskipun lapisan atasnya mempelajari konsep yang sangat abstrak, dapat digunakan untuk transfer pembelajaran dan klasifikasi, yang tidak dapat dipahami dengan mudah, lapisan bawahnya mempelajari filter Gabor langsung dari data mentah (dan dengan demikian dapat ditafsirkan sebagai filter semacam itu). Lihatlah contoh dari ceramah Le Cun:

masukkan deskripsi gambar di sini

Selain itu, M. Zeiler ( pdf ) dan banyak peneliti lain menemukan metode yang sangat kreatif untuk "memahami" convnet dan memastikannya mempelajari sesuatu yang berguna yang dijuluki jaringan Dekonvolusional , di mana mereka 'melacak' beberapa convnet dengan membuat meneruskan masukan gambar dan mengingat yang mana neuron memiliki aktivasi terbesar untuk foto mana. Ini memberikan introspeksi menakjubkan seperti ini (beberapa layer ditunjukkan di bawah):

Introspeksi jaringan konvolusional oleh M.Zeiler

Gambar abu-abu di sisi kiri adalah aktivasi neuron (semakin banyak intensitas - aktivasi yang lebih besar) oleh gambar berwarna di sisi kanan. Kita melihat, bahwa aktivasi ini adalah representasi kerangka dari foto asli, yaitu, aktivasi tidak acak. Dengan demikian, kami memiliki harapan yang kuat, bahwa convnet kami memang mempelajari sesuatu yang bermanfaat dan akan memiliki generalisasi yang layak di foto yang tidak terlihat.

Akademisi Luas
sumber
1

Saya pikir Anda berusaha terlalu keras pada model yang tidak memiliki interpretasi terlalu banyak. Neural network (NN) adalah salah satu model kotak hitam yang akan memberi Anda kinerja yang lebih baik, tetapi sulit untuk memahami apa yang sedang terjadi di dalam. Plus, sangat mungkin untuk memiliki ribuan bahkan jutaan bobot di dalam NN.

NN adalah fungsi non-cembung non-linear yang sangat besar yang dapat memiliki jumlah minimum lokal yang besar. Jika Anda melatihnya beberapa kali, dengan titik awal yang berbeda, bobotnya akan berbeda. Anda dapat menemukan beberapa cara untuk memvisualisasikan bobot internal, tetapi juga tidak memberi Anda terlalu banyak wawasan.

Berikut adalah salah satu contoh visualisasi NN untuk data MNIST . Gambar kanan atas (direproduksi di bawah) menunjukkan fitur yang diubah setelah menerapkan bobot.

masukkan deskripsi gambar di sini

Haitao Du
sumber
-1

Bobot sederhana adalah probabilitas.

Seberapa besar kemungkinan koneksi akan memberikan jawaban yang benar atau salah. Bahkan hasil yang salah dalam jaring multilayer dapat bermanfaat. Memberitahu bahwa ada sesuatu yang bukan itu ..

pengguna3800527
sumber
penasaran yang menurunkan saya, jaring saraf memiliki asal dalam statistik. pelajari sejarah Anda ..
user3800527
2
Saya tidak mengundurkan diri, tetapi jawaban sejujurnya sepertinya tidak terlalu berguna. Ya, beberapa arsitektur jaringan (seperti mesin Boltzmann atau jaringan Hopfield) diilhami oleh mekanika statistik, tetapi bahkan di sana bobot bukanlah probabilitas, dalam arti "membatasi frekuensi relatif suatu peristiwa". Bobot juga bisa negatif atau lebih besar dari satu, probabilitas tidak bisa.
nikie
di sana tanda mencerminkan jawaban, jumlah probabilitasnya.
user3800527
Hal ini berlaku untuk arsitektur dan pelatihan label jenis terbatas untuk dipelajari.
Emil