Model ikonik (mainan) dari jaringan saraf

18

Profesor fisika saya di sekolah pascasarjana, serta peraih Noble Feynman, akan selalu menyajikan apa yang mereka sebut model mainan untuk menggambarkan konsep dasar dan metode dalam fisika, seperti osilator harmonik, pendulum, spinning top, dan kotak hitam.

Model mainan apa yang digunakan untuk menggambarkan konsep dasar dan metode yang mendasari penerapan jaringan saraf? (Referensi silakan.)

Yang saya maksudkan dengan model mainan adalah jaringan sederhana, ukuran minimal yang diterapkan pada masalah yang sangat terbatas di mana metode dasar dapat disajikan dan pemahaman seseorang diuji dan ditingkatkan melalui implementasi aktual, yaitu membangun kode dasar dan lebih disukai pada tingkat tertentu melakukan memeriksa matematika dasar dengan tangan atau dibantu oleh aplikasi matematika simbolis.

Tom Copeland
sumber
@ Scorax, bagus, tapi referensi untuk 1 dan 3.
Tom Copeland
2
Anda harus berarti Nobel, bukan Noble.
Ruslan
@Ruslan, ini adalah kesalahan yang agak umum. Saya sangat senang melihat bahwa Anda dan dua orang lain telah menemukannya sangat menstimulasi / memotivasi sehingga saya akan membiarkannya tetap untuk dinikmati oleh kepribadian yang sama.
Tom Copeland

Jawaban:

14

Salah satu yang paling klasik adalah Perceptron dalam 2 dimensi, yang kembali ke tahun 1950-an. Ini adalah contoh yang baik karena merupakan landasan untuk teknik yang lebih modern:

1) Tidak semuanya terpisah secara linear (maka kebutuhan akan aktivasi nonlinier atau metode kernel, banyak lapisan, dll.).

2) Perceptron tidak akan konvergen jika data tidak dapat dipisahkan secara linear (pengukuran kontinu seperti softmax, peluruhan laju pembelajaran, dll.).

3) Meskipun ada banyak solusi tak terbatas untuk memisahkan data, jelas bahwa beberapa lebih diinginkan daripada yang lain (pemisahan batas maksimum, SVM, dll.)

Untuk jaringan saraf multilayer, Anda mungkin menyukai contoh klasifikasi mainan yang disertakan dengan visualisasi ini .

Untuk Convolutional Neural Nets, MNIST adalah standar emas klasik, dengan visualisasi yang lucu di sini dan di sini .

Untuk RNN, masalah yang sangat sederhana yang bisa mereka selesaikan adalah penambahan biner , yang membutuhkan 4 pola menghafal.

Alex R.
sumber
+1 untuk cakupan luas NN! dari perceptron ke RNN.
Haitao Du
Bagus. Jenis jawaban yang saya cari.
Tom Copeland
Maaf, saya tidak bermaksud mengedit jawaban Anda - saya bermaksud menambahkan paragraf itu ke saya.
Sycorax berkata Reinstate Monica
8
  1. Masalah XOR mungkin adalah masalah mainan JST kanonik.

    Richard Bland Juni 1998 Universitas Stirling, Departemen Ilmu Komputer dan Matematika Laporan Teknis Ilmu Komputer " Belajar XOR: menjelajahi ruang masalah klasik "

  2. The TensorFlow Playground adalah sebuah antarmuka interaktif untuk beberapa jaring mainan saraf, termasuk XOR dan Jellyroll.

  3. Menghitung nilai eigen terbesar dari matriks simetrik ukuran-tetap (2x2 atau 3x3) adalah yang saya gunakan dalam demo kelas.

    A. Cichocki dan R. Unbehauen. " Jaringan saraf untuk menghitung nilai eigen dan vektor eigen " Sibernetika Biologis Desember 1992, Volume 68, Edisi 2, hal 155–164

Masalah seperti MNIST jelas kanonik tetapi tidak mudah diverifikasi dengan tangan - kecuali jika Anda memiliki waktu luang yang sangat besar. Kode juga tidak terlalu mendasar.

Sejauh tugas NLP, Penn Tree Bank adalah kumpulan data patokan yang sangat standar, yang digunakan misalnya dalam Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals " Regularisasi Jaringan Syaraf Berulang ," dan mungkin ratusan makalah lain.

Sycorax berkata Reinstate Monica
sumber
-4

Saya tidak tahu mainan fisik, tetapi contoh terbaik yang saya tahu adalah AI multi-layer yang dihasilkan melalui algoritma genetika untuk memainkan Super Mario Brothers. Kode sumber ada dalam deskripsi video.

MarI / O - Pembelajaran Mesin untuk Video Game: https://www.youtube.com/watch?v=qv6UVOQ0F44

Chloe
sumber
3
Anda mungkin ingin membaca pertanyaan dan dua jawaban lainnya secara menyeluruh.
Tom Copeland