Latar belakang matematika untuk jaringan saraf

11

Tidak yakin apakah ini sesuai untuk situs ini, tapi saya mulai MSE saya dalam ilmu komputer (BS dalam matematika terapan) dan ingin mendapatkan latar belakang yang kuat dalam pembelajaran mesin (saya kemungkinan besar akan mengejar gelar PhD). Salah satu sub-minat saya adalah jaringan saraf.

Apa latar belakang matematika yang baik untuk JST? Seperti di bidang pembelajaran mesin lainnya, saya menganggap aljabar linier itu penting, tetapi bidang matematika apa yang penting?

Saya berencana untuk membaca Neural Networks: Suatu Pengantar Sistematis atau Neural Networks untuk Pengenalan Pola . Adakah yang punya masukan atau rekomendasi alternatif?

machine-learning neural-networks mathematical-statistics references Steve P.
sumber

Jawaban:

10

Referensi kedua yang Anda berikan adalah, menurut pendapat saya, masih buku terbaik tentang NN, meskipun mungkin agak ketinggalan zaman dan tidak berurusan dengan perkembangan yang lebih baru seperti arsitektur dalam. Anda akan mendapatkan dasar-dasarnya dengan benar, dan menjadi terbiasa dengan semua konsep dasar seputar pembelajaran mesin.

Jika Anda membaca buku ini, Anda akan membutuhkan aljabar linier, kalkulus multivariat, dan statistik dasar (probabilitas bersyarat, teorema bayes, dan terbiasa dengan distribusi binomial). Pada beberapa titik ini berkaitan dengan kalkulus variasi. Apendiks tentang kalkulus variasi harus cukup.

jpmuc
sumber
Itulah yang akhirnya saya lakukan setelah banyak rekomendasi, saya hanya sangat ragu karena buku Bishop tentang pembelajaran mesin, sementara digembar-gemborkan oleh beberapa orang, seharusnya menjadi buku yang sangat sulit untuk dipelajari jika Anda belum mengetahuinya .
Steve P.
5

Komponen matematika kemungkinan akan mencakup aljabar maju, trigonometri, aljabar linier, dan kalkulus minimum.

Tetapi juga berpikir di luar kotak. Keterampilan pemrograman yang baik juga diperlukan termasuk fondasi yang kuat dalam algoritma (Coursera memiliki dua kursus tentang algoritma) dan kemahiran dengan MatLab, Octave, atau R (dan dengan bahasa pemrograman yang fleksibel seperti Java, C / C ++, atau Python). Saya menyebutkan ini sebagai jawaban atas pertanyaan Anda karena itu lebih banyak keterampilan "matematika terapan" menurut pendapat saya - dan sangat mendasar untuk menerjemahkan antara teori dan implementasi terapan.

Saya telah mengikuti sejumlah kursus Coursera yang terkait dengan pembelajaran mesin (dan setuju dengan satu poster lain bahwa Pembelajaran Mesin Prof. Ng fantastis) dan NN. Beberapa bulan yang lalu, Coursera menyelenggarakan Neural Networks Course (tidak yakin apakah ini masih tersedia) melalui University of Toronto dan Geoffrey Hinton. Kursus yang bagus dan banyak diminati: pengetahuan tentang kalkulus, kemahiran dengan Oktaf (klon mirip MatLab sumber terbuka), desain algoritmik yang baik (untuk skalabilitas), dan aljabar linier.

Anda mungkin juga (walaupun bukan matematika per se), pikirkan tentang topik-topik seperti pemrosesan bahasa alami (untuk ekstraksi fitur, dll.), Pencarian informasi, statistik / teori probabilitas serta area lain dari Pembelajaran Mesin (untuk mendapatkan lebih banyak teori). Teks terbaru seperti Yayasan Pembelajaran Mesin (Mohri) atau Pengantar Pembelajaran Mesin (Alpaydin) mungkin dapat membantu Anda dalam menjembatani kompleksitas teori-ke-implementasi (hanya menurut saya, ini bisa menjadi lompatan yang sulit) - dan keduanya teks sangat berat matematika, terutama Yayasan.

Sekali lagi, saya pikir semua berhubungan dengan matematika dan NN tetapi dalam arti yang lebih luas.

SaB
sumber
Terima kasih. Saya mengambil jurusan matematika terapan sebagai sarjana (dan memiliki pengalaman pemrograman yang luas), jadi saya memiliki semua itu, kecuali untuk kursus ketat dalam aljabar abstrak, yang saya ajarkan sendiri ... Saya akhirnya pergi dengan Neural Networks for Pattern Pengakuan, oleh Uskup. Bagi siapa pun yang tertarik, saya sangat merekomendasikannya ...
Steve P.
2

Buku yang sangat bagus (tidak benar-benar perkenalan, tetapi jangan mengandaikan pengetahuan sebelumnya dalam jaringan saraf) adalah Brian Ripley: "Pengenalan Pola dan Jaringan Syaraf", yang menurut saya mengandung banyak prelimnya. Dengan BS dalam matematika terapan Anda harus siap.

kjetil b halvorsen
sumber
2

Topik utama adalah statistik

kalkulus multivariabel

aljabar linear numerik (matriks jarang, dll) optimisasi numerik (gradient descent dll, pemrograman kuadratik)

Anda mungkin ingin membaca tentang proses gaussian dan matematika yang diperlukan di sana coba dan lakukan beberapa kelas pemrosesan gambar / bahasa alami

seanv507
sumber
Saya benar-benar mengambil kursus NLP di Musim Gugur.
Steve P.