Buku teks tentang * teori * algoritma neural / ML?

Setiap buku teks yang saya lihat sejauh ini menggambarkan algoritma ML dan bagaimana menerapkannya.

Apakah ada juga buku teks yang membangun teorema dan bukti untuk perilaku algoritma tersebut? mis. menyatakan bahwa dalam kondisi , gradient descent akan selalu mengarah ke A , B , C ?$x,y,z$$A,B,C$

Yayasan Machine Learning , oleh Mehryar Mohri, Afshin Rostamizadeh dan Ameet Talwalkar, adalah buku 2012 tentang teori pembelajaran mesin.

Memahami Pembelajaran Mesin: Dari Teori ke Algoritma , oleh Shai Shalev-Shwartz dan Shai Ben-David, adalah buku 2014 yang serupa yang cukup terkenal dan menargetkan sedikit lebih banyak pengantar daripada Mohri / Rostamizadeh / Talwalkar, tetapi masih memiliki banyak teori dalam saya t. Ini tersedia secara online secara gratis.

Pembelajaran Neural Network: Yayasan Teoritis , oleh Martin Anthony dan Peter Bartlett, adalah sebuah buku 1999 tentang teori ML yang diutarakan sebagai tentang jaringan saraf, tetapi (menurut kesan saya tidak pernah membacanya) kebanyakan tentang teori ML secara umum.

Ketiga buku ini sebagian besar mengambil sudut pandang dominan dari teori pembelajaran statistik. Ada juga sudut pandang menarik yang disebut teori belajar komputasi , yang lebih banyak terinspirasi oleh teori ilmu komputer. Saya pikir buku pengantar standar di bidang ini adalah Pengantar Teori Pembelajaran Komputasi , sebuah buku 1994 oleh Michael Kearns dan Umesh Vazirani.

Buku lain yang sangat bagus dan sering direkomendasikan tersedia secara bebas adalah Trevor Hastie, Robert Tibshirani, dan Jerome Friedman 2009 edisi kedua The Elements of Statistics Learning . Mungkin sedikit kurang teoritis daripada yang lain, dan lebih dari sudut pandang ahli statistik daripada pelajar mesin, tetapi masih memiliki banyak minat.

Juga, jika Anda peduli tentang penurunan gradien khususnya, referensi standar adalah Optimasi Cembung oleh Stephen Boyd dan Lieven Vandenberghe. Buku 2004 ini tersedia gratis secara online.

Tak satu pun dari buku-buku ini banyak memuat teori modern tentang jaringan dalam, jika itu yang Anda pedulikan. (Misalnya, sebagian besar teori pengoptimalan adalah tentang kasus-kasus cembung, yang jelas-jelas bukan dimiliki oleh jaringan dalam.) Itu karena teori ini sangat baru; sebagian besar hasil hanya muncul dalam beberapa tahun terakhir, dan masih sangat banyak yang dipecahkan. Tetapi, sebagai tinjauan umum dari pemahaman dasar lapangan sejauh ini, salah satu dari mereka akan membuat Anda memahami dengan baik makalah di mana pekerjaan itu dilakukan (kecuali mungkin Kearns / Vazirani, yang berfokus pada berbagai aspek analisis yang saya ' saya tidak yakin telah berhasil diterapkan ke jaringan yang dalam - belum).

Pembelajaran Mesin: Perspektif Probabilistik oleh Kevin P. Murphy menjelaskan banyak teori dari perspektif Bayesian (saya hanya menggunakannya untuk regresi logistik, tetapi saya pikir itu cukup bagus). Seluruh buku tersedia online sebagai PDF dengan mencari di Google.

• Pembelajaran Jauh (Seri Adaptif Komputasi dan Pembelajaran Mesin) . Ini ditulis oleh Ian Goodfellow, Yoshua Bengio, Aaron Courville . Sesuai persetujuan penulis dengan MIT Press, Anda dapat membaca salinan gratis yang tersedia secara legal di browser di situs web ini. www.deeplearningbook.org Ini bagus untuk matematika murni dan teori neural net dan berbagai sub cabangnya.

Selain itu,

• Unsur-unsur Pembelajaran Statistik: Penambangan Data, Inferensi, dan Prediksi juga merupakan buku yang bagus untuk membangun landasan teori dan matematika dalam pembelajaran mesin tradisional. Ini ditulis oleh Trevor Hastie, Robert Tibshirani dan Jerome Friedman dan tersedia secara gratis oleh penulis di https://web.stanford.edu/~hastie/ElemStatLearn/

Desain Jaringan Saraf Tiruan (Martin T. Hagan, Howard B. Demuth, Mark Hudson Beale, Orlando De Jesús) memiliki beberapa diskusi yang bagus tentang pengoptimalan dalam konteks jaring saraf.