Secara khusus, saya meminta sumber daya untuk mempelajari tentang sistem pembelajaran mesin yang dapat memperbarui jaringan kepercayaan masing-masing (atau yang setara) selama operasi. Saya bahkan telah menemukan beberapa, meskipun saya gagal untuk membookmark mereka.
Seperti yang Anda bayangkan, ini adalah topik yang agak sulit untuk dicari di internet.
Jawaban:
Sebagian besar algoritma pembelajaran online berasal dari setidaknya satu dari garis keturunan berikut:
perceptron
Perseptron canggih adalah algoritma pasif-agresif , perceptron terstruktur , dan banyak ragamnya.
Menampi itu
Winnow telah dirumuskan ulang sebagai metode gradien eksponensial , dan dapat diterapkan untuk masalah terstruktur juga. Ada juga varietas yang berurusan langsung dengan regularisasi L1 (untuk menjamin sparsity), seperti SMIDAS .
Penurunan gradien stokastik
Stochastic gradient descent adalah ketika Anda menerapkan optimasi online untuk masalah yang mungkin terjadi. Algoritma mutakhir adalah Leon Bottou's LaSVM , Pegasos , dan banyak algoritma jaringan saraf dapat dengan mudah dilatih dalam pengaturan ini. Lihat theano tutorial untuk banyak contoh. Mungkin EM online cocok di sini.
penyaringan partikel
Ini juga dikenal sebagai inferensi rao-blackwell, dan memungkinkan Anda untuk memperbarui model grafis / probabilistik ketika lebih banyak data datang. Beberapa contoh yang baik adalah model topik online dan tutorial NIPS di SMC .
Ada juga beberapa masalah yang lebih luas dengan pembelajaran online, seperti secara online-to-batch konversi , teknik anggaran untuk pembelajaran online dengan kernel (seperti tulisan ini , makalah ini , dan tulisan ini ), banyak rasa yang berbeda dari batas generalisasi, kekhawatiran sparsity (dan juga makalah SMIDAS yang saya kutip di atas), hashing untuk menghemat memori, dan banyak masalah lainnya.
sumber
Avrim Blum sebagai makalah survei hebat yang saya rekomendasikan dimulai dengan: "Algoritma Online dalam Pembelajaran Mesin" http://www.cs.cmu.edu/~avrim/Papers/survey.ps
sumber
Jika Anda mencari informasi tentang teori di balik pembelajaran online, buku karya Cesa-Bianchi dan Lugosi adalah referensi yang solid.
sumber
Ada tutorial yang bagus dari ICML 2008 oleh Yoram Singer dan Shai Shalev Shwartz tentang teori dan praktik pembelajaran online.
sumber
Pembelajaran Mesin - Materi Kursus - Stanford http://www.stanford.edu/class/cs229/materials.html
Ceramah Video Pembelajaran Mesin dan Kecerdasan Buatan http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html
Proses Gaussian untuk Pembelajaran Mesin http://www.gaussianprocess.org/gpml/
sumber