Apa referensi bagus untuk memahami pembelajaran online?

10

Secara khusus, saya meminta sumber daya untuk mempelajari tentang sistem pembelajaran mesin yang dapat memperbarui jaringan kepercayaan masing-masing (atau yang setara) selama operasi. Saya bahkan telah menemukan beberapa, meskipun saya gagal untuk membookmark mereka.

Seperti yang Anda bayangkan, ini adalah topik yang agak sulit untuk dicari di internet.

jtolds
sumber
Ketika meminta pengguna untuk berkontribusi ke daftar jawaban, pertanyaan itu harus ditandai dengan wiki komunitas . Saya telah mengonversi pertanyaan ini.
Robert Cartaino

Jawaban:

11

Sebagian besar algoritma pembelajaran online berasal dari setidaknya satu dari garis keturunan berikut:

  • perceptron

    Perseptron canggih adalah algoritma pasif-agresif , perceptron terstruktur , dan banyak ragamnya.

  • Menampi itu

    Winnow telah dirumuskan ulang sebagai metode gradien eksponensial , dan dapat diterapkan untuk masalah terstruktur juga. Ada juga varietas yang berurusan langsung dengan regularisasi L1 (untuk menjamin sparsity), seperti SMIDAS .

  • Penurunan gradien stokastik

    Stochastic gradient descent adalah ketika Anda menerapkan optimasi online untuk masalah yang mungkin terjadi. Algoritma mutakhir adalah Leon Bottou's LaSVM , Pegasos , dan banyak algoritma jaringan saraf dapat dengan mudah dilatih dalam pengaturan ini. Lihat theano tutorial untuk banyak contoh. Mungkin EM online cocok di sini.

  • penyaringan partikel

    Ini juga dikenal sebagai inferensi rao-blackwell, dan memungkinkan Anda untuk memperbarui model grafis / probabilistik ketika lebih banyak data datang. Beberapa contoh yang baik adalah model topik online dan tutorial NIPS di SMC .

Ada juga beberapa masalah yang lebih luas dengan pembelajaran online, seperti secara online-to-batch konversi , teknik anggaran untuk pembelajaran online dengan kernel (seperti tulisan ini , makalah ini , dan tulisan ini ), banyak rasa yang berbeda dari batas generalisasi, kekhawatiran sparsity (dan juga makalah SMIDAS yang saya kutip di atas), hashing untuk menghemat memori, dan banyak masalah lainnya.

Alexandre Passos
sumber
Jawaban yang sangat informatif!
Tayfun Bayar
4

Jika Anda mencari informasi tentang teori di balik pembelajaran online, buku karya Cesa-Bianchi dan Lugosi adalah referensi yang solid.

Suresh Venkat
sumber
Saya akan memeriksanya, terima kasih. Itu sebenarnya adalah salah satu dari dua saran yang disediakan Wikipedia ( en.wikipedia.org/wiki/Online_machine_learning dapat menggunakan bantuan)
jtolds
Sumber lain yang bermanfaat adalah serangkaian posting John Langford: hunch.net/?cat=7
Suresh Venkat
4

Ada tutorial yang bagus dari ICML 2008 oleh Yoram Singer dan Shai Shalev Shwartz tentang teori dan praktik pembelajaran online.

Lev Reyzin
sumber
1

Pembelajaran Mesin - Materi Kursus - Stanford http://www.stanford.edu/class/cs229/materials.html

Ceramah Video Pembelajaran Mesin dan Kecerdasan Buatan http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html

Proses Gaussian untuk Pembelajaran Mesin http://www.gaussianprocess.org/gpml/

Paulo Coghi - Pasang kembali Monica
sumber
1
Ini tidak berbicara secara khusus tentang pembelajaran online. Buku proses gaussian hampir tidak menyebutkan perkiraan online untuk proses gaussian.
Alexandre Passos