Buku teks tentang pembelajaran penguatan

12

Saya mencari buku teks / catatan kuliah dalam pembelajaran penguatan. Saya menyukai "Pengantar Pembelajaran Statistik" , tetapi sayangnya mereka tidak membahas topik ini. Saya tahu bahwa sebuah buku karya Sutton dan Barto adalah referensi standar, dan mungkin NDP juga bagus tetapi mereka bertanggal 1997-98, dan saya berharap untuk menemukan eksposisi yang lebih modern karena bidang ini cenderung memiliki beberapa perkembangan dalam beberapa tahun terakhir waktu.

Ulysses
sumber

Jawaban:

15

Saya pikir Sutton dan Barto masih standar. Ada banyak slide deck dan catatan dari kelas AI online, tetapi mereka biasanya tidak terlalu detail.

Sutton dan Barto agak tua, tetapi mereka sedang mempersiapkan buku teks edisi ke-2. Konsep, tertanggal Januari 2018, tersedia di sini ; itu ditautkan dari halaman web Sutton , yang juga memiliki teks lengkap edisi pertama.

Saya akan melihat ini sebelum menangani Kochenderfer dkk. Pengambilan Keputusan Di Bawah Ketidakpastian . Buku itu memiliki beberapa aplikasi yang menarik (kebanyakan dalam penerbangan) tetapi buku itu bergerak dengan cepat dan berputar-putar. Algoritma Szepesvári untuk Penguatan Pembelajaran juga bagus, tetapi bernas - dibutuhkan sekitar dua puluh halaman untuk mencapai , vs. tujuh chaper dan 150 halaman di Sutton dan Barto yang lebih baru.TD(λ)

Selain itu, Anda dapat mencoba menyelam ke beberapa makalah - hal-hal pembelajaran penguatan cenderung cukup mudah diakses.

Matt Krause
sumber
Terima kasih, saya telah melihat edisi baru, tetapi saya tidak akan mengatakan itu jauh diperbarui. Saya masih tertarik dengan paparan yang lebih terkini.
Ulysses
Ya, ini jelas bukan perombakan total, tapi tidak ada yang benar-benar muncul di benak saya selain beberapa volume "Catatan Kuliah" Springer, yang pada dasarnya hanya kumpulan kertas. Jika Anda menemukan sesuatu yang lain, silakan kirim pembaruan; Saya ingin memeriksanya.
Matt Krause
Begitu ya, pasti akan saya lakukan
Ulysses
1
@CharlieParker, saya tidak yakin. Draf terbaru (19 Juni 2017) terlihat cukup lengkap dan menyebutkan MIT Press, tetapi situs MIT Press tampaknya masih menjual edisi pertama. Untuk apa nilainya, rancangannya langsung dari situs web publik penulis, jadi tidak perlu khawatir tentang menggunakan versi "bocor" atau semacamnya.
Matt Krause
1
@ Thomas, saya memperbarui tautan dengan konsep yang lebih baru.
Matt Krause
6

Anda mungkin ingin memeriksa Algoritma untuk Penguatan Pembelajaran oleh Csaba Szepesvári, diterbitkan pada 2010. PDF dapat diunduh dari situs web. Menurut saya, ini sedikit lebih teknis daripada Sutton dan Barto tetapi mencakup lebih sedikit materi.

wij
sumber
6

Di sini Anda memiliki beberapa buku pelajaran / referensi yang bagus:

Klasik

Sutton RS, Barto AG. Pembelajaran Penguatan: Suatu Pengantar. Cambridge, Mass: Buku Bradford; 1998. 322 hal.

Draf untuk edisi kedua tersedia gratis: https://webdocs.cs.ualberta.ca/~sutton/book/the-book.html

Russell / Norvig Bab 21:

Russell SJ, Norvig P, Davis E. Kecerdasan buatan: pendekatan modern. Upper Saddle River, NJ: Prentice Hall; 2010

Lebih teknis

Szepesvári C. Algoritma untuk pembelajaran penguatan. Kuliah Sintesis tentang Kecerdasan Buatan dan Pembelajaran Mesin. 2010; 4 (1): 1-103. http://www.ualberta.ca/~szepesva/RLBook.html

Bertsekas DP. Pemrograman Dinamis dan Kontrol Optimal. Edisi ke-4. Belmont, Mass .: Athena Scientific; 2007. 1270 p. Bab 6, vol 2 tersedia gratis: http://web.mit.edu/dimitrib/www/dpchapter.pdf

Untuk perkembangan terbaru

Wiering M, van Otterlo M, editor. Pembelajaran Penguatan. Berlin, Heidelberg: Springer Berlin Heidelberg; 2012 Tersedia dari: http://link.springer.com/10.1007/978-3-642-27645-3

Kochenderfer MJ, Amato C, Chowdhary G, Bagaimana JP, Reynolds HJD, Thornton JR, dkk. Pengambilan Keputusan Di Bawah Ketidakpastian: Teori dan Aplikasi. 1 edisi. Cambridge, Massachusetts: The MIT Press; 2015. 352 hal.

Pembelajaran penguatan multi-agen

Buşoniu L, Babuška R, Schutter BD. Pembelajaran Penguatan Multi-agen: Tinjauan. Dalam: Srinivasan D, Jain LC, editor. Inovasi dalam Sistem dan Aplikasi Multi-Agen - 1. Springer Berlin Heidelberg; 2010 hal. 183–221. Tersedia di: http://link.springer.com/chapter/10.1007/978-3-642-14435-6_7

Schwartz HM. Pembelajaran mesin multi-agen: pendekatan penguatan. Hoboken, New Jersey: Wiley; 2014

Video / Kursus

Saya juga akan menyarankan kursus David Silver di YouTube: https://www.youtube.com/playlist?list=PL5X3mDkKaJrL42i_jhE4N-p6E2Ol62Ofa

Juan Leni
sumber
3

Catatan kuliah favorit saya tentang penguatan pembelajaran adalah yang oleh Andrew Ng dalam kursus Stanford di ML CS229:

Catatan pembelajaran Reiforcment Stanford CS229

Anda juga dapat mengunduh video ceramah di iTunes. Atau di youtube, mereka mulai di tautan berikut:

Kuliah 16 CS229

Charlie Parker
sumber