Adakah contoh kode algoritma REINFORCE yang diajukan oleh Williams?

Apakah ada yang tahu contoh Algoritma Williams yang diusulkan dalam Makalah "Kelas algoritma estimasi gradien untuk pembelajaran penguatan dalam jaringan saraf" http://incompleteideas.net/sutton/williams-92.pdf

Dari kuliah RL David Silver tentang metode Gradient Kebijakan , slide 21 di sini adalah kode semu untuk algoritma Reinforce episodik, yang pada dasarnya adalah metode berbasis gradien di mana pengembalian yang diharapkan diambil sampel langsung dari episode (sebagai lawan memperkirakannya dengan beberapa yang dipelajari fungsi). Dalam hal ini pengembalian yang diharapkan sebenarnya adalah hadiah total episodik untuk langkah tersebut, .$G_t$

inisialisasi$\theta$

untuk setiap episode { } sampel dari kebijakan do$s_1, a_1, r_2 ... s_{T-1}, a_{T-1}, r_T$$\pi_\theta$

    untuk t = 1 hingga T - 1 lakukan

        $\theta \leftarrow \theta + \alpha \nabla_\theta \log \pi_\theta(s_t,a_t) G_t$

    berakhir untuk

berakhir untuk

Algoritma ini menderita varians yang tinggi karena penghargaan sampel dapat sangat berbeda dari satu episode ke episode lainnya karena itu algoritma ini biasanya digunakan dengan baseline yang dikurangi dari kebijakan. Berikut adalah penjelasan yang lebih rinci lengkap dengan contoh kode.

Algoritma REINFORCE untuk pembelajaran penguatan kebijakan-gradien adalah algoritma gradien stokastik sederhana. Ini bekerja dengan baik ketika episode cukup pendek sehingga banyak episode dapat disimulasikan. Metode nilai-fungsi lebih baik untuk episode yang lebih lama karena mereka dapat mulai belajar sebelum akhir satu episode.