Tutorial yang bagus untuk Mesin Boltzmann Terbatas (RBM)

Saya sedang mempelajari Mesin Boltzmann Terbatas (RBM) dan saya mengalami beberapa masalah dalam memahami perhitungan kemungkinan log sehubungan dengan parameter RBM. Meskipun banyak makalah penelitian tentang RBM telah diterbitkan, tidak ada langkah rinci dari turunannya. Setelah mencari online, saya dapat menemukannya di dokumen ini:

• Fischer, A., & Igel, C. (2012). Pengantar Mesin Boltzmann Terbatas. Dalam L. Alvarez et al. (Eds.): CIARP, LNCS 7441, hlm. 14–36, Springer-Verlag: Berlin-Heidelberg. ( pdf )

Namun, rincian dokumen ini terlalu canggih untuk saya. Adakah yang bisa mengarahkan saya ke tutorial / set catatan kuliah yang bagus tentang RBM?

---

Edit: @ David, bagian yang membingungkan ditunjukkan di bawah ini (persamaan 29 di halaman 26):

$$\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$$

Saya tahu ini agak terlambat, tapi mungkin bisa membantu. Untuk mendapatkan istilah pertama dari persamaan Anda, diperlukan langkah-langkah ini: Kami telah mengasumsikan bahwa kemerdekaan bersyarat antara unit tersembunyi, mengingat unit yang terlihat, ada. Dengan demikian kita dapat memfaktorkan distribusi probabilitas gabungan kondisional untuk kondisi tersembunyi.

$$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$$ 1hi1 $$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$$ Istilah terakhir sama dengan , karena kita menjumlahkan semua negara bagian. Jadi apa yang tersisa, adalah istilah pertama. Karena hanya mengambil status dan kita berakhir dengan: $1$$h_i$$1$$0$ $$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$$

1. Ada tutorial RBM yang layak di situs deeplearning .

2. Posting blog ini ( Pengantar Mesin Boltzmann Terbatas ) ditulis dalam bahasa yang lebih sederhana dan menjelaskan dasar-dasar RBMS dengan sangat baik:

3. Juga, mungkin referensi terbaik adalah kursus Jaringan Neural Geoff Hinton di Coursea:

   Saya tidak yakin apakah Anda dapat mengakses kelas dan video setelah kelas berakhir.

Kotak oranye kiri memberi Anda nilai yang diharapkan dari gradien energi di atas semua konfigurasi tersembunyi mengingat bahwa beberapa vektor terlihat dijepit pada unit yang terlihat (harapan atas data karena menggunakan sampel dari set pelatihan Anda). Istilah itu sendiri adalah produk dari (1) probabilitas untuk melihat unit tersembunyi tertentu i pada mengingat bahwa beberapa vektor v dijepit pada unit yang terlihat dan (2) keadaan unit terlihat tertentu j.

Kotak oranye kanan adalah hal yang sama dengan yang kiri, kecuali Anda melakukan apa yang ada di kotak oranye kiri untuk setiap konfigurasi yang mungkin terlihat, bukan hanya yang dijepit pada unit yang terlihat (harapan atas model karena tidak ada yang dijepit pada unit yang terlihat).

Bab 5 dari pelajaran Hugo Larochelle tentang pembelajaran mesin ( video ) adalah pengantar terbaik yang saya temukan sejauh ini.

Turunan dari fungsi kerugian tidak diturunkan dalam kuliah ini tetapi tidak sulit untuk melakukannya (saya dapat memposting pemindaian kalkulasi saya jika diperlukan, tetapi sebenarnya tidak terlalu sulit). Saya masih mencari buku teks yang bagus yang membahas topik ini tetapi terutama hanya ada artikel. Ada ikhtisar yang baik dari artikel-artikel di Bab 20 Buku Pembelajaran Jauh Bengio .