Gradien untuk skipgram word2vec

Saya akan membahas masalah-masalah dalam tugas penugasan tertulis kelas pembelajaran mendalam di Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln

Saya mencoba memahami jawaban untuk 3a di mana mereka mencari turunan ke vektor untuk kata pusat.

Asumsikan Anda diberikan vektor kata yang diprediksi sesuai dengan kata tengah c untuk skipgram, dan prediksi kata dibuat dengan fungsi softmax yang ditemukan dalam model word2vec.$v_{c}$

$\hat{y}^{o} = p(o | c) = \frac {exp(u_{o}^{T} v_{c})}{\sum_{w=1}^{W}exp(u_{w}^{T} v_{c})}$

Di mana w menunjukkan kata ke-w dan (w = 1, ..., W) adalah vektor kata “keluaran” untuk semua kata dalam kosakata. Asumsikan biaya entropi silang diterapkan untuk prediksi ini dan kata o adalah kata yang diharapkan.$u_w$

Di mana adalah matriks dari semua vektor output, dan mari menjadi vektor kolom dari prediksi kata-kata softmax, dan y menjadi label satu-panas yang juga merupakan vektor kolom.$U = [u_1,u_2, · · · ,u_W ]$$\hat{y}$

Di mana lintas entropi adalah$CE(y, \hat{y}) = − \sum_iy_i\log(\hat{y}_i)$

Jadi jawaban untuk gradien untuk vektor tengah adalah$\frac{∂J}{∂v_c}= U^T(\hat{y} − y).$

Bisakah seseorang menunjukkan kepada saya langkah-langkah untuk mencapai ini? Saya telah menggunakan pertanyaan ini sebagai referensi Derivatif dari kehilangan lintas entropi di word2vec tapi saya secara khusus ingin tahuperwakilan.$U^T(\hat{y} − y).$

Pertama, mari kita jelaskan apa yang kita dapatkan dan asumsi kita tentang bentuk vektor yang berbeda. Membiarkan,

1. $|W|$menjadi jumlah kata dalam vocab
2. $y$ dan menjadi vektor bentuk kolomx 1y | W |$\hat{y}$$|W|$
3. $u_i$ dan menjadi vektor kolom bentuk X 1 ( = dimensi embeddings)$v_j$$D$$D$
4. $y$ menjadi vektor kolom disandikan satu-panas bentukx 1$|W|$
5. $\hat{y}$ menjadi vektor kolom prediksi bentuk softmaxx 1$|W|$
6. $\hat{y}_i = P(i|c) = \frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)}$
7. Kehilangan entropi silang:$J = -\sum_{i=1}^Wy_ilog({\hat{y_i}})$
8. $U = [u_1, u_2, ...,u_k, ...u_W]$ menjadi matriks yang terdiri dari vektor kolom .$u_k$

Sekarang, kita dapat menulis Menyederhanakan, Sekarang, kita tahu bahwa adalah satu-panas dikodekan, jadi semua elemennya adalah nol kecuali yang di, katakanlah, indeks . Yang berarti, hanya ada satu istilah non-nol dalam penjumlahan di atas yang sesuai dengan dan semua istilah lainnya dalam penjumlahan adalah nol. Jadi biayanya juga bisa ditulis sebagai: Catatan: di atas adalah 1.

$$J = - \sum_{i=1}^W y_i log(\frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)})$$ $$J = - \sum_{i=1}^Wy_i[u_i^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y$$k^{th}$$y_k$ $$J = -y_k[u_k^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y_k$

Mengatasi untuk : $\frac{\partial J}{\partial v_c}$

$$\frac{\partial J}{\partial v_c} = -[u_k - \frac{\sum_{w=1}^Wexp(u_w^Tv_c)u_w}{\sum_{x=1}^Wexp(u_x^Tv_c)}]$$

Yang dapat diatur ulang sebagai: Menggunakan definisi (6), kita dapat menulis ulang persamaan di atas sebagai:

$$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\frac{exp(u_w^Tv_c)}{\sum_{x=1}^W exp(u_x^Tv_c)}u_w) - u_k$$ $$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\hat{y}_w u_w) - u_k$$

Sekarang mari kita lihat bagaimana ini dapat ditulis dalam notasi Matrix. Perhatikan bahwa:

1. $u_k$ dapat ditulis sebagai perkalian vektor Matriks:$U.y$
2. Dan adalah transformasi linear dari vektor di diskalakan oleh masing-masing dengan . Ini lagi dapat ditulis sebagai$\sum_{w=1}^W (\hat{y}_w u_w)$$u_w$$U$$\hat{y}_w$$U.\hat{y}$

Jadi semuanya dapat secara ringkas ditulis sebagai:

$$U[\hat{y} -y]$$

Akhirnya, perhatikan bahwa kita mengasumsikan s menjadi kolom vektor. Jika kita mulai dengan vektor baris, kita akan mendapatkan , sama seperti yang Anda cari.$u_i$$U^T[\hat{y} -y]$