Bagaimana model skip-gram Word2Vec menghasilkan vektor output?

Saya mengalami masalah dalam memahami model skip-gram dari algoritma Word2Vec.

Dalam kata-kata kontinyu mudah untuk melihat bagaimana kata konteks dapat "cocok" di Neural Network, karena Anda pada dasarnya meratakannya setelah mengalikan masing-masing representasi pengodean satu-panas dengan matriks input W.

Namun, dalam kasus lompatan-gram, Anda hanya mendapatkan vektor kata input dengan mengalikan encoding satu-panas dengan matriks input dan kemudian Anda seharusnya mendapatkan representasi vektor C (= ukuran jendela) untuk kata konteks dengan mengalikan representasi vektor input dengan matriks output W '.

Yang saya maksud adalah, memiliki kosakata ukuran dan pengkodean ukuran N , W ∈ R V × N matriks masukan dan W ′ ∈ R N × V sebagai matriks keluaran. Diberi kata w i dengan pengkodean satu-panas x i dengan kata konteks w j dan w h (dengan repetisi satu-panas x j dan x h ), jika Anda mengalikan x i dengan matriks input W Anda mendapatkan $V$$N$$W \in \mathbb{R}^{V\times N}$$W' \in \mathbb{R}^{N\times V}$$w_i$$x_i$$w_j$$w_h$$x_j$$x_h$$x_i$$W$ , sekarang bagaimana Anda menghasilkanvektor skor C dari ini?${\bf h} := x_i^TW = W_{(i,\cdot)} \in \mathbb{R}^N$$C$

Saya memiliki masalah yang sama memahaminya. Tampaknya vektor skor output akan sama untuk semua istilah C. Tetapi perbedaan kesalahan dengan masing-masing vektor panas yang diwakili akan berbeda. Dengan demikian vektor kesalahan digunakan dalam back-propagation untuk memperbarui bobot.

Harap perbaiki saya, jika saya salah.

sumber: https://iksinc.wordpress.com/tag/skip-gram-model/

Dalam kedua model, nilai output tergantung pada fungsi skor yang Anda gunakan. Mungkin ada dua fungsi skor softmax atau pengambilan sampel negatif. Jadi, Anda menggunakan fungsi skor softmax. Anda akan mendapatkan ukuran fungsi skor N * D. Di sini D adalah dimensi vektor kata. N adalah jumlah contoh. Setiap kata seperti kelas dalam arsitektur jaringan syaraf.

$k_{th}$$k_{th}$

Skor untuk setiap kata dihitung dengan persamaan berikut.

$u = \mathcal{W'}^Th$

$\mathcal{W'}$$u$ $\mathcal{C}$$\mathcal{C}$

$p(w_{c,j} = w_{O,c}|w_I)=\frac{\exp{u_{c,j}}}{\sum_{j'=1}^V\exp{u_{j'}}}$

$\mathcal{C}$

$u$$\mathcal{C}$

$\textbf{References:}$

• Xin Rong, Penjelasan Parameter Word2Vec Dijelaskan