Representasi vektor input vs representasi vektor output di word2vec

9

Dalam CBOW dan skip-gram model word2vec, bagaimana cara memilih vektor kata dari (input word matrix) vs. memilih vektor kata dari (output word matrix) berdampak pada kualitas vektor kata yang dihasilkan?WW

CBOW:

masukkan deskripsi gambar di sini

Lewati-gram:

masukkan deskripsi gambar di sini

Franck Dernoncourt
sumber

Jawaban:

8

Garten et al. {1} membandingkan vektor kata yang diperoleh dengan menambahkan vektor kata masukan dengan vektor kata keluaran, vs vektor kata yang diperoleh dengan menggabungkan vektor kata masukan dengan vektor kata keluaran. Dalam percobaan mereka, menggabungkan hasil secara signifikan lebih baik:

masukkan deskripsi gambar di sini

Video ceramah {2} merekomendasikan untuk rata-rata vektor kata masukan dengan vektor kata keluaran, tetapi tidak membandingkan terhadap gabungan vektor kata masukan dengan vektor kata keluaran.


Referensi:

Franck Dernoncourt
sumber