Penyematan kata adalah nama kolektif untuk sekumpulan pemodelan bahasa dan teknik pembelajaran fitur di NLP di mana kata-kata dipetakan ke vektor bilangan real dalam ruang berdimensi rendah, relatif terhadap ukuran kosa kata.
Di banyak perpustakaan jaringan saraf, ada 'lapisan embedding', seperti di Keras atau Lasagne . Saya tidak yakin saya mengerti fungsinya, meskipun membaca dokumentasi. Misalnya, dalam dokumentasi Keras tertulis: Ubah bilangan bulat positif (indeks) menjadi vektor padat ukuran tetap, misalnya....
Perlu memahami cara kerja lapisan 'Embedding' di perpustakaan Keras. Saya menjalankan kode berikut dengan Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array =...
Setelah melatih vektor kata dengan word2vec, apakah lebih baik untuk menormalkannya sebelum menggunakannya untuk beberapa aplikasi hilir? Yaitu apa pro / kontra dari menormalkan
Bagaimana cara saya menggunakan kata embedding untuk memetakan dokumen ke vektor fitur, cocok untuk digunakan dengan pembelajaran yang diawasi? Sebuah embedding kata memetakan setiap kata ke vektor , dimana adalah beberapa nomor yang tidak terlalu besar (misalnya, 500). Kata embeddings yang...
Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 2 tahun yang lalu . Saya menggunakan tanda sisipan untuk menjalankan hutan...
Saya terkesan dengan hasil dalam makalah ICML 2014 " Representasi Terdistribusi dari Kalimat dan Dokumen " oleh Le dan Mikolov. Teknik yang mereka gambarkan, disebut "vektor paragraf", mempelajari representasi paragraf / dokumen yang panjangnya tidak diawasi secara sewenang-wenang, berdasarkan...
Saya telah berusaha keras untuk memahami konsep pengambilan sampel negatif dalam konteks word2vec. Saya tidak dapat mencerna ide pengambilan sampel [negatif]. Misalnya dalam makalah Mikolov, harapan pengambilan sampel negatif dirumuskan sebagai catatanσ( ⟨ W , c ⟩ ) + k ⋅ EcN∼ P.D[ logσ( - ⟨ w ,...
Saya bertanya-tanya mengapa melewatkan-gram lebih baik untuk kata-kata yang jarang terjadi daripada CBOW di word2vec. Saya telah membaca klaim di https://code.google.com/p/word2vec/
Bagaimana layer embedding dilatih pada layer Keras Embedding? (katakanlah menggunakan tensorflow backend, artinya mirip dengan word2vec, glove atau fasttext) Anggaplah kita tidak menggunakan penyematan
Saya bertanya-tanya mengapa softmax hierarkis lebih baik untuk kata-kata yang jarang, sedangkan pengambilan sampel negatif lebih baik untuk kata-kata yang sering, dalam CBOW dan skip-gram model word2vec. Saya telah membaca klaim di https://code.google.com/p/word2vec/
Saya mengalami masalah dalam memahami model skip-gram dari algoritma Word2Vec. Dalam kata-kata kontinyu mudah untuk melihat bagaimana kata konteks dapat "cocok" di Neural Network, karena Anda pada dasarnya meratakannya setelah mengalikan masing-masing representasi pengodean satu-panas dengan...
Untuk tugas pemrosesan bahasa alami (NLP) seseorang sering menggunakan vektor word2vec sebagai embedding kata-kata. Namun, mungkin ada banyak kata yang tidak dikenal yang tidak ditangkap oleh vektor word2vec hanya karena kata-kata ini tidak cukup sering terlihat dalam data pelatihan (banyak...
Salah satu cara untuk menghasilkan embeddings kata adalah sebagai berikut ( mirror ): Dapatkan kopral, misalnya "Saya menikmati terbang. Saya suka NLP. Saya suka belajar dalam-dalam." Bangun kata cooccurrence matrix dari itu: Lakukan SVD pada , dan pertahankan kolom pertama...
Saya sangat baru menggunakan kata embeddings. Saya ingin memvisualisasikan bagaimana dokumen mencari setelah belajar. Saya membaca bahwa t-SNE adalah pendekatan untuk melakukannya. Saya memiliki 100 ribu dokumen dengan 250 dimensi sebagai ukuran penyematan. Ada beberapa paket yang tersedia...
Saya mencoba menanamkan sekitar 60 juta frasa ke dalam ruang vektor , lalu menghitung persamaan cosinus di antara mereka. Saya telah menggunakan sklearn's CountVectorizerdengan fungsi tokenizer yang dibuat khusus yang menghasilkan unigrams dan bigrams. Ternyata untuk mendapatkan representasi yang...
Saya mengalami kesulitan memahami kalimat ini: Arsitektur yang diusulkan pertama mirip dengan NNLM feedforward, di mana lapisan tersembunyi non-linear dihapus dan lapisan proyeksi dibagi untuk semua kata (bukan hanya matriks proyeksi); dengan demikian, semua kata diproyeksikan ke posisi yang...
Dalam CBOW dan skip-gram model word2vec, bagaimana cara memilih vektor kata dari (input word matrix) vs. memilih vektor kata dari (output word matrix) berdampak pada kualitas vektor kata yang