GAN (jaringan permusuhan generatif) mungkin untuk teks juga?

14

Apakah GAN - jaringan permusuhan generatif - baik hanya untuk gambar, atau dapat digunakan untuk teks juga?

Seperti, latih jaringan untuk menghasilkan teks yang bermakna dari ringkasan.

UPD - kutipan dari penemu GAN Ian Goodfellow.

GAN belum diterapkan ke NLP karena GAN hanya didefinisikan untuk data bernilai riil. ( 2016 ) sumber

Ini bukan ide yang cacat secara mendasar. Itu harus mungkin untuk melakukan setidaknya salah satu berikut ... (2017) sumber

gan J. Doe
sumber
2
Kutipan yang Anda kutip adalah dari Januari 2016, jadi tidak terlalu terkini. Berikut jawaban yang lebih baru (Desember 2016) juga oleh Ian Goodfellow tentang topik yang sama, di mana ia menyebutkan beberapa cara menggunakan GAN dengan teks.
ncasas

Jawaban:

17

Ya, GAN dapat digunakan untuk teks. Namun, ada masalah dalam kombinasi bagaimana GAN bekerja dan bagaimana teks biasanya dihasilkan oleh jaringan saraf:

  • GAN bekerja dengan menyebarkan gradien melalui komposisi Generator dan Diskriminator.
  • Teks biasanya dihasilkan dengan memiliki lapisan softmax akhir di atas ruang token, yaitu, output dari jaringan biasanya probabilitas menghasilkan setiap token (yaitu unit stokastik diskrit).

2 hal ini tidak bekerja dengan baik bersama-sama sendiri, karena Anda tidak dapat menyebarkan gradien melalui unit stokastik diskrit. Ada 2 pendekatan utama untuk menangani hal ini: algoritma REINFORCE dan reparameterisasi Gumbel-Softmax (juga dikenal sebagai distribusi Beton ). Mempertimbangkan bahwa REINFORCE diketahui memiliki varian tinggi sehingga Anda membutuhkan data dalam jumlah besar untuk mendapatkan estimasi gradien yang baik.

Sebagai contoh REINFORCE untuk GAN tekstual, Anda dapat memeriksa artikel SeqGAN . Contoh Gumbel-Softmax Anda dapat memeriksa artikel ini .

Pilihan lain yang sama sekali berbeda adalah tidak memiliki unit stokastik diskrit sebagai output dari generator (misalnya menghasilkan token secara deterministik dalam ruang tertanam), sehingga menghilangkan masalah asli dari backpropagating melalui mereka.

ncasas
sumber
3

Bahkan ada penelitian yang lebih spesifik tentang topik ini:

Generator terlatih mampu menghasilkan kalimat dengan tingkat tata bahasa dan logika tertentu.

Xuerong Xiao, "Pembuatan Teks menggunakan Pelatihan Adversarial Generatif"

Pertanyaan ini berkaitan dengan pertanyaan ini: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

J. Doe
sumber
1
Tampaknya pertanyaan ini dihapus, bisakah Anda memberikan detail linguistics.stackexchange.com/questions/26448/…
Shakti
0

Ya, GAN sekarang dapat digunakan untuk data diskrit juga. Contoh pertama dari intuisi ini muncul ketika Wasserstein GANs (WGAN) muncul. Ian Goodfellow membahas pendekatan Penguatan Pembelajaran untuk masalah ini dalam Konferensi NIPS 2016 Juga, Artikel ini membahas kemajuan dalam GAN sehubungan dengan data diskrit.

vignesh_md
sumber