Autoencoder variabel dengan model campuran Gaussian

Sebuah autoencoder variational (Vae) menyediakan cara belajar distribusi probabilitas yang berkaitan masukan representasi latennya . Secara khusus, encoder memetakan input ke distribusi pada . Encoder tipikal akan menampilkan parameter , mewakili distribusi Gaussian ; distribusi ini digunakan sebagai perkiraan kami untuk .$p(x,z)$$x$$z$$e$$x$$z$$(\mu,\sigma)=e(x)$$\mathcal{N}(\mu,\sigma)$$p(z|x)$

Adakah yang menganggap VAE di mana outputnya adalah model campuran Gaussian, bukan Gaussian? Apakah ini berguna? Apakah ada tugas di mana ini secara signifikan lebih efektif daripada distribusi Gaussian sederhana? Atau apakah itu memberikan sedikit manfaat?

Ya, sudah dilakukan. Makalah berikut mengimplementasikan sesuatu dari bentuk itu:

Pengelompokan Unsupervised mendalam dengan Autoencoder Variatif Campuran Gaussian . Nat Dilokthanakul, Pedro AM Mediano, Marta Garnelo, Matthew CH Lee, Hugh Salimbeni, Kai Arulkumaran, Murray Shanahan.

Mereka bereksperimen dengan menggunakan pendekatan ini untuk pengelompokan. Setiap Gaussian dalam campuran Gaussian sesuai dengan gugus yang berbeda. Karena campuran Gaussian berada dalam ruang laten ($z$), dan ada jaringan saraf yang menghubungkan $z$ untuk $x$, ini memungkinkan cluster non-sepele di ruang input ($x$).

Makalah itu juga menyebutkan posting blog berikut, yang bereksperimen dengan variasi berbeda pada arsitektur itu: http://ruishu.io/2016/12/25/gmvae/

Terima kasih kepada shimao karena menunjukkan ini.