Kerugian KL dengan unit Gaussian

Saya telah mengimplementasikan VAE dan saya perhatikan dua implementasi online berbeda dari divergensi KL gaussian univariat yang disederhanakan. Perbedaan asli sebagai per sini adalah Jika kita menganggap kami sebelumnya adalah unit gaussian yaituμ2=0danσ2=1, menyederhanakan ini ke KLloss=-log(σ1)+σ 2 1 +μ 2

$$KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2}$$ $\mu_2=0$$\sigma_2=1$ KLloss=- $$KL_{loss}=-\log(\sigma_1)+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2}$$ Dan di sinilah letak kebingungan saya. Walaupun saya telah menemukan beberapa repositori github yang tidak jelas dengan implementasi di atas, yang lebih umum saya temukan adalah: $$KL_{loss}=-\frac{1}{2}(2\log(\sigma_1)-\sigma_1^2-\mu_1^2+1)$$

Misalnya dalamtutorial Keras autoencoderresmi. Pertanyaan saya kemudian, apa yang saya lewatkan di antara keduanya? Perbedaan utama adalah menjatuhkan faktor 2 pada istilah log dan tidak mengkuadratkan varians. Secara analitis saya telah menggunakan yang terakhir dengan sukses, untuk apa nilainya. Terima kasih sebelumnya atas bantuannya!

$$=-\frac{1}{2}(\log(\sigma_1)-\sigma_1-\mu^2_1+1)$$

$\sigma_1$$\sigma_1^2$$\log(\sigma_1) - \sigma_1 \rightarrow 2\log(\sigma_1) - \sigma_1^2$

Kedua formulasi itu setara dan tujuannya tidak berubah.

$\Sigma$$\sigma^2$

Di sini Anda dapat menemukan derivasi divergensi KL untuk distribusi normal multivarian: Turunkan kehilangan divergensi KL untuk VAEs