Saya tahu bahwa KL Divergence tidak simetris dan tidak dapat secara ketat dianggap sebagai metrik. Jika demikian, mengapa digunakan ketika JS Divergence memenuhi properti yang diperlukan untuk metrik?
Apakah ada skenario di mana KL divergence dapat digunakan tetapi tidak JS Divergence atau sebaliknya?
probability
distributions
kullback-leibler
metric
pengguna2761431
sumber
sumber
Jawaban:
Saya menemukan jawaban yang sangat matang pada Quora dan meletakkannya di sini untuk orang-orang yang mencarinya di sini:
sumber
Divergensi KL memiliki interpretasi teoritis informasi yang jelas dan terkenal; tetapi saya pertama kali mendengar bahwa simetriasi KL divergensi disebut JS divergence. Alasan bahwa JS-divergence tidak begitu sering digunakan adalah mungkin karena ia kurang terkenal dan tidak menawarkan properti yang harus dimiliki.
sumber