Apakah ada jarak probabilitas yang mempertahankan semua properti metrik?

13

Dalam mempelajari jarak Kullback-Leibler, ada dua hal yang kita pelajari dengan sangat cepat adalah bahwa itu tidak menghormati baik ketidaksetaraan segitiga maupun simetri, sifat-sifat yang diperlukan dari metrik.

Pertanyaan saya adalah apakah ada metrik fungsi kepadatan probabilitas yang memenuhi semua batasan metrik .

distributions distance metric Jorge Leitao
sumber
Fokus pada kepadatan probabilitas adalah fokus pada objek yang "salah". Adapun metrik, ada yang "klasik", misalnya, Lévy (dan metrik Ky Fan terkait pada variabel acak), Wasserstein bersama yang lebih dekat semangatnya dengan KL, misalnya, divergensi Jensen-Shannon . Meskipun sebagian besar diabaikan secara historis, perhatikan bahwa dalam kertas KL asli , perbedaan KL memang simetris (meskipun masih bukan metrik).
kardinal
1
@ cardinal, well, saya tidak begitu banyak di lapangan, bisakah Anda menyarankan objek "benar"?
Jorge Leitao
2
JC: Maaf, kotak komentar menjadi terlalu kecil untuk semua yang saya coba muat di sana. Saya harus menjelaskan. Fungsi distribusi kumulatif ternyata menjadi objek studi yang lebih umum dan alami. :-)
kardinal
@ kardinal mengapa? ;)
Jorge Leitao

Jawaban:

19

L2

John Jiang
sumber
2
Itu adalah makalah yang bagus - terutama gambar 1. Saya menyimpan salinannya untuk referensi di masa mendatang.
Pat
1

Ada beberapa modifikasi pada divergensi KL yang membuatnya memperoleh beberapa properti metrik (meskipun tidak semua).

Sebagai contoh, divergensi Jeffrey memodifikasi divergensi KL untuk menjadikannya simetris.

Ada beberapa kasus khusus lihat [1]: "Sayangnya, langkah-langkah tradisional berdasarkan divergensi Kullback-Leibler (KL) dan jarak Bhattacharyya tidak memenuhi semua aksioma metrik yang diperlukan untuk banyak algoritma. Dalam makalah ini kami mengusulkan modifikasi untuk KL divergensi dan jarak Bhattacharyya, untuk kepadatan Gaussian multivariat, yang mengubah dua ukuran menjadi metrik jarak. "

[1] K. Abou-Moustafa dan F. Ferrie, "Catatan tentang Properti Metrik untuk Beberapa Tindakan Perbedaan: Kasus Gaussian," JMLR: Prosiding Lokakarya dan Konferensi 25: 1–15, 2012.

pengguna29652
sumber