Clustering: Haruskah saya menggunakan Jensen-Shannon Divergence atau kuadratnya?

15

Saya mengelompokkan distribusi probabilitas menggunakan algoritme Affinity Propagation , dan saya berencana untuk menggunakan Jensen-Shannon Divergence sebagai metrik jarak saya.

Apakah benar menggunakan JSD itu sendiri sebagai jarak, atau JSD kuadrat? Mengapa? Apa perbedaan yang dihasilkan dari memilih satu atau yang lain?

machine-learning clustering entropy distance-functions AlcubierreDrive
sumber

Jawaban:

20

Saya pikir itu tergantung pada bagaimana menggunakannya.

PQ

J(P,Q)=12(D(P∣∣R)+D(Q∣∣R))
R=12(P+Q)D(⋅∣∣⋅)

Sekarang, saya akan tergoda untuk menggunakan akar kuadrat dari Divergensi Jensen-Shannon karena itu adalah metrik , yaitu memenuhi semua sifat "intuitif" dari pengukuran jarak.

Untuk detail lebih lanjut tentang ini, lihat

Endres dan Schindelin, Metrik baru untuk distribusi probabilitas , IEEE Trans. pada Info. Engkau. , vol. 49, tidak. 3, Jul. 2003, hlm. 1858-1860.

Tentu saja, dalam beberapa hal, itu tergantung pada apa yang Anda butuhkan. Jika Anda menggunakannya untuk mengevaluasi beberapa ukuran berpasangan, maka setiap transformasi monoton JSD akan bekerja. Jika Anda mencari sesuatu yang paling dekat dengan "jarak kuadrat", maka JSD itu sendiri adalah jumlah yang analog.

Secara kebetulan, Anda mungkin juga tertarik dengan pertanyaan sebelumnya dan jawaban serta diskusi yang terkait.

kardinal
sumber
Keren, saya akan membaca "metrik baru untuk distribusi probabilitas" sesegera mungkin. Txh
ocram
Terima kasih! Saya tidak menyadari bahwa JSD sendiri sudah dianalogikan dengan dist ** 2
AlcubierreDrive
Terima kasih atas penjelasannya! Hanya pertanyaan singkat. Saya tahu J-Divergence simetris dalam hal itu J(P,Q) = J(Q,P). Saya membaca bahwa divergensi JS simetris dalam P dan Q. Apakah ini artinya JS(P,Q) = JS(Q,P)? Saya menanyakan ini karena saya menggunakan KLdivfungsi dari flexmixpaket di R. Untuk dua distribusi saya, keluaran matriks dari KLdiv tidak simetris. Saya mengharapkan JS untuk memperbaikinya tetapi output dari JS (dihitung menggunakan KL) tidak simetris.
Legenda
1
@ Legenda: Ya, divergensi JS simetris. Semoga itu mudah dilihat dari persamaan yang diberikan dalam jawaban. Pastikan Anda mengambil perbedaan KLP dan ukuran titik tengah dan Qdan ukuran titik tengah untuk masing-masing dari dua istilah. Secara terpisah, tidak akan simetris, tentu saja.
kardinal