Saya mengalami kesulitan memperoleh rumus divergensi KL dengan asumsi dua distribusi normal multivariat. Saya sudah melakukan kasus univariat dengan cukup mudah. Namun, sudah cukup lama sejak saya mengambil statistik matematika, jadi saya mengalami kesulitan untuk memperluasnya ke kasus multivarian. Saya yakin saya hanya melewatkan sesuatu yang sederhana.
Inilah yang saya miliki ...
Misalkan dan adalah pdf dari distribusi normal dengan mean dan dan varians dan , masing-masing. Jarak Kullback-Leibler dari ke adalah:q μ 1 μ 2 Σ 1 Σ 2 q p
, yang untuk dua normals multivarian adalah:
Mengikuti logika yang sama dengan bukti ini , saya sampai di sini sebelum saya buntu:
Saya pikir saya harus menerapkan trik jejak , tetapi saya tidak yakin apa yang harus dilakukan setelah itu. Setiap petunjuk bermanfaat untuk mengembalikan saya ke jalur yang benar akan sangat dihargai!
Jawaban:
Dimulai dengan di mana Anda mulai dengan sedikit koreksi, kita bisa menulis
Perhatikan bahwa saya telah menggunakan beberapa properti dari Bagian 8.2 dari Matrix Cookbook .
sumber