Apakah algoritma EM secara konsisten memperkirakan parameter dalam model Gaussian Mixture?

9

Saya sedang mempelajari model Gaussian Mixture dan muncul sendiri pertanyaan ini.

Misalkan data yang mendasari dihasilkan dari campuran distribusi Gaussian dan masing-masing memiliki vektor rata-rata μ kR p , di mana 1 k K dan masing-masing memiliki co-varian yang sama matriks Σ dan berasumsi ini Σ adalah sebuah matriks diagonal. Dan anggap rasio pencampuran adalah 1 / K , yaitu, masing-masing kelompok memiliki berat yang sama.KμkRp1kKΣΣ1/K

Jadi, dalam contoh yang ideal ini, satu-satunya pekerjaan adalah untuk memperkirakan vektor mean μ kR p , di mana 1 k K dan co-variance matriks Σ .KμkRp1kKΣ

Pertanyaan saya adalah: jika kita menggunakan algoritma EM, apakah kita dapat secara konsisten memperkirakan dan Σ , yaitu, ketika ukuran sampel n , akankah penaksir yang dihasilkan oleh algoritma EM mencapai nilai sebenarnya dari μ k dan Σ ?μkΣnμkΣ

KevinKim
sumber

Jawaban:

1

μk

1/KΣk

dcorney
sumber
Secara numerik saya bereksperimen, setidaknya untuk 2 kelas independen dari distribusi normal, EM menghasilkan penduga yang konsisten dari rata-rata kelas. Namun, K berarti tidak bisa melakukan itu, saya membuktikannya secara matematis
KevinKim
1
Bisakah Anda memberikan rincian lebih lanjut? Misalnya data apa yang Anda gunakan, bagaimana Anda menginisialisasi parameter dll.
dcorney
Setuju dengan @dcorney. Itu benar-benar tergantung pada nilai awal yang akan Anda pilih. Setidaknya dalam praktiknya pilihan nilai awal yang salah mengarah pada estimasi yang tidak konsisten (saya menggunakan paket mixtools R)
German Demidov