Jenis kovarian yang berbeda untuk Model Campuran Gaussian

Saat mencoba Gaussian Mixture Models di sini , saya menemukan 4 jenis kovarian ini.

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

Saya sering mencari di Google untuk mencari rincian lebih lanjut tentang masing-masing jenis ini tetapi hanya menemukan deskripsi tingkat tinggi (seperti ini ).

Hargai jika seseorang dapat membantu saya memahami ini, atau setidaknya mengarahkan saya ke suatu tempat saya dapat membaca tentang ini.

Distribusi Gaussian sepenuhnya ditentukan oleh matriks kovariannya dan rerata (lokasi di luar angkasa). Matriks kovarian dari distribusi Gaussian menentukan arah dan panjang sumbu dari kontur kerapatan, yang semuanya adalah ellipsoid.

Keempat jenis model campuran ini dapat diilustrasikan secara umum dengan menggunakan case dua dimensi. Di masing-masing plot kontur dari kerapatan campuran ini, dua komponen terletak di dan dengan bobot masing-masing dan . Bobot yang berbeda akan menyebabkan set kontur terlihat sedikit berbeda bahkan ketika matriks kovariansnya sama, tetapi bentuk keseluruhan dari kontur individu masih akan serupa untuk matriks yang identik.$(0,0)$3 / 5 2 /$(4,5)$$3/5$$2/5$

Mengklik pada gambar akan menampilkan versi pada resolusi yang lebih tinggi.

NB Ini adalah plot dari campuran yang sebenarnya, bukan dari komponen individu. Karena komponen-komponennya dipisahkan dengan baik dan beratnya sebanding, kontur campuran sangat mirip dengan kontur komponen (kecuali pada level rendah di mana komponen-komponen tersebut dapat terdistorsi dan bergabung, seperti ditunjukkan di tengah plot "terikat" misalnya).

• Penuh berarti komponen dapat secara mandiri mengadopsi posisi dan bentuk apa pun.

• Terikat berarti mereka memiliki bentuk yang sama, tetapi bentuknya bisa apa saja.

• Diagonal berarti sumbu kontur berorientasi sepanjang sumbu koordinat, tetapi selain itu eksentrisitas dapat bervariasi antar komponen.

• Tied Diagonal adalah situasi "terikat" di mana sumbu kontur diorientasikan di sepanjang sumbu koordinat. (Saya telah menambahkan ini karena pada awalnya itu adalah bagaimana saya salah mengartikan "diagonal.")

• Bola adalah situasi "diagonal" dengan kontur lingkaran (bola dalam dimensi yang lebih tinggi, dari mana namanya).

Ini memperlihatkan gamut dari campuran yang paling umum ke jenis campuran yang sangat spesifik. Pembatasan (fussier) lainnya dimungkinkan, terutama dalam dimensi yang lebih tinggi di mana jumlah parameter tumbuh dengan cepat. (Matriks kovarians dalam dimensi dijelaskan oleh parameter independen.)n ( n + 1 ) /$n$$n(n+1)/2$