Jumlah optimal komponen dalam campuran Gaussian

10

Jadi, mendapatkan "ide" jumlah cluster optimal dalam k-means didokumentasikan dengan baik. Saya menemukan artikel tentang melakukan ini dalam campuran gaussian, tetapi tidak yakin saya yakin dengan itu, tidak memahaminya dengan baik. Apakah ada ... cara yang lebih lembut untuk melakukan ini?

classification k-means mixture unsupervised-learning JEquihua
sumber
4
Bisakah Anda mengutip artikel itu, atau paling tidak menguraikan metodologi yang diusulkannya? Sulit untuk datang dengan cara "lembut" untuk melakukan ini jika kita tidak tahu garis dasarnya :)
jbowman
1
Geoff McLachlan dan yang lainnya telah menulis buku tentang distribusi campuran. Saya yakin ini termasuk pendekatan untuk menentukan jumlah komponen dalam suatu campuran. Anda mungkin bisa melihat ke sana. Saya setuju dengan jbowman bahwa menghilangkan kebingungan Anda akan lebih baik jika Anda menunjukkan kepada kami apa yang membuat Anda bingung.
Michael R. Chernick
Perkiraan Jumlah Optimal Campuran Gaussian Berdasarkan K-means tambahan untuk Identifikasi Pembicara .... Adalah judulnya, gratis untuk diunduh. Ini pada dasarnya menambah jumlah cluster dengan 1 sampai Anda melihat bahwa dua cluster menjadi saling tergantung satu sama lain, sesuatu seperti itu. Terima kasih!
JEquihua
Mengapa tidak memilih jumlah komponen yang memaksimalkan perkiraan validasi silang dari kemungkinan? Ini mahal secara komputasi, tetapi validasi silang sulit dikalahkan dalam kebanyakan kasus untuk pemilihan model, kecuali ada sejumlah besar parameter yang perlu disetel.
Dikran Marsupial
Bisakah Anda jelaskan sedikit apa perkiraan lintas-validasi dari kemungkinan itu? Saya tidak tahu konsepnya. Terima kasih.
JEquihua

Jawaban:

5

Hanya beberapa ekstensi untuk komentar Dikran Marsupial (cross-validation). Gagasan utamanya adalah untuk membagi data Anda ke dalam beberapa set pelatihan dan validasi, mencoba berbagai komponen dan memilih yang terbaik berdasarkan pada pelatihan yang sesuai dan nilai kemungkinan validasi.

p(x|π,μ,Σ)=∑KπkN(x|μk,Σk)KπμΣK

masukkan deskripsi gambar di sini

Dalam contoh ini seharusnya jelas bahwa jumlah optimal komponen adalah sekitar 20. Ada video bagus tentang ini di Coursera, dan dari sanalah saya mendapatkan gambar di atas.

BIC=−2log⁡(L)+Klog⁡(n)
Ln
dontloo
sumber