Apakah ada algoritma pengelompokan berbasis non-jarak?

14

Tampaknya untuk K-means dan algoritma terkait lainnya, pengelompokan didasarkan pada penghitungan jarak antara titik. Apakah ada yang berfungsi tanpanya?

machine-learning clustering data-mining k-means pengguna154510
sumber

2

Apa tepatnya yang Anda maksud dengan "pengelompokan" tanpa cara untuk mengukur kesamaan atau "kedekatan" poin?

Whuber

2

@ Jawaban Tim di bawah ini sangat bagus. Anda mungkin ingin mempertimbangkan untuk meningkatkan & / atau menerimanya , jika itu telah membantu Anda; itu cara yang bagus untuk mengucapkan 'terima kasih'. Memperluas idenya, ada analisis kelas laten , yang menerapkan pendekatan serupa dengan data kategorikal. Pendekatan non-parametrik untuk FMM dapat digunakan melalui ketinggian estimasi kepadatan kernel multivarian. Lihat Mengelompokkan melalui Estimasi Kepadatan Nonparametrik: Paket R pdfCluster ( pdf ) untuk lebih lanjut.

gung - Reinstate Monica

25

Salah satu contoh dari metode tersebut adalah Model Campuran Hingga (misalnya di sini atau di sini ) yang digunakan untuk pengelompokan. Dalam FMM Anda mempertimbangkan distribusi ( ) dari variabel Anda sebagai campuran distribusi ( ): $f$ $X$ $K$ $f_1,...,f_k$

f (x, ϑ) = \sum_{k = 1}^{K} π_{k} f_{k} (x, ϑ_{k})

$f(x, \vartheta) = \sum^K_{k=1} \pi_k f_k(x, \vartheta_k)$

di mana adalah vektor parameter dan adalah proporsi 'th distribusi dalam campuran dan adalah parameter (atau parameter) dari distribusi. $\vartheta$ $\vartheta = (\pi', \vartheta_1', ..., \vartheta_k')'$ $\pi_k$ $k$ $\vartheta_k$ $f_k$

Kasus khusus untuk data diskrit adalah Analisis Kelas Laten (misalnya di sini ) didefinisikan sebagai:

P (x, k) = P (k) P (x | k)

$P(x, k) = P(k) P(x|k)$

di mana adalah probabilitas mengamati kelas laten (yaitu ), adalah probabilitas mengamati nilai dan adalah probabilitas berada di kelas . $P(k)$ $k$ $\pi_k$ $P(x)$ $x$ $P(x|k)$ $x$ $k$

Biasanya untuk kedua algoritma FMM dan LCA EM digunakan untuk estimasi, tetapi pendekatan Bayesian juga mungkin, tetapi sedikit lebih menuntut karena masalah seperti identifikasi model dan penggantian label (misalnya blog Xi'an ).

Jadi tidak ada ukuran jarak melainkan model statistik yang mendefinisikan struktur (distribusi) data Anda. Karena itu nama lain dari metode ini adalah "model-based clustering".

Periksa dua buku di FMM:

McLachlan, G. & Peel, D. (2000). Model Campuran Hingga. John Wiley & Sons.
Frühwirth-Schnatter, S. (2006). Model Campuran Hingga dan Markov. Peloncat.

Salah satu yang paling paket pengelompokan populer yang menggunakan FMM adalah mclust(cek di sini atau di sini ) yang diimplementasikan dalam R . Namun, FMM yang lebih rumit juga dimungkinkan, periksa contoh flexmixpaket dan dokumentasinya . Untuk LCA ada paket R poLCA .

Tim
sumber

Apakah Anda memiliki pemahaman yang baik tentang apa yang mungkin terjadi dengan berbagai kasus penggunaan?

shadowtalker

Seperti pada, "kapan saya harus menggunakan ini alih-alih, katakanlah, mempartisi di sekitar medoid?" Jawaban yang sangat bagus

shadowtalker

1

@caveman mencatat itu hanya konvensi notasi. Itu adalah vektor vektor, itu saja.

Tim

1

@caveman ada

yang berbeda distribusi

yang dalam campuran, masing-masing dengan parameter mereka sendiri (itu sebabnya kita memiliki vektor parameter).

k

$k$

f_{1}, . . ., f_{k}

$f_1,...,f_k$

Tim

1

@caveman kasus yang paling umum adalah Anda memiliki

misalnya distribusi normal, dengan cara dan sd yang berbeda. Tetapi mereka dapat berbeda, lihat contoh 3.1 di cran.r-project.org/web/packages/flexmix/vignettes/… yang menunjukkan campuran dua model regresi yang berbeda.

k

$k$

Tim

7

$\sim$

Ada banyak pendekatan pengelompokan berbasis grid . Mereka tidak menghitung jarak karena itu sering menghasilkan runtime kuadratik. Sebagai gantinya, mereka mempartisi data dan menggabungkannya ke dalam sel kotak. Tetapi intuisi di balik pendekatan semacam itu biasanya sangat erat kaitannya dengan jarak.

Ada sejumlah algoritma pengelompokan untuk data kategorikal seperti COOLCAT dan STUCCO. Jarak tidak mudah digunakan dengan data seperti itu (pengodean satu-panas adalah peretasan, dan tidak menghasilkan jarak yang sangat berarti). Tapi saya belum pernah mendengar ada yang menggunakan algoritma ini ...

Ada pendekatan pengelompokan untuk grafik. Tapi mereka mengurangi ke masalah grafik klasik seperti klik atau temuan dekat-klik dan pewarnaan grafik, atau mereka terkait erat dengan pengelompokan berbasis jarak (jika Anda memiliki grafik berbobot).

Pengelompokan berbasis kepadatan seperti DBSCAN memiliki nama yang berbeda, dan tidak berfokus pada meminimalkan jarak; tetapi "kepadatan" biasanya ditentukan sehubungan dengan jarak, jadi secara teknis algoritma ini berbasis jarak atau berbasis jaringan.

Bagian penting dari pertanyaan Anda yang Anda tinggalkan adalah apa data Anda ?

Memiliki QUIT - Anony-Mousse
sumber

1

+1: Saya menghargai bahwa Anda menunjukkan bagaimana algoritma pengelompokan menggunakan beberapa rasa "jarak" atau "kesamaan" yang tersirat dan umum, dan Anda melakukannya sambil menawarkan survei dari banyak algoritma semacam itu.

whuber

Saya pikir dengan "berbasis jarak" yang ia maksud adalah metrik kesamaan, yang akan mencakup varians.

id1

1

Mengapa varians menjadi metrik kesamaan? Ini terkait dengan jarak Euclidean persegi; tapi tidak setara dengan jarak arbitrer s .

Memiliki QUIT - Anony-Mousse

2

Selain jawaban yang bagus sebelumnya, saya sarankan mempertimbangkan model campuran Dirichlet dan Bayesian model proses Dirichlet hirarki . Untuk tinjauan umum yang agak komprehensif dan umum tentang pendekatan dan metode untuk menentukan jumlah cluster yang optimal , silakan lihat jawaban yang sangat baik ini di StackOverflow : /programming//a/15376462/2872891 .

Aleksandr Blekh
sumber

2

Pendekatan yang murni diskriminatif adalah "maksimalisasi informasi yang diatur" oleh Gomes et al . Tidak ada kesamaan / jarak yang terlibat di dalamnya.

Idenya adalah untuk memiliki model seperti regresi logistik yang menempatkan poin ke dalam sampah. Tetapi alih-alih melatihnya untuk memaksimalkan beberapa bentuk log-kemungkinan label kelas, fungsi obyektif adalah yang menempatkan poin ke dalam kelompok yang berbeda.

$\lambda$ digunakan. Itu bermuara pada varian kebalikan dari Gaussian sebelum bobot.

Ekstensi ke metode kernel atau jaringan saraf untuk pengelompokan non-linear sangat mudah.

bayerj
sumber

Apakah ada algoritma pengelompokan berbasis non-jarak?

Jawaban: