Teknik reduksi dimensi untuk memaksimalkan pemisahan kluster yang diketahui?

Jadi katakanlah saya memiliki banyak titik data di R ^ n, di mana n cukup besar (seperti, 50). Saya tahu data ini terbagi dalam 3 kelompok, dan saya tahu bagian mana dari setiap titik data yang menjadi bagiannya. Yang ingin saya lakukan adalah memvisualisasikan cluster ini dalam 2D ​​sedemikian rupa untuk memaksimalkan pemisahan visual antara-cluster yang saya lihat, dengan tujuan untuk membuktikan bahwa cluster mudah dipisahkan berdasarkan lokasi titik data dalam R ^ n sendirian.

Cara saya sudah melakukan ini sampai sekarang melibatkan melakukan transformasi PCA pada titik data dan kemudian memvisualisasikan pasangan PC secara acak sampai saya menemukan satu di mana cluster tampaknya cukup bersih dipisahkan. Pendekatan ini tampaknya cukup ad hoc, dan sepertinya harus ada cara mudah untuk menemukan rotasi PCA-style data yang, bukannya memaksimalkan varians keseluruhan, memaksimalkan pemisahan antar-cluster.

Apakah ada teknik standar di luar sana yang melakukan ini? Jika tidak, ada ide tentang cara membuat transformasi seperti itu?

"Perputaran gaya PCA dari data yang, bukannya memaksimalkan varians keseluruhan, memaksimalkan pemisahan antar klaster". Analisis diskriminan adalah teknik yang persis seperti itu. Komponen utama memaksimalkan varians di sepanjang itu. Fungsi diskriminan memaksimalkan rasio antara-cluster-varians / pooled-dalam-cluster-variance di sepanjang itu.

Ada dua metode yang muncul di pikiran saya yang mungkin Anda tertarik. Yang pertama adalah menggunakan cluster yang dikenal dan disebut 'Analisis komponen lingkungan' oleh Goldberger et al .

Idenya adalah Anda belajar pemetaan (misalnya affine) dari ruang dimensi yang lebih tinggi ke ruang yang dapat divisualisasikan. (mis. ). Pemetaan ini diperkirakan dengan memaksimalkan jumlah rata-rata klasifikasi yang benar jika variasi klasifikasi tetangga terdekat k-digunakan. Ada beberapa hasil mengesankan yang diperoleh:$A: \mathbb{R}^n \mapsto \mathbb{R}^2$

Yang lainnya adalah tSNE , yang mempelajari pemetaan (mis$A: \mathbb{R}^n \mapsto \mathbb{R}^2$). Pemetaan ini tidak memiliki kendala, tetapi kerugian dioptimalkan (tidak tergantung pada beberapa parametrization, tetapi dengan poin baru di$\mathbb{R}^2$itu sendiri) adalah bahwa ruang baru mencerminkan jarak yang mirip dengan ruang asli. Serupa agak rumit di sini, didasarkan pada asumsi distribusi tertentu dari titik-titik dalam ruang dan sesuai KL-divergensi.

Untuk yang terakhir, ada kode matlab yang dapat Anda temukan di tautan yang diberikan. Berikut ini visualisasi dataset MNIST:

Anda mungkin ingin melihat makalah ini:

G. Sanguinetti, Pengurangan dimensi dari kumpulan data yang dikelompokkan, IEEE Trans. Analisis Pola dan Kecerdasan Mesin (PAMI) 30 (3), 535-540 (2008) (www)

Yang menggambarkan versi analisis diskriminan linier tanpa pengawasan, saya telah melihat beberapa demonstrasi tentang ini dan sepertinya alat yang sangat berguna untuk dimiliki dalam kotak peralatan.

Jika Anda sudah tahu kelas mana yang dimiliki masing-masing sampel, maka (seperti yang disarankan ttnphns) Anda ingin Analisis Diskriminan Linier, buku Andrew Webb tentang pengenalan pola statistik adalah buku referensi yang bagus untuk hal semacam itu.

Artikel "A Unified Approach to PCA, PLS, MLR dan CCA" (oleh M Borga et al) memberikan deskripsi yang ringkas tentang berbagai jenis metode proyeksi linear termasuk PCA dan LDA.

Kotak Kuadrat Sebagian akan melakukan apa yang Anda inginkan. Pustaka "pls" di R adalah apa yang secara tradisional saya gunakan. Berikut ini adalah contoh yang membuat 3 grup dengan 50 poin, merakitnya menjadi bingkai data dengan label grup, dan menjalankan PLS pada mereka:

library(MASS)
library(pls)

pts1 = mvrnorm(50,c(3,0,3),diag(c(1,1,1)))
pts2 = mvrnorm(50,c(-3,0,3),diag(c(1,1,1)))
pts3 = mvrnorm(50,c(3,3,-3),diag(c(1,1,1)))
pts = as.data.frame(rbind(pts1,pts2,pts3))

pts$labels = c(rep(1,50),rep(2,50),rep(3,50))

plsresult = plsr(labels~.,ncomp=2,data=pts)
plot(plsresult$scores,col=pts$labels)