Kapan Anda akan menggunakan PCA daripada LDA dalam klasifikasi?

10

Saya membaca artikel ini tentang perbedaan antara Analisis Komponen Utama dan Analisis Diskriminan Berganda (Analisis Diskriminan Linier), dan saya mencoba memahami mengapa Anda akan menggunakan PCA daripada MDA / LDA.

Penjelasannya dirangkum sebagai berikut:

secara kasar berbicara dalam PCA kami mencoba untuk menemukan sumbu dengan varian maksimum di mana data paling menyebar (dalam kelas, karena PCA memperlakukan seluruh data yang ditetapkan sebagai satu kelas), dan dalam MDA kami juga memaksimalkan penyebaran antar kelas.

Tidakkah Anda selalu ingin memaksimalkan varians dan memaksimalkan penyebaran antar kelas?

classification pca dimensionality-reduction discriminant-analysis chris
sumber
1
maaf, maksud saya adalah analisis multi diskriminan yang tampaknya juga disebut analisis Linear Diskriminan
chris
1
Anda harus mengklarifikasi pertanyaan Anda, karena sampai sekarang ini sepele: Anda harus memilih PCA daripada MDA ketika tidak ada kelas yang didiskriminasi dalam data Anda. Saya pikir Anda harus menentukan ini tentang klasifikasi dalam pertanyaan.
Firebug
1
LDA adalah istilah yang jauh lebih umum daripada MDA. Tidak perlu mengatakan "banyak linier", "linier" sudah cukup.
amoeba

Jawaban:

11

Anda melewatkan sesuatu yang lebih dalam: PCA bukan metode klasifikasi.

PCA dalam pembelajaran mesin diperlakukan sebagai metode rekayasa fitur. Ketika Anda menerapkan PCA ke data Anda, Anda menjamin tidak akan ada korelasi antara fitur yang dihasilkan. Banyak algoritma klasifikasi mendapat manfaat dari itu.

Anda harus selalu mengingat algoritma mungkin memiliki asumsi pada data, dan jika asumsi seperti itu tidak berlaku, mereka mungkin berkinerja buruk.

LDA harus menghitung inversi matriks kovarians untuk memproyeksikan data (periksa utas dan jawaban ini: Haruskah PCA dilakukan sebelum saya melakukan klasifikasi? Dan Apakah masuk akal untuk menggabungkan PCA dan LDA? ). Jika Anda memiliki sedikit data, ini tidak stabil, dan Anda mendapatkan proyeksi terlalu banyak ke titik data Anda, yaitu matriks kovarians dalam kelas tunggal. PCA biasanya digunakan untuk menghindari hal itu, mengurangi dimensi masalah.

Jadi jawabannya adalah Anda tidak pernah menggunakan PCA untuk melakukan klasifikasi, tetapi Anda dapat menggunakannya untuk mencoba meningkatkan kinerja LDA.

Pembakar
sumber
7

Sedangkan jawaban previos oleh Firebug benar, saya ingin menambahkan perspektif lain:

Pembelajaran tanpa pengawasan vs diawasi:

LDA sangat berguna untuk menemukan dimensi yang bertujuan memisahkan cluster, sehingga Anda harus tahu cluster sebelumnya. LDA tidak selalu merupakan penggolong, tetapi dapat digunakan sebagai satu. Dengan demikian LDA hanya dapat digunakan dalam pembelajaran yang diawasi

PCA adalah pendekatan umum untuk denoising dan pengurangan dimensi dan tidak memerlukan informasi lebih lanjut seperti label kelas dalam pembelajaran yang diawasi. Oleh karena itu dapat digunakan dalam pembelajaran tanpa pengawasan.

Nikolas Rieble
sumber
2
+1, terutama untuk LDA is not neccesarily a classifier. Seorang pembaca (OP, juga) juga direkomendasikan untuk membaca pertanyaan terkait ini: Bagaimana LDA, teknik klasifikasi, juga berfungsi sebagai teknik pengurangan dimensi seperti PCA .
ttnphns
dan jawaban di sini membandingkan keluaran dan plot LDA dan PCA sebagai redup. pengurangan.
ttnphns
(+1) LDA benar-benar teknik reduksi dimensi, generalisasi linear diskriminan Fisher, yang biasanya orang perlakukan sebagai kriteria klasifikasi.
Firebug
2

LDA digunakan untuk mengukir ruang multidimensi.

PCA digunakan untuk menghancurkan ruang multidimensi.

Sebagai contoh: objek 3D melemparkan bayangan 2D. PCA sering memungkinkan kita untuk menghancurkan ratusan dimensi spasial menjadi beberapa dimensi spasial yang lebih rendah sambil mempertahankan 70% - 90% dari informasi penting.

Bagaimana saya bisa melihat ukuran dan bentuk tangan Anda dari bayangannya. Saya tidak bisa memberi tahu Anda segalanya tentang bentuk tangan Anda. Tetapi dengan memiliki koleksi 3 atau 4 bayangan dari sudut yang diketahui optimal. Lalu aku bisa memberitahumu banyak hal tentang ukuran dan bentuk tangan.

Brad
sumber