Multi kelas LDA vs 2 kelas LDA

8

Masalah merancang multi-classifier menggunakan LDA dapat dinyatakan sebagai masalah 2 kelas (satu vs yang lainnya) atau masalah multi-kelas .

Mengapa dalam kasus-kasus tertentu multi-class LDA classifier out-melakukan 2 kelas LDA (satu vs yang lainnya) atau sebaliknya .

machine-learning classification pattern-recognition discriminant-analysis garak
sumber
Bisakah Anda menambahkan detail ke pertanyaan yang cukup Anda pesan. Contohnya. Dan apakah Anda mempertimbangkan di sini kedua tahap LDA - ekstraksi dan klasifikasi, - atau hanya klasifikasi?
ttnphns
baik, saya mencoba untuk memproyeksikan vektor 27 dimensi ke dimensi yang lebih rendah dan membandingkan vektor. Motifnya adalah merancang teknik klasifikasi sederhana untuk mengklasifikasikan sebaik mungkin.
garak
1
Kadang-kadang Anda mungkin menemukan data ketika klasifikasi dua kelas lebih akurat (misalnya, ketika satu kelas berjauhan, "outlier", dari yang lainnya, dekat satu sama lain. Tetapi, sebagai aturan, klasifikasi k-class harus berubah menjadi lebih baik. Pertama, kelas k memungkinkan sumbu yang lebih diskriminatif. Kedua, rumpun kelas k-1 umumnya tidak diharapkan untuk mengikuti distribusi normal multivariat tempat tahap klasifikasi LDA bergantung. Lihat jawaban JohnSmith.
ttnphns

Jawaban:

12

Saya pikir Multi-class LDA classifier selalu (well, dalam sebagian besar tugas praktis) lebih baik dari 2 LDA class. Dan saya akan mencoba menjelaskan mengapa.

Lihatlah contoh dataset: dataset sampel dengan tiga kelas

Anda memiliki tiga kelas di sini. Dan katakanlah Anda ingin membangun classifier satu-vs-lainnya dengan LDA untuk kelas biru.

Perkiraan rata-rata untuk kelas "biru" adalah nol, tetapi estimasi rata-rata untuk kelas "lain" adalah nol juga. Dan kovariansnya sama dengan definisi LDA. Itu berarti bahwa LDA akan merespons dengan label yang memiliki lebih banyak elemen. Dan itu tidak akan pernah mengembalikan kelas "biru" sama sekali!

Untuk LDA Multi-kelas, ia akan berhasil menemukan kelas yang tepat dengan sempurna.

Latar belakang tentang hal ini adalah bahwa campuran Gaussians bukan Gaussian lagi dalam banyak kasus. Jadi asumsi LDA ini gagal. Dan saya harus mengatakan itu benar-benar sulit untuk datang dengan contoh dataset di mana setiap kelas Gaussian, dan mereka masih Gaussian setelah kita bergabung dengan mereka.

Itu sebabnya saya sangat merekomendasikan untuk menggunakan LDA multi-kelas. Semoga ini bisa membantu!

Dmitry Laptev
sumber
1
Saya pikir apa yang telah ditunjukkan John dengan sangat baik di sini adalah bahwa LDA untuk dua kelas menggunakan satu baris untuk memisahkan kelas. Tetapi dalam contoh klasifikasi yang baik membutuhkan dua baris yang dilakukan dalam masalah tiga kelas.
Michael R. Chernick
@MichaelChernick, ya, tepatnya, itu adalah penjelasan dari sudut pandang lain, terima kasih atas komentar Anda!
Dmitry Laptev
terima kasih untuk jawaban cepat kalian! Namun saya telah mengalami beberapa hari yang lalu, sebuah kasus di mana Multi-Class LDA (akurasi 60%) berkinerja jauh lebih efisien daripada LDA 2 kelas (akurasi lebih dari 80%) dalam masalah klasifikasi 10 kelas.
garak
@MichaelChernick tetapi jika Anda menggunakan LDA sebagai metode proyeksi, Anda dapat memutuskan untuk menyimpan dua dimensi (dua vektor eigen dari nilai eigen terbesar) dan mendapatkan pemisahan yang Anda cari (menggunakan metode klasifikasi kNN alih-alih memisahkan pesawat), atau Apakah saya kehilangan sesuatu yang jelas?
Matthieu