Tiga versi analisis diskriminan: perbedaan dan cara menggunakannya

Adakah yang bisa menjelaskan perbedaan dan memberikan contoh spesifik bagaimana menggunakan ketiga analisis ini?

• LDA - Analisis Diskriminan Linier
• FDA - Analisis Diskriminan Fisher
• QDA - Analisis Diskriminan Kuadratik

Saya mencari di mana-mana, tetapi tidak dapat menemukan contoh nyata dengan nilai nyata untuk melihat bagaimana analisis ini digunakan dan data dihitung, hanya banyak rumus yang sulit dipahami tanpa contoh nyata. Ketika saya mencoba untuk memahami itu sulit untuk membedakan mana persamaan / formula milik LDA dan yang ke FDA.

Misalnya katakanlah ada data seperti itu:

x1 x2 class
1  2  a
1  3  a
2  3  a
3  3  a
1  0  b
2  1  b
2  2  b

Dan katakanlah beberapa data pengujian:

x1 x2
2  4
3  5
3  6

Jadi bagaimana cara menggunakan data tersebut dengan ketiga pendekatan ini? Akan lebih baik untuk melihat bagaimana menghitung semuanya dengan tangan, tidak menggunakan beberapa paket matematika yang menghitung semuanya di belakang layar.

PS Saya hanya menemukan tutorial ini: http://people.revoledu.com/kardi/tutorial/LDA/LDA.html#LDA . Ini menunjukkan cara menggunakan LDA.

"Analisis Diskriminan Fisher" hanyalah LDA dalam situasi 2 kelas. Ketika hanya ada 2 kelas perhitungan dengan tangan layak dan analisis langsung terkait dengan Regresi Berganda. LDA adalah perpanjangan langsung dari ide Fisher tentang situasi sejumlah kelas dan menggunakan perangkat aljabar matriks (seperti komposisi eigend) untuk menghitungnya. Jadi, istilah "Analisis Diskriminan Nelayan" dapat dilihat sebagai usang hari ini. "Analisis Diskriminan Linier" harus digunakan sebagai gantinya. Lihat juga . Analisis diskriminan dengan 2+ kelas (multi-kelas) adalah kanonik dengan algoritmanya (mengekstrak dicriminan sebagai variasi kanonik); istilah langka "Analisis Diskriminan Canonical"

Fisher menggunakan apa yang kemudian disebut "fungsi klasifikasi Fisher" untuk mengklasifikasikan objek setelah fungsi diskriminan dihitung. Saat ini, pendekatan Bayes yang lebih umum digunakan dalam prosedur LDA untuk mengklasifikasikan objek.

Untuk permintaan Anda untuk penjelasan tentang LDA, saya dapat mengirimkan jawaban ini kepada saya: ekstraksi dalam LDA , klasifikasi dalam LDA , LDA di antara prosedur terkait . Juga ini , ini , ini pertanyaan dan jawaban.

Sama seperti ANOVA membutuhkan asumsi varians yang sama, LDA memerlukan asumsi matriks varians-kovarians yang sama (antara variabel input) dari kelas. Asumsi ini penting untuk tahap klasifikasi analisis. Jika matriks secara substansial berbeda, pengamatan akan cenderung ditugaskan ke kelas di mana variabilitas lebih besar. Untuk mengatasi masalah tersebut, QDA ditemukan. QDA adalah modifikasi dari LDA yang memungkinkan heterogenitas matriks kovarian kelas di atas.

Jika Anda memiliki heterogenitas (seperti yang terdeteksi misalnya dengan uji M Box) dan Anda tidak memiliki QDA di tangan, Anda masih dapat menggunakan LDA dalam rezim menggunakan matriks kovarians individu (bukan matriks gabungan) dari diskriminan di klasifikasi . Ini sebagian memecahkan masalah, meskipun kurang efektif daripada di QDA, karena - seperti yang baru saja ditunjukkan - ini adalah matriks antara diskriminan dan bukan antara variabel asli (yang matriksnya berbeda).

Biarkan saya menganalisis data contoh Anda sendiri.

Membalas @ zyxue dan komentar

LDA adalah apa yang Anda tetapkan FDA dalam jawaban Anda. LDA pertama mengekstraksi konstruksi linier (disebut diskriminan) yang memaksimalkan antara dalam pemisahan, dan kemudian menggunakan mereka untuk melakukan klasifikasi (gaussian). Jika (seperti yang Anda katakan) LDA tidak terikat dengan tugas untuk mengekstraksi LDA diskriminan tampaknya hanya menjadi penggolong gaussian, tidak ada nama "LDA" yang diperlukan sama sekali.

$S_w$$S_w$Begitu pula kovarian-kovarian dalam kelas itu sama, identitas; hak untuk menggunakannya menjadi mutlak.)

Gaussian classifier (tahap kedua LDA) menggunakan aturan Bayes untuk menetapkan pengamatan ke kelas oleh diskriminan. Hasil yang sama dapat dicapai melalui apa yang disebut fungsi klasifikasi linier Fisher yang memanfaatkan fitur asli secara langsung. Namun, pendekatan Bayes berdasarkan diskriminasi agak sedikit umum karena akan memungkinkan untuk menggunakan matriks kovarian diskriminan kelas yang terpisah juga, selain cara default untuk menggunakan satu, yang dikumpulkan. Juga, itu akan memungkinkan untuk mendasarkan klasifikasi pada subset dari diskriminan.

Ketika hanya ada dua kelas, kedua tahap LDA dapat dijelaskan bersama dalam satu pass tunggal karena "ekstraksi laten" dan "klasifikasi pengamatan" mengurangi kemudian ke tugas yang sama.

Saya merasa sulit untuk setuju bahwa FDA adalah LDA untuk dua kelas seperti yang disarankan oleh @ttnphns.

Saya merekomendasikan dua ceramah yang sangat informatif dan indah tentang topik ini oleh Profesor Ali Ghodsi:

1. LDA & QDA . Selain itu, halaman 108 buku The Elements of Statistics Learning ( pdf ) memiliki deskripsi LDA yang konsisten dengan kuliah.
2. FDA

Bagi saya, LDA dan QDA sama karena keduanya teknik klasifikasi dengan asumsi Gaussian. Perbedaan utama antara keduanya adalah bahwa LDA mengasumsikan matriks fitur kovarians dari kedua kelas adalah sama, yang menghasilkan batas keputusan linier. Sebaliknya, QDA kurang ketat dan memungkinkan matriks kovarians fitur yang berbeda untuk kelas yang berbeda, yang mengarah ke batas keputusan kuadratik. Lihat gambar berikut dari scikit-pelajari untuk ide bagaimana batas keputusan kuadrat terlihat.

Beberapa komentar tentang sub-plot :

• Baris atas: ketika matriks kovarians memang sama dalam data, LDA dan QDA mengarah ke batas keputusan yang sama.
• Baris bawah: ketika matriks kovarians berbeda, LDA mengarah ke kinerja yang buruk karena asumsinya menjadi tidak valid, sementara QDA melakukan klasifikasi jauh lebih baik.

Di sisi lain, FDA adalah spesies yang sangat berbeda, tidak ada hubungannya dengan asumsi Gaussion. Apa yang coba dilakukan FDA adalah menemukan transformasi linear untuk memaksimalkan jarak rata-rata antar kelas sambil meminimalkan varians dalam kelas . Kuliah kedua menjelaskan ide ini dengan indah. Berbeda dengan LDA / QDA, FDA tidak melakukan klasifikasi, meskipun fitur yang diperoleh setelah transformasi ditemukan oleh FDA dapat digunakan untuk klasifikasi, misalnya menggunakan LDA / QDA, atau SVM atau lainnya.