Regresi logistik vs LDA sebagai pengklasifikasi dua kelas

Saya mencoba untuk membungkus kepala saya di sekitar perbedaan statistik antara analisis diskriminan Linear dan regresi Logistik . Apakah pemahaman saya benar bahwa, untuk masalah klasifikasi dua kelas , LDA memprediksi dua fungsi kepadatan normal (satu untuk setiap kelas) yang menciptakan batas linier di mana mereka berpotongan, sedangkan regresi logistik hanya memprediksi fungsi log-aneh antara dua kelas, yang membuat batas tetapi tidak menganggap fungsi kerapatan untuk setiap kelas?

Kedengarannya bagi saya bahwa Anda benar. Regresi logistik memang tidak mengasumsikan bentuk spesifik kepadatan dalam ruang variabel prediktor, tetapi LDA. Berikut ini beberapa perbedaan antara kedua analisis tersebut.

Regresi Logistik Biner (BLR) vs Analisis Diskriminan Linier (dengan 2 kelompok: juga dikenal sebagai LDA Fisher):

• BLR : Berdasarkan estimasi kemungkinan maksimum. LDA : Berdasarkan estimasi kuadrat terkecil; setara dengan regresi linier dengan prediksi biner dan (koefisien adalah proporsional dan R-square = 1-Wilk lambda).

• BLR : Perkirakan probabilitas (dari keanggotaan grup) segera (yang diprediksi dan itu sendiri dianggap sebagai probabilitas, yang diamati) dan secara kondisional. LDA : memperkirakan probabilitas secara menengah (prediksi dan dipandang sebagai variabel kontinu binaan, diskriminan) melalui perangkat klasifikasi (seperti naif Bayes) yang menggunakan informasi kondisional dan marginal.

• BLR : Tidak terlalu mendesak untuk tingkat skala dan bentuk distribusi dalam prediktor. LDA : Predictirs adalah level interval yang diinginkan dengan distribusi normal multivariat.

• BLR : Tidak ada persyaratan tentang matriks kovarian dalam-kelompok dari para prediktor. LDA : Matriks kovarian dalam-kelompok harus identik dalam populasi.

• $n$$n$

• BLR : Tidak terlalu sensitif terhadap pencilan. LDA : Cukup sensitif terhadap pencilan.

• BLR : Metode yang lebih muda. LDA : Metode yang lebih lama.

• BLR : Biasanya disukai, karena kurang mendesak / lebih kuat. LDA : Dengan semua persyaratannya dipenuhi, sering diklasifikasikan lebih baik daripada BLR (efisiensi relatif asimptotik 3/2 kali lebih tinggi dari itu).

Biarkan saya menambahkan beberapa poin ke daftar bagus @ttnphns:

• Prediksi Bayes tentang probabilitas keanggotaan kelas posterior LDA mengikuti kurva logistik juga.
  [Efron, B. Efisiensi regresi logistik dibandingkan dengan analisis diskriminan normal, J Am Stat Assoc, 70, 892-898 (1975).]

• Sementara makalah itu menunjukkan bahwa efisiensi relatif LDA lebih unggul daripada LR jika asumsi LDA terpenuhi (Ref: kertas Efron di atas, poin terakhir @tthnps '), menurut Elemen Pembelajaran Statistik dalam prakteknya hampir tidak ada perbedaan.
  [Hastie, T. dan Tibshirani, R. dan Friedman, J. Elemen Pembelajaran Statistik; Penambangan data, Kesimpulan dan Prediksi Springer Verlag, New York, 2009]

• Efisiensi LDA yang sangat meningkat sebagian besar terjadi dalam kasus-kasus asimptotik di mana kesalahan absolut praktis dapat diabaikan.
  [Harrell, FE & Lee, KL Perbandingan diskriminasi analisis diskriminan dan regresi logistik di bawah normalitas multivariat, Biostatistik: Statistik dalam Biomedis, Kesehatan Masyarakat, dan Ilmu Lingkungan, 333-343 (1985).]

• Meskipun saya dalam praktiknya menghadapi situasi ukuran sampel kecil dimensi tinggi di mana LDA tampak superior (meskipun normalitas multivariat dan asumsi matriks kovarians yang sama secara nyata tidak terpenuhi).
  [ Beleites, C .; Geiger, K .; Kirsch, M.; Sobottka, SB; Schackert, G. & Salzer, R. Raman gradasi spektroskopi jaringan astrositoma: menggunakan informasi referensi lembut., Anal Bioanal Chem, 400, 2801-2816 (2011). DOI: 10.1007 / s00216-011-4985-4 ]

• Tetapi perhatikan bahwa dalam makalah kami LR mungkin bergumul dengan masalah yang arah dengan (dekat) keterpisahan sempurna dapat ditemukan. LDA di sisi lain mungkin tidak terlalu parah.

• Asumsi terkenal untuk LDA hanya diperlukan untuk membuktikan optimalitas. Jika mereka tidak terpenuhi, prosedurnya masih bisa menjadi heuristik yang baik.

• Perbedaan yang penting bagi saya dalam praktik karena masalah klasifikasi yang saya kerjakan kadang-kadang / sering ternyata sebenarnya tidak menjadi masalah klasifikasi yang jelas sama sekali: LR dapat dengan mudah dilakukan dengan data di mana referensi memiliki tingkat keanggotaan kelas menengah. Bagaimanapun, ini adalah teknik regresi .
  [lihat kertas di atas]

• Anda dapat mengatakan bahwa LR berkonsentrasi lebih dari LDA pada contoh di dekat batas kelas dan pada dasarnya mengabaikan kasus di "bagian belakang" dari distribusi.

• Ini juga menjelaskan mengapa itu kurang sensitif terhadap outlier (yaitu yang di sisi belakang) daripada LDA.

• (mesin dukungan vektor akan menjadi classifier yang menuju ke arah ini sampai akhir: di sini semuanya kecuali kasus-kasus di perbatasan diabaikan)