Mengapa Python scikit-learn LDA tidak bekerja dengan benar dan bagaimana cara menghitung LDA melalui SVD?

Saya menggunakan Linear Discriminant Analysis (LDA) dari scikit-learnperpustakaan pembelajaran mesin (Python) untuk pengurangan dimensi dan sedikit ingin tahu tentang hasilnya. Sekarang saya bertanya-tanya apa yang dilakukan LDA scikit-learnsehingga hasilnya terlihat berbeda dari, misalnya, pendekatan manual atau LDA yang dilakukan di R. Akan lebih bagus jika seseorang bisa memberi saya wawasan di sini.

Apa yang pada dasarnya paling memprihatinkan adalah bahwa scikit-plotmenunjukkan korelasi antara dua variabel di mana harus ada korelasi 0.

Untuk tes, saya menggunakan dataset Iris dan 2 diskriminan linier pertama terlihat seperti ini:

IMG-1. LDA melalui scikit-learn

Ini pada dasarnya konsisten dengan hasil yang saya temukan di dokumentasi scikit-learning di sini.

Sekarang, saya melalui LDA langkah demi langkah dan mendapat proyeksi yang berbeda. Saya mencoba berbagai pendekatan untuk mencari tahu apa yang sedang terjadi:

IMG-2. LDA pada data mentah (tidak ada pemusatan, tidak ada standardisasi)

Dan di sini akan menjadi pendekatan langkah-demi-langkah jika saya menstandarkan (z-skor normalisasi; varian unit) data terlebih dahulu. Saya melakukan hal yang sama hanya dengan pemusatan-kejam saja, yang seharusnya mengarah pada gambar proyeksi relatif yang sama (dan memang memang demikian).

IMG-3. Step-by-step LDA setelah mean-centering, atau standardisasi

IMG-4. LDA dalam R (pengaturan default)

LDA di IMG-3 di mana saya memusatkan data (yang akan menjadi pendekatan yang disukai) terlihat juga persis sama dengan yang saya temukan di Post oleh seseorang yang melakukan LDA di R

Kode untuk referensi

Saya tidak ingin menempelkan semua kode di sini, tetapi saya telah mengunggahnya sebagai notebook IPython di sini dipecah menjadi beberapa langkah yang saya gunakan (lihat di bawah) untuk proyeksi LDA.

1. Langkah 1: Menghitung vektor rata-rata d-dimensi $$\mathbf m_i = \frac{1}{n_i} \sum\limits_{\mathbf x \in D_i}^n \; \mathbf x_k$$

2. Langkah 2: Menghitung Matriks Sebar

   2.1 dalam kelas scatter matrix dihitung dengan persamaan berikut: S W = c Σ i = 1 S i = c Σ i = 1 n Σ x ∈ D i ( x - m i$S_W$
   

   $$S_W = \sum\limits_{i=1}^{c} S_i = \sum\limits_{i=1}^{c} \sum\limits_{\mathbf x \in D_i}^n (\mathbf x - \mathbf m_i)\;(\mathbf x - \mathbf m_i)^T$$

   2.2 antara kelas scatter matrix dihitung dengan persamaan berikut: S B = c Σ i = 1 n i ( m i - m ) ( m i - m ) T di mana m adalah mean keseluruhan.$S_B$
   

   $$S_B = \sum\limits_{i=1}^{c} n_i (\mathbf m_i - \mathbf m) (\mathbf m_i - \mathbf m)^T$$ $\mathbf m$

3. Langkah 3. Memecahkan masalah nilai eigen umum untuk matriks $S_{W}^{-1}S_B$

   3.1. Menyortir vektor eigen dengan menurunkan nilai eigen

   3.2. Memilih k vektor eigen dengan nilai eigen terbesar. Menggabungkan dua vektor eigen dengan nilai eigen tertinggi untuk membangun kami berdimensi vektor eigen matriks $d \times k$$\mathbf W$

4. Langkah 5: Mengubah sampel ke subruang baru

   $$\mathbf y = \mathbf W^T \times \mathbf x.$$

Pembaruan: Berkat diskusi ini, scikit-learntelah diperbarui dan berfungsi dengan benar sekarang. Kode sumber LDA-nya dapat ditemukan di sini . Masalah aslinya adalah karena bug kecil (lihat diskusi github ini ) dan jawaban saya sebenarnya tidak menunjuk dengan benar (permintaan maaf atas kebingungan yang disebabkan). Karena semua itu tidak masalah lagi (bug diperbaiki), saya mengedit jawaban saya untuk fokus pada bagaimana LDA dapat diselesaikan melalui SVD, yang merupakan algoritma default di scikit-learn.

$\boldsymbol \Sigma_W$$\boldsymbol \Sigma_B$$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$

1. $\boldsymbol \Sigma_W^{-1/2}$

   Perhatikan bahwa jika Anda memiliki dekomposisi eigen $\boldsymbol \Sigma_W = \mathbf{U}\mathbf{S}\mathbf{U}^\top$$\boldsymbol \Sigma_W^{-1/2}=\mathbf{U}\mathbf{S}^{-1/2}\mathbf{U}^\top$$\mathbf{X}_W = \mathbf{U} \mathbf{L} \mathbf{V}^\top \Rightarrow \boldsymbol\Sigma_W^{-1/2}=\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

2. $\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}$$\mathbf{A}^*$

   $\mathbf{X}_B$$\boldsymbol \Sigma_W^{-1/2}$

3. $\mathbf A$$\boldsymbol \Sigma_W^{-1/2} \mathbf{A}^*$

   Memang, jika adalah vektor eigen dari matriks di atas, maka Σ - 1 / 2 W Σ B Σ - 1 / 2$\mathbf a^*$

   $$\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}\mathbf a^* = \lambda \mathbf a^*,$$ $\boldsymbol \Sigma_W^{-1/2}$$\mathbf a = \boldsymbol \Sigma_W^{-1/2}\mathbf a^*$ $$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B \mathbf a = \lambda \mathbf a.$$

Singkatnya, LDA setara dengan memutihkan matriks sarana kelas sehubungan dengan kovarians dalam kelas, melakukan PCA pada sarana kelas, dan mentransformasikan kembali sumbu utama yang dihasilkan ke ruang asli (tanpa dikhawatirkan).

Ini ditunjukkan misalnya dalam The Elements of Statistics Learning , bagian 4.3.3. Dalam scikit-learnhal ini adalah cara standar untuk menghitung LDA karena SVD dari matriks data secara numerik lebih stabil daripada dekomposisi eigen dari matriks kovariansnya.

$\boldsymbol \Sigma_W^{-1/2}$scikit-learn $\mathbf{L}^{-1}\mathbf{U}^\top$$\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

Hanya untuk menutup pertanyaan ini, masalah yang dibahas dengan LDA telah diperbaiki di scikit-learn 0.15.2 .