Variabel bertingkat dalam pelatihan LDA Multikelas

Saya melatih multi-class LDA classifier dengan 8 kelas data.

Saat melakukan pelatihan, saya mendapat peringatan: " Variabel collinear "

Saya mendapatkan akurasi pelatihan lebih dari 90% .

Saya menggunakan perpustakaan scikits-learn di Python do train dan menguji data multi-kelas.

Saya mendapatkan akurasi pengujian yang layak juga (sekitar 85% -95% ).

Saya tidak mengerti apa arti kesalahan / peringatan itu. Tolong bantu saya.

Multikolinieritas berarti bahwa prediktor Anda berkorelasi. Mengapa ini buruk?

Karena LDA, seperti teknik regresi melibatkan penghitungan inversi matriks, yang tidak akurat jika determinannya mendekati 0 ( yaitu dua variabel atau lebih hampir merupakan kombinasi linear satu sama lain).

Lebih penting lagi, itu membuat koefisien yang diperkirakan tidak mungkin untuk ditafsirkan. Jika peningkatan , katakanlah, dikaitkan dengan penurunan X 2 dan mereka berdua peningkatan variabel Y , setiap perubahan dalam X 1 akan dikompensasi oleh perubahan X 2 dan Anda akan meremehkan efek dari X 1 pada Y . Di LDA, Anda akan meremehkan efek X 1 pada klasifikasi.$X_1$$X_2$$Y$$X_1$$X_2$$X_1$$Y$$X_1$

Jika semua yang Anda pedulikan adalah klasifikasi itu sendiri , dan setelah melatih model Anda pada setengah dari data dan mengujinya pada setengah lainnya Anda mendapatkan akurasi 85-95% saya akan mengatakan itu baik-baik saja.

Sepertinya saya pikir gui11aume telah memberi Anda jawaban yang bagus, saya ingin memberikan contoh dari sudut yang sedikit berbeda yang mungkin menerangi. Pertimbangkan bahwa kovariat dalam fungsi diskriminan Anda terlihat sebagai berikut:

$X_1= 5X_2 +3X_3 -X_4$

Misalkan LDA terbaik memiliki batas linier berikut:

$X_1+2X_2+X_3-2X_4 =5$

$5X_2+3X_3-X_4$$X_1$

$5X_2+3X_3-X_4+2X_2+X_3-2X_4=5$

atau

$7X_2+4X_3-3X_4=5$

$1, 2, 1,-2$$X_1$ ,$X_2$, $X_3$, dan $X_4$ masing-masing, sementara yang lain memiliki koefisien $0, 7, 3, -1$.

Jadi koefisiennya sangat berbeda tetapi kedua persamaan tersebut memberikan batasan yang sama dan aturan prediksi yang sama. Jika satu bentuk baik, yang lain juga. Tetapi sekarang Anda dapat melihat mengapa gui11ame mengatakan bahwa koefisien tidak dapat diinterpretasikan.

Ada beberapa cara lain untuk mengekspresikan batasan ini juga dengan menggantikannya $X_2$ untuk memberikannya $0$ Koefisien dan hal yang sama dapat dilakukan untuk $X_3$ atau $X_4$. Namun dalam praktiknya collinearity adalah perkiraan. Ini memperburuk keadaan karena kebisingan memungkinkan jawaban yang unik. Gangguan data yang sangat sedikit akan menyebabkan koefisien berubah secara drastis. Tetapi untuk prediksi Anda baik-baik saja karena setiap persamaan mendefinisikan batas yang hampir sama dan LDA akan menghasilkan prediksi yang hampir sama.

Sementara jawaban yang ditandai di sini benar, saya pikir Anda mencari penjelasan berbeda untuk mengetahui apa yang terjadi dalam kode Anda. Saya memiliki masalah yang sama persis berjalan melalui model.

Inilah yang terjadi: Anda sedang melatih model Anda dengan variabel yang diprediksi sebagai bagian dari kumpulan data Anda. Inilah contoh apa yang terjadi pada saya tanpa menyadarinya:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL3']
train_X = train[train.columns[:-1]]

Dalam kode ini, saya ingin memprediksi nilai 'COL3' ... tetapi, jika Anda melihat train_X, saya mengatakannya untuk mengambil setiap kolom kecuali yang terakhir, jadi itu memasukkan COL1 COL2 dan COL3, bukan COL4, dan mencoba memprediksi COL3 yang merupakan bagian dari train_X.

Saya memperbaikinya dengan hanya memindahkan kolom, secara manual memindahkan COL3 di Excel menjadi kolom terakhir dalam kumpulan data saya (sekarang mengambil tempat COL4), dan kemudian:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL4']
train_X = train[train.columns[:-1]]

Jika Anda tidak ingin memindahkannya di Excel, dan ingin melakukannya dengan kode saja:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL3']
train_X = train[train.columns['COL1','COL2','COL4']]

Perhatikan sekarang bagaimana saya menyatakan train_X, untuk memasukkan semua kolom kecuali COL3, yang merupakan bagian dari train_Y.

Saya harap itu membantu.