Saya tahu cara menghitung PCA dan SVD secara matematis, dan saya tahu bahwa keduanya dapat diterapkan pada regresi Linear Least Squares.
Keuntungan utama dari SVD secara matematis adalah dapat diterapkan pada matriks non-kuadrat.
Kedua fokus pada dekomposisi dari matriks. Selain keunggulan SVD yang disebutkan, apakah ada keuntungan atau wawasan tambahan yang diberikan dengan menggunakan SVD melalui PCA?
Saya benar-benar mencari intuisi daripada perbedaan matematika.
pca
least-squares
svd
Baz
sumber
sumber
advantage... SVD over PCA
- svd dan PCA tidak dapat dibandingkan sebagai operasi matematis dan metode analisis data. Bisakah pertanyaan Anda tentang cara melakukan PCA ? Atau apa yang kamu tanyakan?Jawaban:
Jadi tidak ada "keuntungan" untuk SVD dibandingkan PCA karena itu seperti bertanya apakah metode Newton lebih baik daripada kuadrat terkecil: keduanya tidak sebanding.
sumber
Pertanyaannya adalah benar-benar bertanya apakah Anda harus melakukan normalisasi Z-skor kolom sebelum menerapkan SVD. Ini karena PCA adalah transformasi di atas diikuti oleh SVD. Terkadang melakukan normalisasi cukup berbahaya. Jika data Anda misalnya (diubah) jumlah kata yang positif, mengurangi rerata itu pasti berbahaya. Ini karena nol yang mewakili tidak adanya kata dalam dokumen akan dipetakan ke angka negatif dengan magnitudo tinggi. Dalam masalah linear, magnitudo yang lebih tinggi harus digunakan untuk mewakili kisaran di mana fitur Anda paling sensitif. Membagi dengan deviasi standar berbahaya untuk jenis data ini.
sumber