Apa gunanya dekomposisi nilai singular?

Saya tidak mengerti mengapa pengurangan dimensi itu penting. Apa manfaat mengambil beberapa data dan mengurangi dimensi mereka?

Dekomposisi nilai singular (SVD) tidak sama dengan mengurangi dimensi data. Ini adalah metode penguraian matriks ke dalam matriks lain yang memiliki banyak properti indah yang tidak akan saya bahas di sini. Untuk lebih lanjut tentang SVD, lihat halaman Wikipedia .

Mengurangi dimensi data Anda terkadang sangat berguna. Mungkin saja Anda memiliki lebih banyak variabel daripada pengamatan; ini tidak jarang dalam pekerjaan genom. Mungkin kita memiliki beberapa variabel yang sangat berkorelasi tinggi, misalnya, ketika mereka sangat dipengaruhi oleh sejumlah kecil faktor yang mendasarinya, dan kami ingin memulihkan beberapa perkiraan terhadap faktor-faktor yang mendasarinya. Teknik pengurangan dimensi seperti analisis komponen utama, penskalaan multidimensi, dan analisis variasi kanonik memberi kita wawasan tentang hubungan antara pengamatan dan / atau variabel yang mungkin tidak bisa kita dapatkan dengan cara lain.

Contoh nyata: beberapa tahun lalu saya menganalisis survei kepuasan karyawan yang memiliki lebih dari 100 pertanyaan. Ya, tidak ada manajer yang dapat melihat 100+ pertanyaan bernilai jawaban, bahkan dirangkum, dan melakukan lebih dari sekadar menebak apa artinya semua itu, karena siapa yang dapat mengetahui bagaimana jawaban terkait dan apa yang mendorongnya, sungguh ? Saya melakukan analisis faktor pada data, yang saya miliki lebih dari 10.000 pengamatan, dan muncul dengan lima faktor yang sangat jelas dan mudah ditafsirkan yang dapat digunakan untuk mengembangkan skor spesifik manajer (satu untuk setiap faktor) yang akan meringkas keseluruhan dari survei 100+ pertanyaan. Solusi yang jauh lebih baik daripada dump spreadsheet Excel yang telah menjadi metode sebelumnya untuk melaporkan hasil!

Mengenai poin kedua dari pertanyaan Anda, manfaat pengurangan dimensionalitas untuk set data mungkin:

• mengurangi ruang penyimpanan yang dibutuhkan
• mempercepat perhitungan (misalnya dalam algoritme pembelajaran mesin), lebih sedikit dimensi yang berarti les komputasi, juga lebih sedikit dimensi yang dapat memungkinkan penggunaan algoritme yang tidak cocok untuk sejumlah besar dimensi
• hapus fitur yang berlebihan, misalnya tidak ada gunanya menyimpan ukuran medan dalam meter persegi dan mil persegi (mungkin pengumpulan data cacat)
• mengurangi dimensi data menjadi 2D atau 3D memungkinkan kita untuk memplot dan memvisualisasikannya, mungkin mengamati pola, memberi kita wawasan

Selain itu, di luar PCA, SVD's memiliki banyak aplikasi dalam pemrosesan sinyal, NLP dan banyak lagi

Lihatlah jawaban saya ini. Dekomposisi nilai singular adalah komponen kunci dari analisis komponen utama , yang merupakan teknik analisis data yang sangat berguna dan sangat kuat.

Ini sering digunakan dalam algoritma pengenalan wajah, dan saya sering menggunakannya dalam pekerjaan saya sebagai analis hedge fund.