Dekomposisi nilai singular (SVD) dari sebuah matriks diberikan oleh mana dan adalah matriks ortogonal dan adalah matriks diagonal. SEBUAH A A = U S V ⊤ A=USV⊤ U U V V S S
Analisis komponen utama (PCA) biasanya dijelaskan melalui dekomposisi eigen dari matriks kovarians. Namun, dapat juga dilakukan melalui dekomposisi nilai singular (SVD) dari data matriks . Bagaimana cara kerjanya? Apa hubungan antara kedua pendekatan ini? Apa hubungan antara SVD dan PCA?XX\mathbf...
Analisis komponen utama (PCA) dapat digunakan untuk pengurangan dimensi. Setelah pengurangan dimensi seperti itu dilakukan, bagaimana kira-kira orang dapat merekonstruksi variabel / fitur asli dari sejumlah kecil komponen utama? Atau, bagaimana seseorang dapat menghapus atau membuang beberapa...
Saya mulai mencoba-coba penggunaan glmnetdengan LASSO Regression di mana hasil yang saya minati menjadi dikotomis. Saya telah membuat bingkai data mock kecil di bawah ini: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84,...
Saya telah membaca tentang dekomposisi nilai singular (SVD). Di hampir semua buku teks disebutkan bahwa itu faktorisasi matriks menjadi tiga matriks dengan spesifikasi yang diberikan. Tapi apa intuisi di balik pemisahan matriks dalam bentuk seperti itu? PCA dan algoritma lain untuk pengurangan...
Biplot sering digunakan untuk menampilkan hasil analisis komponen utama (dan teknik terkait). Ini adalah scatterplot ganda atau overlay yang menunjukkan pemuatan komponen dan skor komponen secara bersamaan. Saya diberitahu oleh @amoeba hari ini bahwa dia telah memberikan jawaban yang berangkat dari...
Adakah yang bisa merekomendasikan penjelasan yang baik tentang teori di balik regresi kuadrat terkecil parsial (tersedia online) untuk seseorang yang memahami SVD dan PCA? Saya telah melihat banyak sumber online dan belum menemukan apa pun yang memiliki kombinasi yang tepat antara ketelitian dan...
/ edit: Tindak lanjut lebih lanjut sekarang Anda dapat menggunakan irlba :: prcomp_irlba / edit: menindaklanjuti posting saya sendiri. irlbasekarang memiliki argumen "pusat" dan "skala", yang memungkinkan Anda menggunakannya untuk menghitung komponen prinsip, misalnya: pc <- M %*% irlba(M,...
Saya agak bingung dengan bagaimana SVD digunakan dalam penyaringan kolaboratif. Misalkan saya memiliki grafik sosial, dan saya membangun matriks kedekatan dari tepi, kemudian mengambil SVD (mari kita lupakan tentang regularisasi, tingkat pembelajaran, optimasi sparsity, dll), bagaimana cara...
Apa perbedaan pemusatan (atau de-makna) data Anda untuk PCA? Saya pernah mendengar bahwa itu membuat matematika lebih mudah atau mencegah PC pertama dari yang didominasi oleh variabel, tetapi saya merasa seperti saya belum dapat memahami konsep ini dengan kuat. Misalnya, jawaban teratas di sini...
Saya belajar PCA dari kursus Andrew Ng's Coursera dan materi lainnya. Dalam tugas pertama Stanford NLP kursus cs224n , dan dalam video ceramah dari Andrew Ng , mereka melakukan dekomposisi nilai singular bukan dekomposisi vektor eigen dari matriks kovarians, dan Ng bahkan mengatakan bahwa SVD...
Saya hanya mencoba untuk mereplikasi klaim yang dibuat dalam makalah berikut, Finding Bicerust Correlated dari Gene Expression Data , yaitu: Proposisi 4. Jika . maka kita memiliki:XIJ=RICTJXIJ=RICJTX_{IJ}=R_{I}C^{T}_{J} saya. Jika adalah bicluster sempurna dengan model aditif, maka adalah...
Saya menggunakan Linear Discriminant Analysis (LDA) dari scikit-learnperpustakaan pembelajaran mesin (Python) untuk pengurangan dimensi dan sedikit ingin tahu tentang hasilnya. Sekarang saya bertanya-tanya apa yang dilakukan LDA scikit-learnsehingga hasilnya terlihat berbeda dari, misalnya,...
Mengingat PCA (atau SVD) pendekatan matriks XXX dengan matriks X , kita tahu bahwa X adalah yang terbaik peringkat rendah perkiraan X .X^X^\hat XX^X^\hat XXXX Apakah ini sesuai dengan norma ∥ ⋅ ∥ 2 yang diinduksi∥⋅∥2∥⋅∥2\parallel \cdot \parallel_2 (yaitu norma nilai eigen terbesar) atau menurut...
Saya memiliki matriks korelasi pengembalian keamanan yang determinannya nol. (Ini agak mengejutkan karena matriks korelasi sampel dan matriks kovarian yang sesuai secara teoritis pasti positif.) Hipotesis saya adalah bahwa setidaknya satu sekuritas secara linear tergantung pada sekuritas lainnya....
Apa cara terbaik untuk menghitung dekomposisi nilai singular (SVD) dari matriks positif yang sangat besar (65M x 3.4M) di mana data sangat jarang? Kurang dari 0,1% dari matriks adalah nol. Saya butuh cara itu: akan masuk ke dalam memori (saya tahu bahwa ada metode online) akan dihitung dalam...
Saya menyelidiki berbagai teknik yang digunakan dalam pengelompokan dokumen dan saya ingin menghapus beberapa keraguan tentang PCA (analisis komponen utama) dan LSA (analisis semantik laten). Hal pertama - apa perbedaan di antara mereka? Saya tahu bahwa di PCA, dekomposisi SVD diterapkan ke...
Pertanyaan ini adalah tentang cara yang efisien untuk menghitung komponen utama. Banyak teks tentang advokasi PCA linier menggunakan dekomposisi nilai singular dari data dengan santai . Yaitu, jika kita memiliki data dan ingin mengganti variabel ( kolomnya ) dengan komponen utama, kita lakukan...
Saya telah menemukan sebuah skenario di mana saya memiliki 10 sinyal / orang untuk 10 orang (jadi 100 sampel) berisi 14000 titik data (dimensi) yang harus saya sampaikan ke pengklasifikasi. Saya ingin mengurangi dimensi data ini dan PCA tampaknya menjadi cara untuk melakukannya. Namun, saya hanya...
Dalam pemfilteran Kolaboratif, kami memiliki nilai yang tidak diisi. Misalkan pengguna tidak menonton film maka kami harus meletakkan 'na' di sana. Jika saya akan mengambil SVD dari matriks ini, maka saya harus memasukkan beberapa angka di sana - katakan 0. Sekarang, jika saya membuat faktorisasi...
Saya mengamati perilaku yang sangat aneh dalam hasil SVD dari data acak, yang dapat saya tiru di Matlab dan R. Sepertinya beberapa masalah numerik di perpustakaan LAPACK; Apakah itu? Saya menarik n=1000n=1000n=1000 sampel dari k=2k=2k=2 dimensi Gaussian dengan nol mean dan kovarian identitas:...