Saya telah menemukan sebuah skenario di mana saya memiliki 10 sinyal / orang untuk 10 orang (jadi 100 sampel) berisi 14000 titik data (dimensi) yang harus saya sampaikan ke pengklasifikasi. Saya ingin mengurangi dimensi data ini dan PCA tampaknya menjadi cara untuk melakukannya. Namun, saya hanya...
Telah membaca beberapa pertanyaan tentang t-SNE ( t-Distributed Stochastic Neighbor Embedding ) belakangan ini, dan juga mengunjungi beberapa pertanyaan tentang MDS ( Multidimensional Scaling ). Mereka sering digunakan secara analog, jadi sepertinya ide yang bagus membuat pertanyaan ini melihat...
Kebanyakan algoritma pengelompokan dan pengurangan dimensi klasik (pengelompokan hierarkis, analisis komponen utama, k-means, peta pengorganisasian sendiri ...) dirancang khusus untuk data numerik, dan data inputnya dipandang sebagai titik dalam ruang euclidean. Ini tentu saja merupakan masalah,...
Analisis komponen utama fungsional (FPCA) adalah sesuatu yang saya temui dan tidak pernah mengerti. Tentang apa semua ini? Lihat "Sebuah survei analisis komponen utama fungsional" oleh Shang, 2011 , dan saya mengutip: PCA mengalami kesulitan serius dalam menganalisis data fungsional karena...
Pada artikel ini , penulis menghubungkan analisis diskriminan linier (LDA) ke analisis komponen utama (PCA). Dengan pengetahuan saya yang terbatas, saya tidak bisa mengikuti bagaimana LDA bisa agak mirip dengan PCA. Saya selalu berpikir bahwa LDA adalah bentuk algoritma klasifikasi, mirip dengan...
Pemahaman saya tentang t-SNE dan pendekatan Barnes-Hut adalah bahwa semua titik data diperlukan sehingga semua interaksi gaya dapat dihitung pada waktu yang sama dan setiap titik dapat disesuaikan dalam peta 2d (atau dimensi yang lebih rendah). Apakah ada versi t-sne yang secara efisien dapat...
Beberapa fitur data saya memiliki nilai besar, sedangkan fitur lainnya memiliki nilai jauh lebih kecil. Apakah perlu memusatkan + skala data sebelum menerapkan t-SNE untuk mencegah bias terhadap nilai yang lebih besar? Saya menggunakan implementasi sklearn.manifold.TSNE dari Python dengan metrik...
Misalkan kita memiliki NNN variabel terukur, (a1,a2,…,aN)(a1,a2,…,aN)(a_1, a_2, \ldots, a_N) , kita melakukan sejumlah M>NM>NM > N pengukuran, dan kemudian ingin melakukan dekomposisi nilai singular pada hasil untuk menemukan sumbu varians tertinggi untuk poin MMM dalam NNN dimensi ruang. (...
Saya mengerti apa itu "kutukan dimensi", dan saya telah melakukan beberapa masalah optimasi dimensi tinggi dan mengetahui tantangan dari kemungkinan eksponensial. Namun, saya ragu apakah "kutukan dimensi" ada di sebagian besar data dunia nyata (yah mari kita kesampingkan gambar atau video sejenak,...
Apakah penurunan regresi peringkat dan regresi komponen utama hanyalah kasus khusus dari kuadrat terkecil parsial? Tutorial ini (Halaman 6, "Perbandingan Tujuan") menyatakan bahwa ketika kita melakukan kuadrat terkecil parsial tanpa memproyeksikan X atau Y (yaitu, "tidak parsial"), itu menjadi...
Saya mencoba melakukan pengelompokan tingkat dokumen. Saya membangun matriks frekuensi istilah-dokumen dan saya mencoba mengelompokkan vektor-vektor dimensi tinggi ini menggunakan k-means. Alih-alih langsung mengelompokkan, apa yang saya lakukan adalah pertama-tama menerapkan dekomposisi vektor...
Saya berjuang untuk menemukan metode untuk mengurangi jumlah kategori dalam data nominal atau ordinal. Sebagai contoh, katakanlah saya ingin membangun model regresi pada dataset yang memiliki sejumlah faktor nominal dan ordinal. Meskipun saya tidak memiliki masalah dengan langkah ini, saya sering...
Menggunakan data ini: head(USArrests) nrow(USArrests) Saya dapat melakukan PCA sebagai berikut: plot(USArrests) otherPCA <- princomp(USArrests) Saya bisa mendapatkan komponen baru otherPCA$scores dan proporsi varian dijelaskan oleh komponen dengan summary(otherPCA) Tetapi bagaimana...
Dalam masalah khusus yang saya kerjakan dengan (kompetisi) saya memiliki pengaturan follwoing: 21 fitur (angka pada [0,1]) dan output biner. Saya memiliki sekitar 100 K baris. Pengaturan tampaknya sangat bising. Saya dan peserta lain menerapkan pembuatan fitur untuk sementara waktu dan penyematan...
Saya memiliki satu set data yang terdiri dari sampel berlabel 15K (dari 10 grup). Saya ingin menerapkan pengurangan dimensi menjadi 2 dimensi, yang akan mempertimbangkan pengetahuan label. Ketika saya menggunakan teknik reduksi dimensionalitas tanpa pengawasan "standar" seperti PCA, plot sebar...
Saya mengerti prinsip dasar di balik algoritma untuk LLE terdiri dari tiga langkah. Menemukan lingkungan setiap titik data dengan beberapa metrik seperti k-nn. Temukan bobot untuk setiap tetangga yang menunjukkan efek yang dimiliki tetangga pada titik data. Bangun penyisipan data dimensi rendah...
Tampaknya, Analisis Fisher bertujuan memaksimalkan pemisahan antar kelas secara serentak, sekaligus meminimalkan dispersi di dalam kelas. Sebuah ukuran yang berguna dari kekuatan diskriminasi dari sebuah variabel maka diberikan oleh kuantitas diagonal: Bii/WiiBii/WiiB_{ii}/W_{ii}...
Apakah masuk akal untuk melakukan PCA sebelum melakukan Klasifikasi Hutan Acak? Saya berurusan dengan data teks dimensi tinggi, dan saya ingin melakukan pengurangan fitur untuk membantu menghindari kutukan dimensi, tetapi bukankah Random Forests sudah melakukan semacam pengurangan...
Saya tahu bahwa pemilihan fitur dan pengurangan dimensi bertujuan mengurangi jumlah fitur dalam set fitur asli. Apa perbedaan yang tepat antara keduanya jika kita melakukan hal yang sama pada
Saya memiliki 3 percobaan masing-masing pada 87 hewan di masing-masing 2 konteks (beberapa data yang hilang; tidak ada data yang hilang = 64 hewan). Dalam konteks, saya memiliki banyak langkah-langkah khusus (waktu untuk masuk, beberapa kali kembali ke tempat tinggal, dll), jadi saya ingin...