Mempertimbangkan jumlah fitur yang konstan, Barnes-Hut t-SNE memiliki kompleksitas , proyeksi acak dan PCA memiliki kompleksitas menjadikannya "terjangkau" untuk set data yang sangat besar.
Di sisi lain, metode yang mengandalkan penskalaan multidimensi memiliki kompleksitas .
Apakah ada teknik pengurangan dimensi lain (selain dari yang sepele, seperti melihat kolom pertama , tentu saja) yang kompleksitasnya lebih rendah dari ?
Pilihan yang menarik akan mengeksplorasi pengurangan dimensi berbasis saraf. Jenis jaringan yang paling umum digunakan untuk pengurangan dimensi, autoencoder, dapat dilatih dengan biaya , di mana saya merepresentasikan iterasi pelatihan (merupakan parameter yang tidak tergantung pada data pelatihan). Oleh karena itu, kompleksitas pelatihan disederhanakan menjadi O ( n ) .
Anda bisa mulai dengan melihat karya seminar 2006 oleh Hinton dan Salakhutdinov [1]. Sejak itu, banyak hal telah berkembang. Sekarang sebagian besar perhatian diperoleh oleh Variational Autoencoder [2], tetapi ide dasar (jaringan yang merekonstruksi input pada lapisan outputnya dengan lapisan bottleneck di-antara) tetap sama. Perhatikan bahwa, tidak seperti PCA dan RP, autoencoder melakukan pengurangan dimensi nonlinier. Selain itu, tidak seperti t-SNE, autoencoder dapat mengubah sampel yang tidak terlihat tanpa perlu melatih ulang seluruh model.
Di sisi praktis, saya merekomendasikan untuk melihat posting ini , yang memberikan rincian tentang bagaimana menerapkan berbagai jenis autoencoder dengan pustaka wonderfull Keras.
[1] Hinton, GE, & Salakhutdinov, RR (2006). Mengurangi dimensi data dengan jaringan saraf. sains, 313 (5786), 504-507.
[2] Kingma, DP, & Welling, M. (2013). Auto-encoding bay variational. arXiv preprint arXiv: 1312.6114.
Sedikit googling akan memberi Anda beberapa hasil yang sangat baru, khususnya untuk kumpulan data yang jarang.
[1] Proyeksi acak dalam pengurangan dimensionalitas: aplikasi untuk data gambar dan teks .
sumber