Menggunakan Clustering dalam pemrosesan teks

Hai, ini adalah pertanyaan pertama saya di tumpukan Ilmu Data. Saya ingin membuat algoritma untuk klasifikasi teks. Misalkan saya punya satu set besar teks dan artikel. Mari kita katakan sekitar 5000 teks biasa. Saya pertama kali menggunakan fungsi sederhana untuk menentukan frekuensi keempat kata karakter di atas. Saya kemudian menggunakan ini sebagai fitur dari setiap sampel pelatihan. Sekarang saya ingin algoritme saya dapat mengelompokkan set pelatihan sesuai dengan fitur mereka, yang di sini adalah frekuensi setiap kata dalam artikel. (Perhatikan bahwa dalam contoh ini, setiap artikel akan memiliki fitur uniknya sendiri karena setiap artikel memiliki fitur yang berbeda, misalnya artikel memiliki 10 "air dan 23" murni "dan yang lain memiliki 8" politik "dan 14" leverage "). Bisakah Anda menyarankan algoritma pengelompokan terbaik untuk contoh ini?

Saya tidak tahu apakah Anda pernah membaca SenseCluster oleh Ted Pedersen: http://senseclusters.sourceforge.net/ . Kertas yang sangat bagus untuk pengelompokan indera.

Juga, ketika Anda menganalisis kata-kata, pikirkan bahwa "komputer", "komputer", "komputer", ... mewakili satu konsep, jadi hanya satu fitur. Sangat penting untuk analisis yang benar.

Untuk berbicara tentang algoritma pengelompokan, Anda bisa menggunakan pengelompokan hierarkis . Pada setiap langkah algo, Anda menggabungkan 2 teks paling mirip sesuai dengan fitur-fiturnya (menggunakan ukuran ketidaksamaan, jarak euclidean misalnya). Dengan ukuran ketidaksamaan itu, Anda dapat menemukan jumlah cluster terbaik dan pengelompokan terbaik untuk teks dan artikel Anda.

Semoga berhasil :)

Jika Anda ingin melanjutkan pada jalur yang ada, saya sarankan untuk menormalkan frekuensi setiap istilah dengan popularitasnya di seluruh korpus, sangat jarang dan karenanya kata-kata prediktif dipromosikan. Kemudian gunakan proyeksi acak untuk mengurangi dimensi dari vektor yang sangat panjang ini hingga ke ukuran sehingga algoritma pengelompokan Anda akan bekerja lebih baik (Anda tidak ingin mengelompokkan dalam ruang dimensi tinggi).

Tetapi ada cara lain pemodelan topik. Baca tutorial ini untuk mempelajari lebih lanjut.

Tidak bisa mengatakan itu yang terbaik, tetapi Analisis Semantik Laten bisa menjadi salah satu pilihan. Pada dasarnya ini didasarkan pada kejadian bersama, Anda harus mempertimbangkannya terlebih dahulu.

http://en.wikipedia.org/wiki/Latent_semantic_analysis

http://lsa.colorado.edu/papers/dp1.LSAintro.pdf

Masalahnya adalah LSA tidak memiliki dukungan statistik yang kuat.

Selamat bersenang-senang

Salah satu cara untuk mengklasifikasikan teks adalah dengan menghitung Frekuensi Istilah dan Frekuensi Dokumen Invers. Anda dapat merujuk makalah ini: http://www.oracle.com/technetwork/testcontent/feature-preparation-130942.pdf