Bagaimana JST jaringan saraf tiruan, digunakan untuk pengelompokan tanpa pengawasan?

Saya mengerti bagaimana sebuah artificial neural network (ANN), dapat dilatih dengan cara yang diawasi menggunakan backpropogation untuk meningkatkan pemasangan dengan mengurangi kesalahan dalam prediksi. Saya telah mendengar bahwa JST dapat digunakan untuk pembelajaran yang tidak diawasi tetapi bagaimana hal ini dapat dilakukan tanpa fungsi biaya untuk memandu tahap optimasi? Dengan k-means atau algoritma EM, ada fungsi yang dicari setiap iterasi untuk meningkat.

Bagaimana kita bisa melakukan pengelompokan dengan JST dan mekanisme apa yang digunakan untuk mengelompokkan titik data di lokasi yang sama?

(dan kemampuan tambahan apa yang dibawa dengan menambahkan lebih banyak layer ke dalamnya?)

clustering neural-networks unsupervised-learning self-organizing-maps Vass
sumber

Apakah Anda tertarik pada pembelajaran tanpa pengawasan NN secara umum, atau secara khusus dalam pengelompokan tanpa pengawasan dengan jaringan saraf?

Denis Tarasov

@DenisTarasov, saya terutama tertarik pada pengelompokan tanpa pengawasan dengan NN, tetapi tidak tahu banyak tentang pembelajaran NN tanpa pengawasan NN secara umum. Akan lebih bagus jika jawaban akan mencakup sedikit pembelajaran tanpa pengawasan NN secara umum sebelum membahas aplikasi spesifik.

Vass

Self Organizing Map (SOM) adalah jenis jaringan yang digunakan untuk pengelompokan.

Cagdas Ozgenc

pembelajaran tanpa pengawasan di ANN - Ini mengekstraksi properti statistik dari set pelatihan. - Pembelajaran tanpa pengawasan lebih sulit tetapi dianggap masuk akal secara biologis - Tidak memerlukan guru.

yonas

Jawaban:

Jaringan saraf banyak digunakan dalam pembelajaran tanpa pengawasan untuk mempelajari representasi data input yang lebih baik. Sebagai contoh, diberikan satu set dokumen teks, NN dapat belajar pemetaan dari dokumen ke vektor bernilai nyata sedemikian rupa sehingga vektor yang dihasilkan adalah serupa untuk dokumen dengan konten yang sama, yaitu menjaga jarak. Ini dapat dicapai dengan menggunakan, misalnya, auto-encoders - model yang dilatih untuk merekonstruksi vektor asli dari representasi yang lebih kecil (aktivasi lapisan tersembunyi) dengan kesalahan rekonstruksi (jarak dari fungsi ID) sebagai fungsi biaya. Proses ini tidak memberi Anda cluster, tetapi menciptakan representasi bermakna yang dapat digunakan untuk pengelompokan. Anda bisa, misalnya, menjalankan algoritma pengelompokan pada aktivasi lapisan tersembunyi.

Clustering: Ada sejumlah arsitektur NN berbeda yang dirancang khusus untuk clustering. Yang paling banyak dikenal mungkin adalah peta yang bisa diatur sendiri. SOM adalah NN yang memiliki satu set neuron yang terhubung untuk membentuk grid topologis (biasanya persegi panjang). Ketika beberapa pola disajikan ke SOM, neuron dengan vektor bobot terdekat dianggap sebagai pemenang dan bobotnya disesuaikan dengan pola, serta bobot lingkungannya. Dengan cara ini, SOM secara alami menemukan kumpulan data. Algoritma yang agak terkait adalah pertumbuhan gas saraf (tidak terbatas pada jumlah neuron yang telah ditentukan).

Pendekatan lain adalah Teori Resonansi Adaptif di mana kita memiliki dua lapisan: "bidang perbandingan" dan "bidang pengenalan". Bidang pengenalan juga menentukan kecocokan terbaik (neuron) dengan vektor yang ditransfer dari bidang perbandingan dan juga memiliki koneksi penghambatan lateral. Detail implementasi dan persamaan yang tepat dapat dengan mudah ditemukan dengan googling nama-nama model ini, jadi saya tidak akan menempatkannya di sini.

Denis Tarasov
sumber

Anda ingin melihat ke peta pengorganisasian diri . Kohonen (yang menemukan mereka) menulis buku tentang mereka. Ada paket untuk ini di R ( som , kohonen ), dan ada implementasi dalam bahasa lain seperti MATLAB .

gung - Reinstate Monica
sumber

dapatkah Anda menjelaskan secara rinci tentang bagaimana NN dapat melakukan ini dan menguraikan teorinya? mungkin juga menjelaskan efek menggunakan NN yang mendalam (DNN)?

Vass

Saya khawatir saya hanya memiliki sedikit keahlian di sini, @Vass. Saya tidak berpikir menambahkan lapisan tambahan akan banyak membantu, selain memperlambatnya. Orang lain harus memberi Anda teorinya, saya hanya ingin Anda memulainya.

gung - Reinstate Monica

Seorang siswa di lab kami bereksperimen dengan pengelompokan menggunakan SOM. Butuh selamanya untuk menjalankan dan hasilnya sangat mengecewakan dibandingkan dengan pendekatan lain (dalam kasus kami algoritma pengelompokan grafik). Saya selalu bingung dengan fakta bahwa domain target 2D standar (grid topologi) tampaknya merupakan ruang yang sangat arbitrer. Lebih mengkhawatirkan adalah sangat sederhana dan pada dasarnya perlu untuk memampatkan data ke dalam ruang yang dijelaskan oleh hanya dua variabel.

micans

@micans membuat beberapa poin bagus, tetapi data tidak hanya dikompresi ke dalam ruang yang dijelaskan oleh hanya dua variabel, karena setiap node juga terkait dengan prototipe. Juga jika menjalankan lambat, itu mungkin menjadi masalah implementasi. Secara statistik, metode lain selain SOM harus mencapai hasil klasifikasi yang lebih baik. Adapun masalah topologi, otak tampaknya diorganisasikan sebagai lapisan topologi 2D, tetapi itu mencapai hasil yang bagus (atau jadi saya ingin berpikir).

Tom Anderson