Metrik kinerja untuk mengevaluasi pembelajaran tanpa pengawasan

Sehubungan dengan pembelajaran tanpa pengawasan (seperti pengelompokan), apakah ada metrik untuk mengevaluasi kinerja?

Dalam beberapa hal saya pikir pertanyaan ini tidak dapat dijawab. Saya mengatakan ini karena seberapa baik kinerja metode tanpa pengawasan tertentu akan sangat tergantung pada mengapa seseorang melakukan pembelajaran tanpa pengawasan di tempat pertama, yaitu, apakah metode tersebut bekerja dengan baik dalam konteks tujuan akhir Anda? Jelas ini tidak sepenuhnya benar, orang-orang mengerjakan masalah ini dan mempublikasikan hasil yang mencakup semacam evaluasi. Saya akan menguraikan beberapa pendekatan yang saya kenal di bawah ini.

Sumber yang baik (dengan referensi) untuk pengelompokan adalah halaman dokumentasi sklearn, Clustering Performance Evaluation . Ini mencakup beberapa metode, tetapi semua kecuali satu, Koefisien Siluet, mengasumsikan label kebenaran tanah tersedia. Metode ini juga disebutkan dalam pertanyaan Evaluasi ukuran pengelompokan , terkait dalam komentar untuk pertanyaan ini.

Jika metode pembelajaran Anda yang tidak diawasi adalah probabilistik, opsi lain adalah mengevaluasi beberapa ukuran probabilitas (log-likelihood, kebingungan, dll) pada data yang tersedia. Motivasi di sini adalah bahwa jika metode pembelajaran tanpa pengawasan Anda memberikan probabilitas tinggi untuk data serupa yang tidak digunakan untuk memenuhi parameter, maka itu mungkin telah melakukan pekerjaan yang baik untuk menangkap distribusi minat. Domain tempat tipe evaluasi ini biasa digunakan adalah pemodelan bahasa.

Opsi terakhir yang akan saya sebutkan adalah menggunakan pelajar yang diawasi pada tugas bantu terkait. Jika Anda tanpa pengawasan metode menghasilkan variabel laten, Anda dapat menganggap variabel laten ini sebagai representasi dari input. Dengan demikian, masuk akal untuk menggunakan variabel-variabel laten ini sebagai input untuk classifier yang diawasi melakukan beberapa tugas yang berkaitan dengan domain dari mana data berasal. Kinerja metode yang diawasi kemudian dapat berfungsi sebagai pengganti untuk kinerja pelajar yang tidak diawasi. Ini pada dasarnya adalah pengaturan yang Anda lihat di sebagian besar bekerja pada pembelajaran representasi.

Deskripsi ini mungkin agak kabur, jadi saya akan memberikan contoh nyata. Hampir semua pekerjaan pembelajaran representasi kata menggunakan pendekatan berikut untuk evaluasi:

1. Pelajari representasi kata-kata menggunakan pelajar tanpa pengawasan.
2. Gunakan representasi yang dipelajari sebagai input untuk pelajar yang diawasi melakukan beberapa tugas NLP seperti bagian dari penandaan ucapan atau pengakuan entitas bernama.
3. Menilai kinerja pelajar yang tidak diawasi oleh kemampuannya untuk meningkatkan kinerja pelajar yang diawasi dibandingkan dengan baseline menggunakan representasi standar, seperti fitur kehadiran kata biner, sebagai input.

Untuk contoh dari pendekatan ini dalam tindakan, lihat makalah Pelatihan Mesin Boltzmann Terbatas pada Pengamatan Kata oleh Dahl et al.