Saya memiliki database yang berisi sejumlah besar pakar dalam suatu bidang. Untuk masing-masing ahli saya memiliki berbagai atribut / titik data seperti:
- beberapa tahun pengalaman.
- lisensi
- jumlah ulasan
- konten tekstual dari ulasan tersebut
- Peringkat bintang 5 di setiap ulasan tersebut, untuk sejumlah faktor seperti kecepatan, kualitas, dll.
- penghargaan, asosiasi, konferensi, dll.
Saya ingin memberikan peringkat kepada para ahli ini dari 10 berdasarkan pada pentingnya mereka. Beberapa titik data mungkin hilang untuk beberapa ahli. Sekarang pertanyaan saya adalah bagaimana saya membuat algoritma seperti itu? Adakah yang bisa mengarahkan saya ke beberapa literatur yang relevan?
Saya juga prihatin karena dengan semua peringkat / ulasan angka mungkin berkumpul di dekat beberapa nilai. Misalnya sebagian besar dari mereka mungkin mendapatkan nilai 8 atau 5. Apakah ada cara untuk menyoroti perbedaan litle menjadi perbedaan skor yang lebih besar hanya untuk beberapa atribut.
Beberapa diskusi lain yang saya pikir mungkin relevan:
Jawaban:
Orang-orang telah menemukan banyak sistem untuk hal-hal penilaian (seperti para ahli) pada banyak kriteria: kunjungi halaman Wikipedia tentang analisis keputusan Multi-kriteria untuk daftar. Namun, tidak terwakili dengan baik di sana, adalah salah satu metode yang paling dapat dipertahankan di luar sana: teori penilaian multi atribut. Ini termasuk seperangkat metode untuk mengevaluasi trade-off di antara set kriteria untuk (a) menentukan cara yang tepat untuk mengekspresikan kembali nilai-nilai dari variabel individu dan (b) menimbang nilai-nilai yang diungkapkan kembali untuk mendapatkan skor untuk pemeringkatan . Prinsip-prinsipnya sederhana dan dapat dipertahankan, matematika tidak bisa diraih, dan tidak ada yang mewah tentang teorinya. Lebih banyak orang harus tahu dan mempraktikkan metode ini daripada menciptakan sistem penilaian yang sewenang-wenang.
sumber
Pada akhirnya ini mungkin bukan semata-mata latihan statistik. PCA adalah metode kuantitatif yang sangat kuat yang akan memungkinkan Anda untuk menghasilkan skor atau bobot pada beberapa komponen utama pertamanya yang dapat Anda gunakan untuk peringkat. Namun, menjelaskan apa komponen utama itu sangat menantang. Mereka adalah konstruksi kuantitatif. Mereka bukan yang dialektik. Jadi, untuk menjelaskan apa yang sebenarnya mereka maksudkan terkadang tidak mungkin. Ini terutama benar jika Anda memiliki audiens yang tidak kuantitatif. Mereka tidak akan tahu apa yang Anda bicarakan. Dan, akan menganggap PCA Anda sebagai kotak hitam samar.
Sebagai gantinya, saya hanya akan berbaris semua variabel yang relevan dan menggunakan sistem pembobotan berdasarkan pada apa yang orang pikirkan pembobotan.
Saya pikir jika Anda mengembangkan ini untuk orang luar, pelanggan, pengguna, akan lebih baik jika Anda bisa menanamkan fleksibilitas dalam menentukan bobot kepada pengguna.
Beberapa pengguna mungkin menghargai pengalaman bertahun-tahun lebih dari sertifikasi dan sebaliknya. Jika Anda bisa menyerahkan keputusan itu kepada mereka. Dengan cara ini algoritme Anda bukan kotak hitam yang tidak mereka pahami dan tidak nyaman bagi mereka. Anda menjaganya tetap transparan dan terserah mereka berdasarkan penilaian relatif mereka sendiri tentang apa yang penting.
sumber
Apakah Anda berpikir bahwa Anda dapat mengukur semua atribut itu?
Jika ya, saya sarankan melakukan analisis komponen utama. Dalam kasus umum di mana semua korelasi positif (dan jika tidak, Anda dapat dengan mudah sampai di sana menggunakan beberapa transformasi), komponen utama pertama dapat dianggap sebagai ukuran dari total kepentingan ahli, karena itu adalah tertimbang rata-rata semua atribut (dan bobot akan menjadi kontribusi yang sesuai dari variabel - Di bawah perspektif ini, metode itu sendiri akan mengungkapkan pentingnya setiap atribut). Skor yang dicapai setiap ahli dalam komponen utama pertama adalah apa yang Anda butuhkan untuk memeringkatnya.
sumber