Saya bekerja untuk organisasi yang mengawasi sekitar 180 sekolah di seluruh negeri. Kami secara teratur mengumpulkan data hasil dari sekolah-sekolah ini dan memberi peringkat mereka. Saya telah diminta untuk melakukan survei terhadap kantor nasional (sekitar 100 orang) untuk menentukan sekolah mana yang dianggap terbaik dan terburuk , berdasarkan kesan non-data staf tentang kualitas sekolah.
Beberapa informasi tambahan:
- Tidak semua anggota staf mengenal semua sekolah. Ketika ditanya peringkat sekolah "Saya tidak tahu apa-apa tentang sekolah ini" perlu menjadi pilihan.
- Beberapa staf bekerja dengan subset sekolah tertentu, jadi pengetahuan anggota staf ini sangat bagus untuk sekolah-sekolah tertentu.
Pendekatan pertama saya adalah secara acak menghasilkan set 10 atau lebih sekolah, dengan masing-masing sekolah dalam 6 atau lebih set. Kemudian minta setiap anggota staf untuk membuat peringkat setiap set, yang menunjukkan sekolah mana yang tidak diketahui. Saya kemudian bisa meratakan peringkat untuk setiap sekolah di set itu dan menggunakannya sebagai peringkat global.
Apakah metode yang dijelaskan di atas layak? Apakah ada cara yang lebih baik? Jika cara ini akan berhasil, berapa banyak poin data yang saya butuhkan untuk setiap sekolah agar peringkat gabungan menjadi representatif?
sumber
Jawaban:
Anda bisa menggunakan model tipe Bradley-Terry-Luce berdasarkan perbandingan berpasangan. Secara acak (atau sebaliknya) menghasilkan banyak pasangan sekolah dan mintalah masing-masing anggota staf melihat beberapa pasangan dan memberi tahu Anda pasangan mana yang lebih baik (atau "Saya tidak tahu" jika mereka tidak mengenal satu atau kedua sekolah tersebut) ). Kemudian colokkan data ini ke dalam model untuk mendapatkan peringkat.
Ada paket BradleyTerry2 untuk R yang cocok dengan model ini.
sumber