Saya lebih suka menjawab atas dasar metodologi itu sendiri, daripada bagaimana "memperbaiki" situasi. Dalam konteks lain, saya membantu dalam mengerjakan sistem peringkat dan klasifikasi, dan menemukan bahwa perjanjian antar penilai sangat rendah. Dua jalur dipertimbangkan
- Ubah bagaimana perjanjian pemeringkatan didefinisikan dan identifikasi mereka yang tampaknya "memahami" tugas, atau
- Sempurnakan definisi yang digunakan, bersama dengan panduan dan contoh penyedia untuk penilai, sehingga mereka dapat lebih mudah memahami bagaimana menilai sesuatu.
Dalam adegan pertama, seluruh metodologi dan hasil dapat disia-siakan hanya karena reliabilitas antar penilai rendah. Ini menunjukkan bahwa definisi asli salah atau penilai diberi instruksi yang buruk. Jika saya melanjutkan jalan itu, saya pasti memiliki masalah.
Dalam kasus kedua, kesepakatan antara penilai sangat baik. Karena mereka memberi peringkat item yang cukup banyak, mereka juga dapat memberikan umpan balik ketika mereka menganggap definisi dan panduan asli tidak memadai. Pada akhirnya, metodologi ini sangat dapat direproduksi.
Berdasarkan itu, saya belum akan memodifikasi perangkat penilai Anda, tetapi kembali ke definisi dan panduan asli. Bermain-main setelah peringkat adalah masalah, meskipun itu dapat berguna sebagai pemeriksaan kualitas. Kadang-kadang ada penilai yang akan melakukan apa yang mereka inginkan, terlepas dari bimbingan yang diberikan. Dengan metode statistik yang baik, mudah untuk mengidentifikasi mereka dan mempertimbangkan kontribusi mereka secara tepat.
Sekarang, jika saya salah dan Anda tidak berencana untuk melakukan pengumpulan lebih lanjut, yaitu data Anda sudah dikumpulkan dan dilakukan, apa yang mungkin Anda lakukan adalah PCA atau yang sejenisnya, dan lihat apakah Anda bisa merasakan perbedaannya. dokter (atau pasien) klaster.
Apakah pasien terpapar ke semua dokter pada saat yang sama (misalnya melalui rekaman video) atau apakah mereka terpapar secara berurutan, dan memiliki kesempatan untuk mengubah presentasi mereka dengan setiap interaksi? Jika yang terakhir, maka mungkin ada masalah dengan pasien, dan bukan dokter.
