Peserta dinilai dua kali, dengan 2 peringkat dipisahkan oleh 3 tahun. Untuk sebagian besar peserta peringkat dilakukan oleh penilai yang berbeda, tetapi untuk beberapa (<10%) penilai yang sama melakukan kedua peringkat. Ada 8 penilai sama sekali, dengan 2 melakukan penilaian di kedua titik waktu.
Sekarang, karena peringkat adalah aspek kemampuan dengan nilai "benar" hipotetis, maka kesepakatan absolut antara penilai lebih menarik, daripada konsistensi. Namun, karena peringkat diambil 3 tahun terpisah, mungkin ada (dan mungkin ada) beberapa perubahan nyata dalam kemampuan.
- Apa yang akan menjadi tes keandalan terbaik dalam kasus ini?
- Saya condong ke arah korelasi intra-kelas, tetapi apakah ICC1 yang terbaik yang bisa saya lakukan dengan data ini?