12 guru mengajar 600 siswa. 12 kohort yang diajarkan oleh guru-guru ini memiliki ukuran dari 40 hingga 90 siswa, dan kami mengharapkan perbedaan sistematis antara kohort, karena siswa pascasarjana dialokasikan secara tidak proporsional ke kohort tertentu, dan pengalaman sebelumnya telah menunjukkan bahwa skor rata-rata siswa pascasarjana jauh lebih tinggi daripada para mahasiswa sarjana.
Para guru telah menilai semua kertas dalam kelompok mereka, dan telah memberi mereka nilai dari 100.
Setiap guru juga telah melihat satu kertas yang dipilih secara acak dari tiga guru lain, dan memberinya nilai 100. Setiap guru memiliki tiga kertasnya yang ditandai oleh guru lain. 36 makalah yang berbeda telah ditandai dengan cara ini, dan saya menyebutnya data kalibrasi saya.
Saya juga bisa melihat berapa banyak mahasiswa pascasarjana di setiap kelompok.
Pertanyaan saya adalah:
A) Bagaimana saya bisa menggunakan data kalibrasi ini untuk menyesuaikan tanda asli agar lebih adil? Secara khusus, saya ingin menghapus sebanyak mungkin efek dari pembuat yang terlalu dermawan / tidak ramah.
B) Seberapa tepat data kalibrasi saya? Saya tidak punya pilihan dalam 36 titik data data kalibrasi yang agak terbatas yang saya dapatkan dalam kursus ini, dan tidak memiliki pilihan untuk mengumpulkan lagi selama semester saat ini. Namun, jika situasi ini berulang, saya mungkin dapat mengumpulkan lebih banyak data kalibrasi atau mengumpulkan berbagai jenis data kalibrasi.
Pertanyaan ini adalah kerabat dari pertanyaan populer yang saya ajukan di: Bagaimana saya bisa menangani efek spidol dengan tingkat kemurahan hati yang berbeda dalam menilai makalah siswa? . Namun, ini kursus yang berbeda dan saya tidak yakin seberapa berguna membaca pertanyaan itu sebagai latar belakang untuk pertanyaan saat ini, karena masalah utamanya adalah saya tidak punya data kalibrasi.
sumber
lm(score ~ gradStudent + ... + teacherID
harus melakukannya.Inilah beberapa pendekatan terkait.
Ambil set kertas yang ditandai oleh lebih dari satu guru, karena itu berisi informasi paling banyak tentang efek guru dan di luar kertas itu, guru dan efek kohort dikacaukan (jika ada cara untuk mendapatkan efek kohort - mungkin melalui IPK atau beberapa prediktor lain, misalnya, maka Anda dapat menggunakan semua data, tetapi itu akan sedikit menyulitkan model).
Pertama-tama Anda harus mempertimbangkan model Anda untuk bagaimana efek marker berlaku. Apakah itu aditif? Apakah ini multiplikasi? Apakah Anda perlu khawatir tentang efek batas (mis. Apakah efek aditif atau multiplikatif pada skala logit akan lebih baik)?
(Anda tidak akan memiliki cukup data di sini untuk memperkirakan bentuk kemurahan hati serta ukurannya. Anda harus memilih model dari pemahaman Anda tentang situasi tersebut. Anda juga harus mengabaikan segala kemungkinan interaksi; Anda tidak perlu punya data untuk itu)
Kemungkinan 1 - model aditif polos. Ini mungkin cocok jika tidak ada tanda yang mendekati 0 atau 100:
Ini pada dasarnya adalah ANOVA dua arah. Anda memerlukan batasan pada ini, sehingga Anda dapat mengatur penyimpangan pengkodean / mengatur model sehingga efek penanda adalah 0, atau Anda dapat mengatur model di mana satu penanda adalah garis dasar (yang efeknya adalah 0, dan yang memiliki tanda Anda akan mencoba menyesuaikan setiap penanda lainnya ke arah).
sumber