PERTANYAAN:
Saya memiliki data biner pada pertanyaan ujian (benar / salah). Beberapa individu mungkin memiliki akses sebelumnya ke subset pertanyaan dan jawaban yang benar. Saya tidak tahu siapa, berapa banyak, atau yang mana. Jika tidak ada kecurangan, anggaplah saya akan memodelkan kemungkinan respons yang benar untuk item sebagai , di mana \ beta_i mewakili kesulitan pertanyaan dan z adalah kemampuan laten individu. Ini adalah model respons barang yang sangat sederhana yang dapat diperkirakan dengan fungsi seperti ltm's rasch () di R. Selain perkiraan \ hat {z} _j (di mana j indeks individu) dari variabel laten, saya memiliki akses ke perkiraan terpisah \ hat {q} _jj q j dari variabel laten yang sama yang berasal dari dataset lain di mana kecurangan tidak dimungkinkan.
Tujuannya adalah untuk mengidentifikasi orang-orang yang kemungkinan curang dan barang yang mereka sukai. Apa saja pendekatan yang mungkin Anda ambil? Selain data mentah, , , dan semuanya tersedia, meskipun dua yang pertama akan memiliki beberapa bias karena kecurangan. Idealnya, solusinya akan datang dalam bentuk pengelompokan / klasifikasi probabilistik, meskipun ini tidak perlu. Ide-ide praktis sangat disambut baik seperti pendekatan formal.
Sejauh ini, saya telah membandingkan korelasi skor pertanyaan untuk pasangan individu dengan skor lebih tinggi vs rendah (di mana adalah indeks kasar probabilitas yang mereka kecurangan). Sebagai contoh, saya mengurutkan individu berdasarkan dan kemudian merencanakan korelasi pasangan skor pertanyaan individu. Saya juga mencoba memplot korelasi rata-rata skor untuk individu yang nilai lebih besar dari jumlah kuantil dari , sebagai fungsi dari . Tidak ada pola yang jelas untuk kedua pendekatan tersebut.
MEMPERBARUI:
Saya akhirnya menggabungkan ide-ide dari @SheldonCooper dan makalah Freakonomics yang membantu yang ditunjukkan @whuber. Selamat datang ide / komentar / kritik lainnya.
Biarkan menjadi skor biner orang pada pertanyaan . Perkirakan logit model respons item (Pr (X_ {ij} = 1 | z_j) = \ beta_i + z_j, di
Probabilitas skor yang diamati , tergantung pada kemudahan item dan kemampuan orang, dapat ditulis mana adalah probabilitas prediksi dari respons yang benar, dan adalah logit. Kemudian, tergantung pada karakteristik item dan orang, probabilitas gabungan bahwa orang memiliki pengamatan adalah dan juga, probabilitas gabungan bahwa item memiliki pengamatan p i j = P r ( X i j = x i j | ^ β i , ^ q j ) = P i j ( ^ β i , ^ q j ) x i j ( 1 - P i j ( ^ β i i j , P i j ( ^ β
Langkah tambahan yang saya coba adalah mengambil r% dari orang yang paling tidak mungkin (yaitu orang dengan r% terendah dari nilai p_j yang diurutkan), menghitung jarak rata-rata antara skor yang diamati x_j (yang harus dikorelasikan untuk orang dengan r rendah, yang kemungkinan curang), dan plot untuk r = 0,001, 0,002, ..., 1.000. Jarak rata-rata meningkat untuk r = 0,001 ke r = 0,025, mencapai maksimum, dan kemudian menurun perlahan ke minimum pada r = 1. Tidak persis apa yang saya harapkan.
sumber
Jawaban:
Pendekatan ad hoc
Saya berasumsi bahwa cukup dapat diandalkan karena diperkirakan pada banyak siswa, kebanyakan dari mereka tidak curang pada pertanyaan . Untuk setiap siswa , urutkan pertanyaan dengan urutan kesulitan yang meningkat, hitung (perhatikan bahwa i j β i + q j q jβi i j βi+qj qj hanyalah offset konstan) dan memberinya ambang batas di tempat yang wajar (mis. p (benar) <0,6). Ini memberikan serangkaian pertanyaan yang tidak mungkin dijawab oleh siswa dengan benar. Anda sekarang dapat menggunakan pengujian hipotesis untuk melihat apakah ini dilanggar, dalam hal ini siswa mungkin ditipu (dengan asumsi tentu saja model Anda benar). Satu peringatan adalah bahwa jika ada beberapa pertanyaan seperti itu, Anda mungkin tidak memiliki data yang cukup agar tes dapat diandalkan. Juga, saya pikir tidak mungkin untuk menentukan pertanyaan yang dia selingkuh, karena dia selalu memiliki peluang 50% untuk menebak. Tetapi jika Anda berasumsi bahwa banyak siswa mendapat akses ke (dan ditipu) pada rangkaian pertanyaan yang sama, Anda dapat membandingkan ini di antara siswa dan melihat pertanyaan yang dijawab lebih sering daripada kebetulan.
Anda dapat melakukan trik serupa dengan pertanyaan. Yaitu untuk setiap pertanyaan, urutkan siswa berdasarkan , tambahkan (ini sekarang merupakan offset konstan) dan ambang batas pada probabilitas 0,6. Ini memberi Anda daftar siswa yang seharusnya tidak dapat menjawab pertanyaan ini dengan benar. Jadi mereka memiliki peluang 60% untuk menebak. Sekali lagi, lakukan pengujian hipotesis dan lihat apakah ini dilanggar. Ini hanya berfungsi jika sebagian besar siswa menyontek pada set pertanyaan yang sama (misalnya jika sebagian pertanyaan 'bocor' sebelum ujian).β iqj βi
Pendekatan berprinsip
Untuk setiap siswa, ada variabel biner dengan Bernoulli sebelumnya dengan beberapa probabilitas yang sesuai, yang menunjukkan apakah siswa tersebut seorang penipu. Untuk setiap pertanyaan ada variabel biner , sekali lagi dengan beberapa Bernoulli yang cocok sebelumnya, yang menunjukkan apakah pertanyaan itu bocor. Lalu ada satu set variabel biner , yang menunjukkan apakah siswa menjawab pertanyaan dengan benar. Jika dan , maka distribusi adalah Bernoulli dengan probabilitas 0,99. Kalau tidak, distribusinya adalah . Ini adalah variabel yang diamati.l i a i j j i c j = 1 l i = 1 a i j l o g i t ( β i + q j ) a i j c j l icj li aij j i cj=1 li=1 aij logit(βi+qj) aij cj dan disembunyikan dan harus disimpulkan. Anda mungkin dapat melakukannya dengan sampling Gibbs. Tetapi pendekatan lain mungkin juga layak, mungkin sesuatu yang terkait dengan biclustering.li
sumber
Jika Anda ingin masuk ke beberapa pendekatan yang lebih kompleks, Anda mungkin melihat model teori respons item. Anda kemudian dapat memodelkan kesulitan dari setiap pertanyaan. Siswa yang mendapatkan barang-barang sulit dengan benar dan kehilangan barang yang lebih mudah, saya pikir, lebih mungkin untuk berbuat curang daripada mereka yang melakukan hal sebaliknya.
Sudah lebih dari satu dekade sejak saya melakukan hal semacam ini, tapi saya pikir itu bisa menjanjikan. Untuk lebih detail, lihat buku psikometrik
sumber