Metode reliabilitas antar penilai mana yang paling tepat untuk data ordinal atau interval? Saya percaya bahwa "Probabilitas kesepakatan bersama" atau "Kappa" dirancang untuk data nominal. Sementara "Pearson" dan "Spearman" dapat digunakan, mereka terutama digunakan untuk dua penilai (meskipun...
Jika Anda membaca buletin komunitas akhir-akhir ini, kemungkinan Anda telah melihat The Hunting of the Snark, sebuah posting di blog resmi StackExchange oleh Joel Spolsky, CEO jaringan StackExchange. Dia membahas analisis statistik yang dilakukan pada sampel komentar SE untuk mengevaluasi...
Saya memiliki beberapa coder independen yang mencoba mengidentifikasi peristiwa dalam rangkaian waktu - dalam hal ini, menonton video percakapan tatap muka dan mencari perilaku nonverbal tertentu (misalnya, anggukan kepala) dan mengkode waktu dan kategori masing-masing peristiwa. Data ini dapat...
Sekitar 600 siswa memiliki skor pada penilaian yang luas, yang dapat dianggap memiliki keandalan / validitas yang baik. Penilaian dinilai dari 100, dan ini merupakan tes pilihan ganda yang ditandai oleh komputer. Ke-600 siswa itu juga mendapat nilai pada penilaian kedua, minor,. Dalam penilaian...
Wikipedia menyarankan bahwa salah satu cara untuk melihat reliabilitas antar penilai adalah dengan menggunakan model efek acak untuk menghitung korelasi intraclass . Contoh pembicaraan korelasi intraclass tentang
12 guru mengajar 600 siswa. 12 kohort yang diajarkan oleh guru-guru ini memiliki ukuran dari 40 hingga 90 siswa, dan kami mengharapkan perbedaan sistematis antara kohort, karena siswa pascasarjana dialokasikan secara tidak proporsional ke kohort tertentu, dan pengalaman sebelumnya telah menunjukkan...
Koefisien korelasi Matthews ( ) adalah ukuran untuk mengukur kualitas klasifikasi biner ([Wikipedia] [1]). diberikan untuk klasifikasi biner yang menggunakan true positive ( ), false positive ( ), false negative ( ), dan nilai true negative ( ) seperti yang diberikan di bawah
Latar belakang: Delapan dokter masing-masing menilai 54 pasien yang sama pada ukuran persuasif (skala 1-7 Likert). Nilai rata-rata pada ukuran persuasif pada akhirnya akan menjadi ukuran hasil percobaan saya. Reliabilitas antar penilai dikuantifikasi sebagai koefisien korelasi intraclass (ICC),...
Saya memiliki kumpulan data 11.000+ item berbeda, yang masing-masing diklasifikasikan pada skala nominal oleh setidaknya 3 penilai berbeda di Mechanical Turk Amazon . 88 penilai yang berbeda memberikan penilaian untuk tugas tersebut, dan tidak ada penilai yang menyelesaikan lebih dari 800...
Peserta dinilai dua kali, dengan 2 peringkat dipisahkan oleh 3 tahun. Untuk sebagian besar peserta peringkat dilakukan oleh penilai yang berbeda, tetapi untuk beberapa (<10%) penilai yang sama melakukan kedua peringkat. Ada 8 penilai sama sekali, dengan 2 melakukan penilaian di kedua titik...
Saya telah membaca komentar yang bagus mengenai bagaimana menangani nilai yang hilang sebelum menerapkan SVD, tetapi saya ingin tahu cara kerjanya dengan contoh sederhana: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Mengingat matriks di atas, jika saya menghapus...