Identifikasi pertanyaan yang tidak berguna dari kuesioner

12

Saya sedang mengembangkan kuesioner. Untuk meningkatkan keandalan dan validitasnya, saya ingin menggunakan metode statistik.

Saya ingin menghilangkan pertanyaan yang jawabannya selalu sama. Ini berarti bahwa hampir semua peserta memberikan jawaban yang sama pada pertanyaan-pertanyaan itu.

Sekarang pertanyaan saya adalah:

  1. Apa istilah teknis untuk pertanyaan tidak berguna yang jawabannya selalu sama, terlepas dari konteks penggunaan?
  2. Apa metode untuk mengidentifikasi pertanyaan seperti itu?
survey reliability psychometrics validity Maks
sumber
4
Saya tidak tahu nama khusus untuk pertanyaan di mana semua orang memberikan jawaban yang sama (mungkin orang lain melakukannya). Saya mungkin akan menyebut mereka 'tidak informatif'. Mereka mungkin tidak menyebabkan banyak kerugian selain membuang waktu responden. Anda harus menyingkirkannya, tetapi saya mungkin lebih fokus secara umum untuk menemukan & menghapus pertanyaan yang tidak berkorelasi dengan ('memuat') variabel laten yang ingin Anda nilai.
gung - Reinstate Monica
7
Salah satu aturan praktis adalah bahwa jika 80% responden memberikan jawaban yang sama, pertanyaannya tidak informatif. TAPI - terkadang Anda ingin tahu itu. "Apakah Anda seorang pembunuh" bukanlah pertanyaan informatif menurut aturan itu, tetapi Anda benar-benar ingin mengetahuinya sebelum mendapat teman sekamar baru. Jadi tidak ada aturan yang keras dan cepat.
Jeremy Miles
4
Pertanyaan seperti itu (dengan variabilitas sangat rendah) buruk sebagai ukuran sifat mereka. Tetapi mereka kadang-kadang disertakan dan bermanfaat untuk melacak pembohong atau responden yang lalai.
ttnphns

Jawaban:

9

Baik teori uji klasik (CTT) maupun teori respons item (IRT) dapat memberikan panduan sejauh mana item berkontribusi terhadap sifat laten yang ingin Anda ukur, dan mana yang tidak. Dengan CTT, pertimbangkan 1) kesulitan item, 2) korelasi item dengan skor total, 3) varian item, dan 4) dampak pada estimasi konsistensi internal (misalnya, alpha Cronbach) jika item tersebut dihapus.

Item yang terlalu mudah atau terlalu sulit cenderung tidak membantu memisahkan subjek (membedakan antara skor tinggi dan skor rendah). Kecuali jika Anda tertarik untuk mengukur perbedaan antara pemain berkinerja terbaik, pertanyaan yang sangat sulit harus dipertimbangkan untuk dihapus. Dalam nada yang sama, item yang sangat mudah hanya cocok jika Anda tertarik dengan kinerja berkinerja rendah.

Semua item harus berkorelasi positif dengan skor total dan Anda dapat menetapkan batas bawah untuk korelasi sekitar 0,20 sebagai panduan. Korelasi yang rendah atau korelasi negatif dapat menunjukkan bahwa ada masalah kata dalam kuesioner Anda dan bahwa pertanyaan harus dibalikkan.

Item dengan varians rendah (variabilitas skor) harus dipertimbangkan untuk dihapus karena mereka tidak memisahkan subjek dan tidak berkontribusi pada informasi yang dikumpulkan dari survei. Item dengan varians sangat tinggi mungkin mengukur sesuatu yang lain dari konstruk / sifat yang ingin Anda ukur.

Jika perkiraan konsistensi internal meningkat dengan item dihapus, maka item harus dipertimbangkan untuk dihapus, atau diucapkan kembali.

Item yang setiap orang benar kadang-kadang merupakan item maksimum dan setiap orang salah terkadang disebut item minimum. Mereka tidak berkontribusi pada informasi yang Anda coba kumpulkan.

Jika Anda mengembangkan kuesioner berisiko tinggi atau berencana memasarkan kuesioner, Anda harus mempertimbangkan IRT. Namun, ini adalah area subjek yang luas dan kecuali Anda benar-benar tertarik, tidak mungkin ada ruang untuk membahasnya di sini.

Semoga ini membantu.

sial
sumber
4

Saya percaya apa yang Anda cari adalah Item Response Theory. Pertanyaan "tidak berguna" yang Anda rujuk adalah item dengan diskriminasi buruk. Dengan menggunakan analisis IRT, Anda dapat menghitung diskriminasi, kesulitan, dan probabilitas terkait untuk menebak item oleh peserta survei. Program R memiliki paket yang mudah untuk menggunakan IRT dan saya membayangkan paket perangkat lunak statistik lainnya juga.

Jika Anda ingin ikhtisar cepat inilah halaman wikipedia, tetapi saya akan menyarankan untuk meneliti lebih lanjut. http://en.wikipedia.org/wiki/Item_response_theory

StatiStudent
sumber