Bisakah seseorang mengurangi jumlah item secara valid dalam skala Likert yang diterbitkan?

[suntingan dilakukan sebagai tanggapan terhadap umpan balik- terima kasih :-)]

Doh! Lebih banyak pengeditan! Maaf!

Halo-

Saya melakukan pengumpulan data yang agak kasar dan siap dengan survei yang dikirim ke staf kesehatan menggunakan skala yang dipublikasikan tentang moral dan masalah-masalah lain semacam itu.

Satu-satunya hal adalah bahwa skalanya agak panjang dengan semua hal lain dalam survei dan saya ingin mengurangi ukurannya dengan memotong setiap subskala menjadi dua dan hanya menggunakan setengah item. Intuisi saya adalah bahwa ini baik-baik saja, karena subskala saling berkorelasi, dan meskipun tidak ideal untuk penelitian standar publikasi, tidak apa-apa hanya untuk sedikit pencarian fakta intra-organisasi.

Saya bertanya-tanya apakah ada yang punya pemikiran tentang validitas melakukan ini, jebakan, atau apa pun. Daftar pustaka terutama diterima dengan rasa terima kasih karena kolega saya perlu diyakinkan!

Terima kasih banyak, Chris B

suntingan-

Ya itu adalah skala yang divalidasi dengan sifat psikometrik yang dikenal.

Ini unidimensional dan memiliki subskala, jika itu cara yang tepat untuk menggambarkannya.

Saya akan bekerja di subskala dan total, bukan item, level.

30 item, mungkin sekitar 40-60 individu.

Bersulang!

Meskipun masih ada beberapa informasi yang kurang (No. individu dan item per subskala), berikut adalah beberapa petunjuk umum tentang pengurangan skala. Juga, karena Anda bekerja di tingkat kuesioner, saya tidak melihat mengapa panjangnya sangat penting (setelah semua, Anda hanya akan memberikan statistik ringkasan, seperti skor total atau rata-rata).

Saya akan berasumsi bahwa (a) Anda memiliki satu set item K yang mengukur beberapa konstruk yang berkaitan dengan moral, (b) skala "unidimensional" Anda adalah faktor urutan kedua yang mungkin dibagi lagi ke dalam berbagai aspek yang berbeda, (c) Anda ingin kurangi skala Anda menjadi k <item K sehingga meringkas dengan skor skala total akurasi subyek yang cukup sambil menjaga validitas konten skala.

Tentang konten / validitas konstruk skala yang divalidasi ini: Jumlah item sudah pasti dipilih untuk mencerminkan konstruk minat yang terbaik. Dengan mempersingkat kuesioner, Anda sebenarnya mengurangi cakupan konstruk. Akan lebih baik untuk memeriksa bahwa struktur faktor tetap sama ketika mempertimbangkan hanya setengah dari item (yang juga bisa berdampak pada cara Anda memilihnya, setelah semua). Ini dapat dilakukan dengan menggunakan teknik FA tradisional. Anda memegang tanggung jawab menafsirkan skala dalam semangat yang mirip dengan penulis.

Tentang reliabilitas skor : Meskipun ini adalah ukuran yang bergantung pada sampel, reliabilitas skor menurun saat menurunkan jumlah item (lih. Formula Spearman-Brown ); Cara lain untuk melihat itu adalah bahwa kesalahan pengukuran standar (SEM) akan meningkat, tetapi lihat Modul Instruksional NCME tentang Kesalahan Pengukuran Standar , oleh Leo M Harvill. Tak perlu dikatakan, itu berlaku untuk setiap indikator yang tergantung pada jumlah item (misalnya, alpha Cronbach yang dapat digunakan untuk memperkirakan satu bentuk keandalan, yaitu konsistensi internal). Semoga ini tidak akan memengaruhi perbandingan antar kelompok berdasarkan skor mentah.

Jadi, rekomendasi saya (cara termudah) adalah:

1. Pilih item Anda untuk memaksimalkan cakupan konstruk; periksa dimensi dengan FA dan cakupan dengan distribusi tanggapan univariat;
2. Bandingkan korelasi antar rata-rata dengan yang dilaporkan sebelumnya;
3. Hitung konsistensi internal untuk skala penuh dan komposit Anda; periksa apakah mereka sesuai dengan statistik yang diterbitkan pada skala asli (tidak perlu menguji apa pun, ini adalah tindakan yang bergantung pada sampel);
4. Uji korelasi linier (atau polikorik, atau peringkat) antara skor asli dan yang dikurangi (sub), untuk memastikan bahwa skor tersebut sebanding (yaitu, bahwa lokasi individu pada sifat laten tidak bervariasi pada tingkat yang luas, sebagaimana diobjektivasikan melalui skor mentah );
5. Jika Anda memiliki variabel spesifik subjek eksternal (misalnya, jenis kelamin, usia, atau ukuran terbaik terkait dengan moral), bandingkan validitas kelompok yang dikenal antara kedua bentuk.

Cara yang sulit adalah mengandalkan Item Response Theory untuk memilih item-item yang membawa informasi maksimum pada pengurangan skala sifat laten sebenarnya adalah salah satu aplikasi terbaiknya. Model untuk item-item politis sebagian dijelaskan dalam utas ini, memvalidasi kuesioner .

Perbarui setelah pembaruan ke-2 Anda

1. Lupakan model IRT untuk barang-barang politis dengan begitu sedikit subjek.
2. Analisis Faktor juga akan menderita karena ukuran sampel yang rendah; Anda akan mendapatkan perkiraan pemuatan faktor yang tidak dapat diandalkan.
3. 30 item dibagi 2 = 15 item (mudah untuk mendapatkan gagasan tentang peningkatan SEM yang sesuai untuk skor total), tetapi itu pasti akan semakin buruk jika Anda mempertimbangkan subskala (ini sebenarnya pertanyaan saya yang ke-2 - Tidak. Item per subskala, jika ada)

Saya kira tidak ada jawaban "ya / tidak" yang jelas untuk pertanyaan Anda. Jika Anda secara acak menjatuhkan item dari sub-skala untuk membuat bentuk pendek dari kuesioner asli, Anda kehilangan validasi psikometrik formulir panjang. Hal-hal yang dapat berubah adalah struktur faktorial dari kuesioner, keandalan sub-skala, korelasi item-total, dll. (Anda akan perhatikan bahwa saya sudah terbiasa dengan pemikiran teori tes klasik, bukan IRT). Plus, Anda tidak dapat menggunakan standarisasi dari kuesioner asli. Itu sebabnya bentuk pendek dari kuesioner yang ditetapkan harus menjalani fase validasi terpisah.

Tergantung pada kebutuhan Anda, namun semua tidak hilang. Anda mungkin tidak memerlukan standardisasi karena Anda hanya ingin membandingkan hasil dalam sampel Anda tanpa membuat penilaian "absolut" sehubungan dengan populasi referensi. IMHO, itu akan menjadi nilai tambah jika Anda memiliki kesempatan untuk memvalidasi formulir pendek dengan bentuk asli setidaknya untuk sub-sampel grup Anda. Ini memungkinkan Anda untuk melihat apakah hasilnya serupa.

Namun secara umum, hasil kuesioner sangat sensitif terhadap komposisi itemnya. Orang tidak secara robotis mengisi kuesioner tetapi membuat segala macam asumsi diam-diam dan kesimpulan kognitif: "apa ini sebenarnya?", "Apa yang saya harapkan untuk dilaporkan di sini?", "Apa yang sebenarnya ingin mereka ketahui?". Ini bisa sangat dipengaruhi oleh konteks item yang diberikan, lih. Schwarz, N. 1996. Kognisi dan Komunikasi: Bias Penghakiman, Metode Penelitian, dan Logika Percakapan. Mahwah, NJ: Lawrence Erlbaum.

Saya akan menambahkan satu poin.

Waspadai perbedaan antara kelompok (misalnya, membandingkan rata-rata kelompok dari waktu ke waktu) dan pengukuran tingkat individu (misalnya, skor yang berkorelasi pada skala dengan skala lain di tingkat individu).

Keandalan berlaku secara berbeda untuk dua level. Mungkin penyederhanaan berikut membantu:

• Keandalan pengukuran tingkat kelompok sangat dipengaruhi oleh jumlah peserta yang Anda miliki dan tingkat variabilitas sebenarnya di tingkat kelompok.
• Keandalan pengukuran tingkat individu sangat dipengaruhi oleh jumlah item yang Anda miliki dan sejauh mana individu benar-benar bervariasi.

Satu referensi yang menurut Anda berguna untuk ini:

STANTON, JM, SINAR, EF, BALZER, WK dan SMITH, PC (2002), MASALAH DAN STRATEGI UNTUK MENGURANGI PANJANG SKALA LAPORAN DIRI. Personil Psikologi, 55: 167–194.