Memvalidasi kuesioner

Saya merancang kuesioner untuk disertasi saya. Saya sedang dalam proses memvalidasi kuesioner saya telah menerapkan tes alpha Cronbach untuk kelompok sampel awal. Tanggapan terhadap kuesioner berada pada skala Likert; Adakah yang bisa menyarankan tes lebih lanjut untuk diterapkan untuk membantu menguji validitasnya. Saya bukan ahli statistik sehingga bantuan apa pun akan dihargai.

Saya telah melakukan beberapa penelitian dan tampaknya saya dapat melakukan analisis Rasch adakah yang punya situs perangkat lunak gratis untuk menerapkan tes dan saran ini?

Saya akan berasumsi bahwa kuesioner Anda dianggap sebagai satu skala unidimensional (jika tidak, alpha Cronbach tidak masuk akal). Perlu menjalankan analisis faktor eksplorasi untuk memeriksa hal itu. Ini juga akan memungkinkan Anda untuk melihat bagaimana item berhubungan dengan skala (yaitu, melalui pemuatannya).

Langkah-langkah dasar untuk memvalidasi item Anda dan skala Anda harus mencakup:

• laporan lengkap tentang statistik dasar item (rentang, kuartil, kecenderungan pusat, efek langit-langit dan lantai jika ada);
• memeriksa konsistensi internal seperti yang Anda lakukan dengan alpha Anda (terbaik, berikan interval kepercayaan 95%, karena itu tergantung pada sampel);
• menggambarkan ukuran ringkasan Anda (misalnya, skor total atau rata-rata, skor skala alias) dengan statistik biasa (histogram + kepadatan, kuantil dll.);
• periksa tanggapan ringkasan Anda terhadap kovariat tertentu yang seharusnya terkait dengan konstruk yang Anda nilai - ini disebut sebagai validitas kelompok yang dikenal;
• jika mungkin, periksa respons ringkasan Anda terhadap instrumen yang dikenal yang mengaku mengukur konstruk yang sama ( validitas konkuren atau konvergen).

Jika skala Anda bukan unidimensional, langkah-langkah ini harus dilakukan untuk setiap subskala, dan Anda juga bisa memfaktorkan matriks korelasi faktor Anda untuk menilai struktur faktor urutan kedua (atau menggunakan pemodelan persamaan struktural, atau analisis faktor konfirmatori, atau Apapun yang kamu mau). Anda juga dapat menilai validitas konvergen dan diskriminan dengan menggunakan penskalaan multi-sifat atau pemodelan multi-sifat multi-sifat (berdasarkan korelasi antar-item di dalam dan di antara skala), atau, sekali lagi, SEM.

Kemudian, saya akan mengatakan bahwa Teori Respons Item tidak akan banyak membantu kecuali Anda tertarik untuk mempersingkat kuesioner Anda, memfilter beberapa item yang menunjukkan fungsi item diferensial , atau menggunakan tes Anda dalam beberapa jenis tes adaptif komputer .

Bagaimanapun, model Rasch adalah untuk item biner. Untuk barang pesanan politekom, model yang paling umum digunakan adalah:

• model respon bertingkat
• model kredit parsial
• model skala peringkat.

Hanya dua yang terakhir berasal dari keluarga Rasch, dan mereka pada dasarnya menggunakan formulasi peluang yang berdekatan, dengan gagasan bahwa subjek harus "melewati" beberapa ambang batas untuk mendukung kategori respons yang diberikan. Perbedaan antara kedua model ini adalah bahwa PCM tidak memaksakan bahwa ambang diberi jarak yang sama pada skala theta ( kemampuan , atau lokasi subjek pada sifat laten). Model respons bertingkat bergantung pada formulasi peluang kumulatif. Ketahuilah bahwa semua model ini menganggap bahwa skalanya adalah unidimensional; yaitu, hanya ada satu sifat laten. Ada asumsi tambahan seperti, misalnya, independensi lokal (yaitu, korelasi antara respons dijelaskan oleh variasi pada skala kemampuan).

Lagi pula, Anda akan menemukan dokumentasi yang sangat lengkap dan petunjuk yang berguna untuk menerapkan metode psikometrik di R volume 20 dari Journal of Software statistik: Volume khusus: Psikometrik di R . Pada dasarnya, kebanyakan paket menarik R yang saya gunakan dalam pekerjaan sehari-hari saya adalah: ltm , erm , psikologi , psy . Yang lain dirujuk pada tampilan tugas CRAN Psychometrics . Sumber daya lain yang menarik adalah:

• Catatan tentang penggunaan R untuk eksperimen dan kuesioner psikologi
• Menggunakan R untuk penelitian psikologis (W. Revelle sebenarnya menulis buku tentang psikometrik dalam R )
• yang PsychoR proyek (tidak fokus pada IRT dan pengembangan skala, meskipun).

Tinjauan yang baik tentang penggunaan FA vs IRT dalam pengembangan skala dapat ditemukan dalam konstruksi Skala dan evaluasi dalam praktik: Tinjauan analisis faktor versus aplikasi teori respons item , oleh sepuluh Holt et al (Uji Psikologis dan Penilaian Modeling (2010) 52 (3): 272-297).

Sambil mendukung semua yang dikatakan di atas, saya sarankan Anda melakukan hal berikut (dalam urutan yang cukup mirip)

Pertama, Anda harus menggunakan R, jika tidak Anda harus mulai. Saran berikut didasarkan pada penggunaan R.

Saya akan berasumsi bahwa Anda telah, pada saat ini, menghitung statistik deskriptif dkk. Jika tidak, paket psik tersebut memiliki fungsi uraikan () yang akan memberi Anda statistik yang Anda butuhkan.

Instal paket psik dari CRAN. Memuat paket psikis. Gunakan rutin fa.parallel pada data Anda. Ini akan memberi Anda sejumlah faktor untuk dipertahankan. Kemudian, gunakan VSS (rutin). Ini menghitung kriteria MAP yang memberi Anda sejumlah faktor (biasanya) yang berbeda untuk dipertahankan. Gunakan bentuk analisis faktor (bukan komponen utama) dan rotasi miring untuk setiap jumlah faktor. Jika faktor Anda tampaknya tidak berkorelasi setelah rotasi miring, beralihlah ke rotasi orhogonal. Ini karena struktur ortogonal dapat ditentukan dari rotasi miring, tetapi tidak sebaliknya.

Ekstrak semua solusi faktor antara kriteria MAP dan kriteria analisis paralel. Tentukan yang mana yang memiliki indeks kecocokan terbaik dan paling masuk akal. Ini yang harus kamu pertahankan.

Pada IRT, setelah menggunakan ltm dan eRm, saya akan menyarankan mulai dengan eRm. Ini memiliki fungsi grafis yang lebih baik untuk model Anda, dan dukungan untuk model-model politis lebih besar. Yang sedang berkata, itu hanya cocok untuk model Rasch, dan seringkali data dari kuesioner psikologis tidak memenuhi persyaratan untuk mereka. Semoga berhasil! Psikometrik sangat menyenangkan, karena Anda pasti akan menemukannya.

Memvalidasi kuesioner berarti membuktikannya mengukur apa yang seharusnya diukur. Jadi saya katakan, ini sebagian besar bukan pertanyaan statistik dan tidak dapat dijawab tanpa mengetahui konten spesifik kuesioner Anda. Alpha cronbach bukan tentang validitas, tapi tentang konsistensi internal, yang agak berkaitan dengan keandalan (atau satu dapat mengatakan itu adalah keandalan menganggap pertanyaan Anda yang dipertukarkan - tapi mereka tidak).

Jadi apa yang bisa Anda lakukan untuk memvalidasi kuesioner Anda? Anda dapat mempelajari proses psikologis mana yang menimbulkan pola hasil tertentu (misalnya dengan mencoba menginduksi pola tersebut dengan manipulasi eksperimental, atau menggunakan prosedur berpikir-keras ["analisis protokol", Ericsson & Simon, 1992]). Atau bandingkan beberapa kelompok yang berbeda (misalnya pasien dengan kontrol) yang seharusnya memiliki skor yang berbeda. Atau korelasikan dengan kriteria eksternal yang harus dikorelasikan dengan sifat yang Anda ukur. Atau ukur sifat dengan Psychoscope (TM) dan gunakan itu sebagai kriteria.

Jawaban lain lebih berguna dalam menunjukkan apa yang mungkin dapat Anda lakukan secara realistis - meskipun sebagian besar, sebenarnya, bukan tentang validitas (tidak termasuk referensi Chi untuk "validitas kelompok yang dikenal" dan validitas eksternal).

Lihat juga Markus & Borsboom (2013) untuk pendekatan modern terhadap validitas (ini dan beberapa beranda referensi berguna @ Borsboom ).