Menilai keandalan kuesioner: dimensi, item bermasalah, dan apakah akan menggunakan alpha, lambda6 atau indeks lainnya?

Saya menganalisis skor yang diberikan oleh peserta yang menghadiri percobaan. Saya ingin memperkirakan keandalan kuesioner saya yang terdiri dari 6 item yang bertujuan memperkirakan sikap para peserta terhadap suatu produk.

Saya menghitung alpha Cronbach memperlakukan semua item sebagai skala tunggal (alpha sekitar 0,6) dan menghapus satu item sekaligus (max alpha sekitar 0,72). Saya tahu bahwa alpha dapat diremehkan dan diremehkan tergantung pada jumlah item dan dimensi konstruk yang mendasarinya. Jadi saya juga melakukan PCA. Analisis ini mengungkapkan bahwa ada tiga komponen utama yang menjelaskan sekitar 80% dari varian. Jadi, pertanyaan saya adalah semua tentang bagaimana saya bisa melanjutkan sekarang?

• Apakah saya perlu melakukan perhitungan alpha pada masing-masing dimensi ini?
• Apakah saya telah menghapus item yang memengaruhi keandalan?

Selanjutnya, mencari di web saya menemukan ada ukuran lain keandalan: lambda6 guttman.

• Apa perbedaan utama antara ukuran ini dan alpha?
• Apa nilai lambda yang baik?

Saya pikir @Jeromy sudah mengatakan yang penting jadi saya akan berkonsentrasi pada langkah-langkah keandalan.

Alfa Cronbach adalah indeks tergantung sampel yang digunakan untuk memastikan batas bawah dari keandalan suatu instrumen. Ini tidak lebih dari indikator varian yang dibagikan oleh semua item yang dipertimbangkan dalam perhitungan skor skala. Oleh karena itu, tidak boleh dikacaukan dengan ukuran keandalan mutlak, juga tidak berlaku untuk instrumen multidimensi secara keseluruhan. Akibatnya, asumsi-asumsi berikut dibuat: (a) tidak ada korelasi residual, (b) item memiliki muatan yang identik, dan (c) skalanya adalah unidimensional. Ini berarti bahwa satu-satunya kasus di mana alpha pada dasarnya sama dengan keandalanadalah kasus pemuatan faktor yang seragam tinggi, tidak ada kovarian kesalahan, dan instrumen unidimensional (1). Karena ketepatannya bergantung pada kesalahan standar antar item, hal itu tergantung pada penyebaran korelasi item, yang berarti bahwa alpha akan mencerminkan kisaran korelasi ini terlepas dari sumber atau sumber dari rentang tertentu ini (misalnya, kesalahan pengukuran atau multidimensi). Poin ini sebagian besar dibahas dalam (2). Perlu dicatat bahwa ketika alfa adalah 0,70, ambang reliabilitas yang dirujuk secara luas untuk tujuan perbandingan kelompok (3,4), kesalahan standar pengukuran akan lebih dari setengah (0,55) standar deviasi. Selain itu, alpha Cronbach adalah ukuran konsistensi internal , itu bukan ukuran unidimensionality dan tidak dapat digunakan untuk menyimpulkan unidimensionality (5). Akhirnya, kami dapat mengutip LJ Cronbach sendiri,

Koefisien adalah perangkat kasar yang tidak membawa ke permukaan banyak subtilitas yang tersirat oleh komponen varians. Secara khusus, interpretasi yang dibuat dalam penilaian saat ini paling baik dievaluasi melalui penggunaan standar kesalahan pengukuran. --- Cronbach & Shavelson, (6)

Ada banyak jebakan lain yang sebagian besar dibahas dalam beberapa makalah dalam 10 tahun terakhir (misalnya, 7-10).

$\lambda_3$$\lambda_6$$\omega_t$$\omega_h$ (Alih-alih menggunakan korelasi berganda kuadrat, kami menggunakan keunikan item yang ditentukan dari model FA) atau Revelle $\beta$ (ganti FA dengan analisis hierarki klaster, untuk diskusi yang lebih umum lihat (12,13)), dan berikan perbandingan berbasis simulasi dari semua indeks.

Referensi

1. Raykov, T. (1997). Skala keandalan, koefisien Cronbach's alpha, dan pelanggaran tau-kesetaraan penting untuk komponen congeneric tetap. Penelitian Perilaku Multivariat , 32, 329-354.
2. Cortina, JM (1993). Apa itu Koefisien Alpha? Pemeriksaan Teori dan Aplikasi . Jurnal Psikologi Terapan , 78 (1), 98-104.
3. Nunnally, JC dan Bernstein, IH (1994). Teori Psikometri . Seri McGraw-Hill dalam Psikologi, Edisi ketiga.
4. De Vaus, D. (2002). Menganalisis data ilmu sosial . London: Sage Publications.
5. Danes, JE dan Mann, OK. (1984). Pengukuran unidimensional dan model persamaan struktural dengan variabel laten. Jurnal Penelitian Bisnis , 12, 337-352.
6. Cronbach, LJ dan Shavelson, RJ (2004). Pikiran saya saat ini tentang koefisien alpha dan prosedur penerus . Pengukuran Pendidikan dan Psikologis , 64 (3), 391-418.
7. Schmitt, N. (1996). Penggunaan dan Penyalahgunaan Koefisien Alpha . Penilaian Psikologis , 8 (4), 350-353.
8. Iacobucci, D. dan Duhachek, A. (2003). Memajukan Alpha: Mengukur Keandalan Dengan Percaya Diri . Jurnal Psikologi Konsumen , 13 (4), 478-487.
9. Shevlin, M., Miles, JNV, Davies, MNO, dan Walker, S. (2000). Koefisien alpha: indikator keandalan yang bermanfaat? Perbedaan Kepribadian dan Individu , 28, 229-237.
10. Fong, DYT, Ho, SY, dan Lam, TH (2010). Evaluasi keandalan internal dengan adanya tanggapan yang tidak konsisten . Hasil Kesehatan dan Kualitas Hidup , 8, 27.
11. Guttman, L. (1945). Dasar untuk menganalisis reliabilitas tes-tes ulang. Psikometrika , 10 (4), 255-282.
12. Zinbarg, RE, Revelle, W., Yovel, I., dan Li, W. (2005). Cronbach$\alpha$, Milik Revelle $\beta$, dan McDonald's $\omega_h$: Hubungan mereka satu sama lain dan dua alternatif konseptualisasi reliabilitas . Psikometrika , 70 (1), 123-133.
13. Revelle, W. dan Zinbarg, RE (2009) Koefisien alpha, beta, omega and the glb: komentar pada Sijtsma . Psychometrika , 74 (1), 145-154

Inilah beberapa komentar umum:

• PCA : Analisis PCA tidak "mengungkapkan bahwa ada tiga komponen utama". Anda memilih untuk mengekstrak tiga dimensi, atau Anda mengandalkan beberapa aturan praktis standar (biasanya nilai eigen lebih dari 1) untuk memutuskan berapa banyak dimensi untuk diekstraksi. Selain itu, nilai eigen lebih dari satu sering mengekstraksi dimensi lebih daripada berguna.
• Menilai dimensi item: Saya setuju bahwa Anda dapat menggunakan PCA untuk menilai dimensi item tersebut. Namun, saya menemukan bahwa melihat plot scree dapat memberikan panduan yang lebih baik untuk jumlah dimensi. Anda mungkin ingin memeriksa halaman ini oleh William Revelle tentang menilai dimensi skala .
• Bagaimana untuk melanjutkan?
  • Jika skalanya mapan , maka Anda mungkin ingin membiarkannya apa adanya (dengan asumsi propertinya setidaknya masuk akal; meskipun dalam kasus Anda 0,6 relatif buruk menurut sebagian besar standar).
  • Jika skalanya tidak mapan , maka Anda harus mempertimbangkan secara teoritis item apa yang ingin diukur dan untuk tujuan apa Anda ingin menggunakan skala yang dihasilkan. Karena Anda hanya memiliki enam item, Anda tidak memiliki banyak ruang untuk membuat beberapa skala tanpa harus mengurangi jumlah item yang mengkhawatirkan per skala. Bersamaan dengan itu, adalah ide cerdas untuk memeriksa apakah ada item yang bermasalah baik berdasarkan lantai, langit-langit, atau masalah keandalan rendah. Juga, Anda mungkin ingin memeriksa apakah ada barang yang perlu dibalik.
  • Saya mengumpulkan beberapa tautan ke sumber daya umum tentang pengembangan skala yang menurut Anda bermanfaat

Berikut ini menjawab pertanyaan spesifik Anda:

• Apakah saya perlu melakukan perhitungan alpha pada masing-masing dimensi ini?
  • Seperti yang mungkin Anda kumpulkan dari diskusi di atas, saya tidak berpikir Anda harus memperlakukan data Anda seolah-olah Anda memiliki tiga dimensi. Ada berbagai argumen yang bisa Anda buat tergantung pada tujuan dan detail Anda, sehingga sulit untuk mengatakan apa yang harus dilakukan. Dalam kebanyakan kasus, saya ingin membuat setidaknya satu skala yang baik (mungkin menghapus item) daripada tiga skala yang tidak dapat diandalkan.
• Apakah saya telah menghapus item yang memengaruhi keandalan?
  • Terserah kamu. Jika skala ditetapkan, maka Anda dapat memilih untuk tidak melakukannya. Jika ukuran sampel Anda kecil, ini mungkin merupakan anomali pengambilan sampel acak. Namun, secara umum saya akan cenderung menghapus item jika benar-benar menjatuhkan alpha Anda dari 0,72 ke 0,60. Saya juga akan memeriksa apakah item bermasalah ini sebenarnya tidak dimaksudkan untuk dibalik.

Saya akan meninggalkan diskusi lambda 6 ( dibahas oleh William Revelle di sini ) kepada orang lain.