Nasihat tentang konstruksi skala ilmiah

8

Saya telah diberikan satu set 20 item Likert (mulai dari 1-5, ukuran sampel n = 299) dalam bidang penelitian organisasi. Item-item ini dimaksudkan untuk mengukur konsep laten yang multidimensi, beragam segi, dan heterogen. Tujuannya adalah untuk membuat skala yang dapat digunakan dengan baik untuk menganalisis berbagai organisasi dan digunakan dalam regresi logistik. Setelah asosiasi psikologi Amerika, skala harus (1) unidimensional, (2) dapat diandalkan dan (3) valid.

Oleh karena itu kami memutuskan untuk memilih empat dimensi atau subskala dengan masing-masing 4/6/6/4 item; yang dihipotesiskan untuk mewakili konsep.

Item yang dibangun menggunakan pendekatan reflektif (menghasilkan banyak item yang mungkin, dan menghapus item berulang menggunakan cronbach's alpha dan representasi konsep (validitas) dalam tiga kelompok berikutnya).

Menggunakan data yang tersedia, analisis faktor penjelas paralel paralel awal berdasarkan korelasi polikorik dan menggunakan rotasi varimax mengungkapkan bahwa item memuat pada faktor-faktor lain dari yang diharapkan. Setidaknya ada 7 faktor laten yang bertentangan dengan empat yang dihipotesiskan. Korelasi antar-item rata-rata cukup rendah (r = 0,15) meskipun positif. Koefisien cronbach-alpha juga sangat rendah (0,4-0,5) untuk setiap skala. Saya ragu bahwa analisis faktor Konfirmatori akan menghasilkan kecocokan model yang baik.

Jika dua dimensi dijatuhkan, alpha cronbachs akan diterima (0,76,0,7 dengan 10 item per skala, yang masih bisa dibuat lebih besar dengan menggunakan versi ordinal cronbachs alpha) tetapi skala itu sendiri akan tetap multidimensi!

Karena saya baru dalam bidang statistik dan tidak memiliki pengetahuan yang memadai, saya bingung bagaimana harus melangkah lebih jauh. Karena saya enggan untuk membuang skala sepenuhnya dan mengundurkan diri ke pendekatan deskriptif saja, saya punya pertanyaan yang berbeda:

I) Apakah salah menggunakan skala yang andal, valid tetapi tidak unidimensional?

II) Apakah akan pantas untuk menafsirkan konsep setelah itu sebagai formatif dan menggunakan uji tetrad vanishing untuk menilai spesifikasi-model dan menggunakan partial least square (PLS) untuk sampai pada solusi yang memungkinkan? Bagaimanapun, konsep itu tampaknya lebih formatif daripada konsep reflektif.

III) Apakah menggunakan model respons barang (Rasch, GRM, dll.) Ada gunanya? Seperti yang sudah saya baca, model serak dll juga perlu asumsi unidimensionality

IV) Apakah pantas menggunakan 7 faktor sebagai "subskala" baru? Buang saja definisi lama dan gunakan yang baru berdasarkan load factor?

Saya akan menghargai setiap pemikiran yang satu ini :)

EDIT: Menambahkan loadings faktor & korelasi

> fa.res$fa
Factor Analysis using method =  ml
Call: fa.poly(x = fl.omit, nfactors = 7, rotate = "oblimin", fm = "ml") 

Pemuatan faktor dihitung dari matriks pola faktor dan matriks interkorelasi faktor, hanya nilai di atas 0,2 yang ditampilkan

Pemuatan Faktor

Jack Shade
sumber
3
Satu saran yang dapat saya sampaikan adalah bahwa Anda sebaiknya tidak menggunakan rotasi varimax (atau rotasi lain yang mengasumsikan faktor ortogonal), jauh lebih baik menggunakan rotasi miring, seperti quartimin langsung. Pertama, tidak jelas mengapa faktor-faktor yang mendasarinya harus ortogonal; kedua, metode miring memungkinkan Anda memperkirakan korelasi faktor; dan ketiga, jika faktor ortogonal, rotasi miring akan mengembalikan hasil yang sama seperti varimax. Di sisi lain, jika faktor-faktor yang mendasari tidak ortogonal, maka varimax dapat menghasilkan hasil yang cacat berbahaya.
gung - Reinstate Monica
Pertanyaan yang bagus dan Anda tampaknya berada di "jalur yang bagus." Mengapa Anda tidak memposting pemuatan faktor dan korelasi antar faktor setelah mengikuti saran cerdas yang diberikan @gung. Itu akan membantu orang mengukur dimensi set item Anda. (Tapi apa yang Anda maksud dengan "analisis faktor penjelas paralel"? Mungkin analisis faktor penjelajahan menggunakan analisis paralel untuk memilih jumlah faktor?) Omong-omong, skala yang akan Anda buat itulah "skala Likert"; itu tidak benar untuk menyebut item "item Likert" kecuali mereka telah melalui sesuatu seperti proses yang telah Anda jelaskan.
rolando2
3
Pertimbangan lain adalah bahwa biasanya ada tradeoff antara konsistensi internal skala (yang diukur dengan alpha Cronbach) dan validitasnya (seperti yang ditunjukkan oleh luasnya topik yang dicakupnya). Konsistensi internal yang sempurna tentu saja tidak diinginkan, karena itu berarti kita telah membuang waktu kita berurusan dengan banyak pertanyaan yang berlebihan. Dan cakupan yang terlalu luas berarti skala mengukur terlalu banyak hal, dan tidak ada yang menyeluruh. Pedoman APA mungkin condong terlalu jauh ke arah yang mendukung konsistensi internal, tetapi Anda harus membuat alasan sendiri untuk pertukaran pilihan Anda sendiri.
rolando2
@ rolando2 Ya saya maksudkan analisis faktor eksplorasi menggunakan analisis paralel untuk memilih jumlah faktor!
Jack Shade
2
Tidak masalah. Kedengarannya seperti @ rolando2 memiliki lebih banyak pengalaman dengan masalah ini daripada saya, dan sepertinya Anda sedang dalam perjalanan. Saya harus membiarkan dia membimbing Anda lebih lanjut, tetapi saya akan menyebutkan satu hal lagi yang diminta oleh sosok Anda: umumnya disarankan agar Anda tidak menggunakan faktor kecuali didukung oleh setidaknya 3 variabel terukur. Tetapi beberapa dari Anda tampaknya hanya memiliki 2 atau 1. Anda mungkin ingin menemukan lebih banyak item yang memuat terutama pada faktor-faktor tersebut untuk meningkatkan keandalannya, atau menjatuhkan item dan faktor tersebut.
gung - Reinstate Monica

Jawaban:

1

Saya berasumsi bahwa tujuan analisis Anda adalah untuk mendapatkan bukti validitas skala / instrumen Anda. jadi, pertama-tama, instrumen Anda dirancang berdasarkan pada 4 konstruksi yang dihipotesiskan, oleh karena itu, Anda harus mendekati ini menggunakan analisis faktor konfirmatori (CFA). exploratory factor analysis (EFA) sesuai ketika tidak ada teori apriori yang menggambarkan hubungan antara variabel yang diamati (yaitu, item) dan konstruk dan dapat menghasilkan faktor-faktor yang tidak dapat diinterpretasikan, seperti yang Anda lihat di sini.

kemudian periksa hasil model CFA Anda. berbagai statistik kecocokan (misalnya, X ^ 2, RMSEA, indeks modifikasi, statistik uji wald) dapat memandu Anda melalui penyempurnaan model Anda.

jika Anda lebih suka pendekatan yang lebih eksploratif, pertimbangkan juga "pencarian mundur": Chou CP, Bentler, PM (2002). Modifikasi model dalam pemodelan persamaan struktural dengan memaksakan kendala, Statistik Komputasi & Analisis Data, 41, (2), 271-287.

allinonove
sumber
4

Situasi yang sulit. Faktor 6, 4, dan 7 tampaknya cukup kuat diukur, tetapi tidak yang lain, dan saya yakin konsistensi internal akan rendah untuk faktor 1, 3, dan 5. Apakah mungkin untuk menilai keandalan melalui beberapa metode lain, seperti sebagai rel interrater.? Atau untuk menilai validitas melalui beberapa metode lain selain membangun validitas melalui analisis faktor? Bahkan jika skala yang berbeda (atau item individual) divalidasi dengan cara yang berbeda - terkadang Anda perlu mengambil apa pun yang Anda bisa.

Bagaimanapun, saya bisa melihat menggunakan v6 dan v17 secara individual. Mengapa memaksa mereka ke beberapa skala multi-item ketika pemuatan dan korelasi terlihat seperti ini.

Dan bahkan mengingat apa yang saya katakan di atas tentang cakupan yang menyiratkan validitas, saya setuju bahwa Anda ingin mempertahankan prediktor regresi akhir Anda cukup banyak unidimensional - terutama karena Anda memiliki sejumlah besar prediktor, karena dengan variabel multidimensi air akan menjadi sangat, sangat berlumpur . Ini sangat relevan karena Anda tampaknya mengadopsi jauh lebih banyak penjelasan daripada mode prediksi murni (Anda peduli tentang hubungan sebab-akibat).

rolando2
sumber
Ya saya peduli dengan kausalitas hubungan konstruk / item, karena ada juga pendekatan formatif, yang pada dasarnya mengatakan "kami mendapat 20 item dan mereka membentuk konstruk" sebagai lawan dari "konstruk itu ada dan harus tercermin oleh masing-masing item individual ". Pendekatan formatif akan menghilangkan keharusan mereka memiliki korelasi item yang tinggi dan unidimensionality. Tetapi interpretasi akan sulit. Tetap saja, terima kasih banyak!
Jack Shade
Seperti apa pendekatan yang lebih prediktif?
Jack Shade