Signifikansi statistik dari perubahan dari waktu ke waktu pada item Likert 5 poin

9

Konteks:

Saya memiliki dua set data dari kuesioner yang sama selama dua tahun. Setiap pertanyaan diukur menggunakan skala 5-Likert.

T1: Skema pengkodean

Saat ini, saya telah mengkodekan respons saya pada interval [0, 1], dengan 0 yang berarti "respons paling negatif", 1 yang berarti "respons paling positif", dan respons lain berjarak antara keduanya.

  • Apa skema pengkodean "terbaik" yang digunakan untuk skala Likert?

Saya menyadari bahwa ini mungkin sedikit subjektif.

Q2: Signifikansi lintas tahun

  • Apa cara terbaik untuk menentukan apakah ada perubahan yang signifikan secara statistik selama dua tahun?

Yaitu, dengan melihat hasil untuk pertanyaan 1 untuk setiap tahun, bagaimana saya tahu jika perbedaan antara hasil 2011 dan hasil 2010 secara statistik signifikan? Saya punya ingatan samar tentang uji-t Student yang digunakan di sini, tapi saya tidak yakin.

statistical-significance likert Mac
sumber

Jawaban:

7

1. Skema pengkodean

Dalam hal menilai signifikansi statistik menggunakan uji-t, itu adalah jarak relatif antara titik skala yang penting. Dengan demikian, (0, 0,25, 0,5, 0,75, 1) setara dengan (1, 2, 3, 4, 5). Dari pengalaman saya skema pengkodean jarak yang sama, seperti yang disebutkan sebelumnya adalah yang paling umum, dan tampaknya masuk akal untuk item Likert. Jika Anda menjelajahi penskalaan optimal, Anda mungkin bisa mendapatkan skema pengkodean alternatif.

2. Uji statistik

Pertanyaan tentang cara menilai perbedaan kelompok pada item Likert telah dijawab di sini .

Masalah pertama adalah apakah Anda dapat menghubungkan pengamatan di dua titik waktu. Sepertinya Anda memiliki sampel yang berbeda. Ini mengarah ke beberapa opsi:

  • T-test kelompok independen : ini adalah pilihan sederhana; itu juga menguji perbedaan dalam rata-rata kelompok; purist akan berpendapat bahwa nilai-p mungkin tidak sepenuhnya akurat; Namun, tergantung pada tujuan Anda, itu mungkin memadai.
  • Uji bootstrap dari perbedaan dalam kelompok berarti : Jika Anda masih ingin menguji perbedaan antara rata-rata kelompok tetapi tidak nyaman dengan sifat diskrit dari variabel dependen, maka Anda dapat menggunakan bootstrap untuk menghasilkan interval kepercayaan dari mana Anda bisa menarik kesimpulan tentang perubahan dalam sarana kelompok. .
  • Tes Mann-Whitney U (antara tes non-parametrik lainnya): Tes semacam itu tidak mengasumsikan normalitas, tetapi juga menguji hipotesis yang berbeda.
Jeromy Anglim
sumber
jadi, singkatnya, Anda tidak melihat ada yang salah dengan yang saya usulkan (pengkodean jarak yang sama, uji signifikansi uji-t), selain ada pilihan lain yang mungkin lebih akurat?
Mac
@ Mac Menurut pendapat saya, datang lebih dari perspektif terapan, itu sederhana, mudah dimengerti, mudah untuk berkomunikasi, dan pendekatan yang umumnya masuk akal. Namun, sering kali layak mempertimbangkan pengukuran konstruk minat menggunakan skala daripada item individual.
Jeromy Anglim
sepakat. Namun, saya percaya untuk apa yang saya butuhkan ini akan dilakukan. Terimakasih banyak!
Mac
hanya untuk mencatat bahwa uji t bisa sangat sensitif terhadap perbedaan dalam varians, sehingga mungkin akan menjadi sesuatu untuk diperiksa sebelum Anda membuat keputusan akhir Anda
richiemorrisroe
@ Mac / cc @richiemorrisroe Dalam pandangan saya, terlepas dari asumsi homoskedastisitas (yang agak dielakkan dengan uji t Welch), masalahnya sebagian besar dengan distribusi respon asimetris (efek langit-langit atau lantai), yang sering muncul ketika menggunakan item Likert.
chl
3

Tes Wilcoxon Ranksum alias Mann-Whitney adalah cara untuk pergi dalam kasus data ordinal. Solusi bootstrap juga elegan meskipun bukan cara "klasik". Metode Bootstrap mungkin juga berharga jika Anda bertujuan untuk hal-hal lain seperti analisis faktor. Dalam hal analisis regresi, Anda dapat memilih probit berurutan atau logit berurutan sebagai spesifikasi model.

BTW: Jika skala Anda memiliki rentang yang lebih besar (> 10 nilai per variabel) Anda dapat menggunakan hasilnya sebagai variabel metrik, yang menjadikan uji-t pilihan yang aman. Diingatkan bahwa ini sedikit kotor dan dapat dianggap pekerjaan setan oleh sebagian orang.

stephan


sumber
1
Bisakah Anda memperluas bagaimana bootstrap akan memberikan pendekatan yang lebih menarik untuk analisis faktor?
chl
Saya akan tertarik mempelajari lebih lanjut tentang mengapa tes Mann-Whitney lebih disukai daripada uji-t di sini.
whuber