Bagaimana cara membandingkan skala Likert dengan berbagai jumlah kategori sepanjang waktu?

Biarkan Tahun 1 menjadi data tahun lalu dan Tahun 2 menjadi data tahun ini.

Misalkan pada Tahun 1, Anda memiliki skala likert yang 1-9 (Kategorikal / Ordinal) dan pada Tahun 2, untuk pertanyaan yang sama Anda memiliki skala likert yang 1-5 (Kategorikal / Ordinal).

Apa saja hal-hal yang akan Anda coba (jika sama sekali) untuk membandingkan data dua tahun?

Apa yang telah saya lakukan sejauh ini:

• Distribusi yang dibandingkan (bentuk, kemiringan, dan kurtosis, secara statistik sama)
• Dipulihkan kembali 1-9 menjadi 1-5 dan perubahan YoY dalam frekuensi sesuai dengan harapan logis yang diperoleh dari berita / peristiwa industri dan temuan penelitian kualitatif.

Catatan: Ini bukan pekerjaan rumah. Mungkin juga tidak memiliki jawaban yang pasti. Tapi, aku butuh bantuan!

Terima kasih sebelumnya!

Ini bukan jawaban yang lengkap; hanya beberapa poin:

• Jika Anda dapat mengelola kedua versi skala ke subsampel, Anda dapat memperkirakan skor yang sesuai pada dua format respons. Kemudian Anda bisa menerapkan rumus konversi yang secara empiris dibenarkan. Saya dapat memikirkan sejumlah cara untuk melakukan ini. Saya akan tertarik jika ada yang memiliki makalah akademis tentang praktik terbaik untuk melakukan ini.

• Jika Anda melakukan penyelamatan sederhana (1 = 1; 2 = 3; 3 = 5; 4 = 7; 5 = 9), tidak ada jaminan bahwa ini dapat dibenarkan. Sebagai pernyataan luas (setidaknya dalam pengalaman saya dalam pengaturan organisasi), perubahan dalam kata-kata item dan perubahan opsi skala cenderung memiliki efek yang lebih besar pada tanggapan daripada perubahan aktual dalam atribut yang diminati. Paling tidak Anda harus memeriksa apakah jangkar skala yang digunakan kira-kira setara di dua format respons.

[Secara teknis Anda punya item survei, bukan skala Likert; yang terakhir dibuat dari beberapa item. Lihat, misalnya, Konstruksi Skala Penilaian Terangkum Paul Spector {Sage}.]

Langkah-langkah yang Anda ambil perlu bergantung pada audiens yang Anda laporkan. Jika akademis dan keras, seperti komite disertasi, Anda mungkin menghadapi tantangan khusus. Jika tidak, dan jika nyaman dengan format 1-5 umum, mengapa tidak skala cocok dengan itu dan kemudian melaporkan berarti dan standar deviasi (terutama karena bentuk, condong, dan kurtosis tidak berbeda dari tahun ke tahun. Saya kira distribusi apakah cukup normal yang berarti secara akurat mengekspresikan kecenderungan sentral?).

-> Mengapa saya memperlakukan variabel Anda sebagai variabel level-interval? Puritan mungkin mengatakan bahwa variabel tingkat ordinal tidak boleh dilaporkan melalui sarana atau sd. Nah, komentar Anda menyarankan, meskipun Anda menggunakan "kategorikal / ordinal," bahwa Anda berhadapan dengan tingkat pengukuran ordinal yang sebenarnya Anda merasa nyaman diperlakukan sebagai interval -tingkat. Lagi pula, mengapa Anda menilai skewness atau kurtosis? Saya menduga bahwa audiens Anda juga akan baik-baik saja dan akan dapat berhubungan dengan statistik tingkat interval seperti sarana.

Kedengarannya bagus bahwa Anda telah menjelajahi data secara grafis. Jika Anda ingin melampaui menilai besarnya perbedaan dan melakukan tes hipotesis, mengapa tidak melakukan uji-T (independen atau berkorelasi, tergantung pada data Anda) membandingkan skor 1-5 skor dan skor 1-5, dan menghasilkan interval kepercayaan untuk perbedaan rata-rata. Di sini saya berasumsi Anda memiliki sampel acak dari suatu populasi.

Pertimbangkan mengubah respons dari kedua set data menjadi skor-z. Akan ada kualitas ad hoc untuk setiap jenis penyelamatan tetapi setidaknya dengan cara ini Anda menghindari perlakuan mekanis setiap interval tertentu pada satu item sebagai setara dengan set tertentu pada yang lain. Saya pasti akan memilih rute ini jika saya menggunakan item sebagai prediktor atau variabel hasil dalam segala jenis analisis varian. Jika Anda melakukan apa pun dengan skala komposit - yang memiliki ukuran likert agregat - Anda kemungkinan besar akan melakukan apa yang saya prpposed: apakah Anda akan mengonversi respons item menjadi skor-z sebelum menjumlahkan atau mengambil artinya untuk membentuk skala komposit; atau Anda akan membentuk skala dengan analisis faktor atau teknik lain yang menggunakan matriks kovarian item untuk menentukan afinitas tanggapan terhadap mereka.

Saya baru saja menyelesaikan masalah yang tepat ini. Kami memiliki skala 9 poin yang diubah menjadi skala 5 poin pada pelacak yang kembali 10 tahun. Bukan hanya itu tetapi beberapa pernyataan juga berubah. Dan kami melaporkan sebagai bentuk Skor Promotor Net.

Solusi yang kami gunakan menerapkan desain berpasangan dengan meminta masing-masing responden beberapa dari pernyataan lama dengan cara lama (dan juga semua cara baru). Kami hanya meminta pasangan dengan cara lama daripada mereka semua karena ini meminimalkan kelelahan responden. Kami kemudian mengambil setiap skor pada skala 9 poin dan menemukan itu rata-rata pada skor 5 poin dan menggunakan ini untuk mengoreksi perubahan skala DAN perubahan pernyataan. Ini sangat mirip dengan apa yang disebut "Penilaian Semantik atas Nilai Kata Tetap" di beberapa makalah, tetapi alih-alih menggunakan para ahli untuk memutuskan 'nilai kata' kami menggunakan data aktual responden.

Sebagai contoh, jika skor rata-rata pada skala 5 poin adalah 1,2 untuk responden yang menjawab 2 pada skala 9 poin maka untuk membiarkan kami secara langsung membandingkan tahun dengan skala yang berbeda pada skala 5 poin, kami akan mengganti semua 2 pada skala 9 poin dengan 1.2, lalu lakukan hal yang sama untuk semua skor 9 poin, dan lanjutkan seperti biasa.

Kami melakukan hal serupa untuk melaporkan NPS. Tetapi pertama-tama kita mengonversi skala 5 titik ke skala NPS 1 (promotor), 0 (pasif), -1 (detractor) misalnya jika rata-rata pada skala NPS adalah 0,9 untuk 2 pada skala 9 titik maka kita menggantinya dengan 0,9, lalu lakukan hal yang sama untuk semua skor 9 poin, dan kemudian dihitung NPS secara normal.

Untuk mengevaluasi efektivitas ini, kami pertama-tama membandingkan skor NPS yang 'tidak dikoreksi' menggunakan skala poin 9 dan 5 untuk melihat apakah sebenarnya ada masalah sama sekali, dan kemudian skor 'terkoreksi'. Saya belum mendapatkan data tetapi akan melaporkan kembali ketika kami melakukannya!