Bagaimana memperlakukan respons survei yang tidak logis

Saya telah mengirimkan survei ke sampel artis. Salah satu pertanyaannya adalah untuk menunjukkan persentase pendapatan yang diperoleh dari: aktivitas artistik, dukungan pemerintah, pensiun swasta, aktivitas yang tidak terkait dengan seni. Sekitar 65% dari individu telah menjawab sedemikian sehingga jumlah persentasenya adalah 100. Yang lain tidak: misalnya, ada yang menjawab bahwa 70% dari pendapatan mereka diperoleh dari kegiatan artistiknya dan 60% oleh pendapatan pemerintah , dan seterusnya. Pertanyaan saya adalah: bagaimana saya harus memperlakukan pengamatan ini? Haruskah saya menghapus, memodifikasi, atau menyimpannya? Terima kasih!

Ini adalah situasi yang baik untuk analisis sensitivitas. Analisis data Anda dalam masing-masing dari tiga cara -

1. Seperti mereka
2. Setelah mengecualikan "yang tidak logis", yaitu, orang yang persentasenya tidak bertambah hingga 100 (atau 100 +/- 10)
3. Setelah menyesuaikan di mana diperlukan sehingga persentase setiap orang bertambah hingga 100

Kemudian bandingkan hasil, bagikan alasan apa pun yang dapat Anda kembangkan untuk hasil mana yang mungkin lebih akurat, atau lebih akurat dalam hal tertentu.

Anda juga dapat menyelidiki berbagai cara di mana perbedaan logis dan tidak logis, jika ada. Apakah yang tidak logis cenderung melaporkan pendapatan yang lebih tinggi? Untuk menunjukkan dukungan yang lebih besar untuk ide atau program tertentu? Untuk melewatkan lebih banyak pertanyaan? Untuk menghindari bias dalam arti meluruskan atau secara tidak proporsional memilih respons menengah atau respons ekstrem?

Dengan sekitar 400 atau tidak logis ini, Anda memiliki cukup data bahkan untuk menilai hubungan antara tingkat ketidaklogisan dan tingkat jenis bias tertentu. Sesuatu seperti hubungan dosis-respons.

Apa yang Anda pelajari dari investigasi ini dapat dimasukkan kembali ke dalam rencana Anda untuk berurusan dengan yang tidak logis ketika sampai pada analisis utama yang menarik.

Seperti yang sudah disinggung di sini , jawaban-jawaban itu tidak selalu tidak logis. Misalnya, Anda berkata

Yang lain tidak: misalnya, ada yang menjawab bahwa 70% dari pendapatan mereka berasal dari kegiatan artistiknya dan 60% dari pendapatan pemerintah, dan sebagainya.

Itu masuk akal jika 30% dari pendapatan diperoleh dari kegiatan artistik yang dilakukan untuk pemerintah. Maka kami benar-benar memiliki tiga kelompok:

• Aktivitas artistik, tidak terkait dengan pemerintah: 40%.
• Pemerintah, tidak terkait dengan aktivitas artistik: 30%.
• Aktivitas artistik yang disubsidi oleh pemerintah: 30%.

Angka-angka itu menambahkan hingga 100%.

Pertimbangkan pertanyaan-pertanyaan berikut:

• Apakah kupon makanan pemerintah atau kegiatan yang tidak terkait dengan seni?
• Apakah pemerintah Jaminan Sosial atau pensiun?
• Apakah pensiun pemerintah (mantan pegawai pemerintah) adalah pensiun swasta atau pemerintah?
• Apakah hibah pemerintah untuk melukis kegiatan seni lukis atau pemerintah?
• Apakah pekerjaan mengajar seni di pemerintah sekolah setempat atau kegiatan artistik atau kegiatan yang tidak terkait dengan seni?
• Jika pensiun dari pekerjaan di bidang seni (mengajar atau komersial, mis. Menggambar kartu hadiah), apakah pensiun itu kegiatan pribadi atau artistik? Atau dalam hal mengajar, mungkin pemerintah?

Anda sepertinya ingin kategori-kategori ini menjadi saling eksklusif. Namun, saya tidak berpikir semua orang akan menafsirkannya seperti itu. Anda mungkin memiliki pemikiran yang jelas tentang bagaimana kegiatan tersebut harus dikategorikan, tetapi tidak jelas bahwa responden Anda memiliki divisi yang sama dalam pikiran ketika mereka menjawab. Minimal, jika Anda ingin jumlahnya bertambah 100%, Anda harus memberi tahu orang itu.

Secara pribadi, saya pikir pendekatan terbaik untuk masalah seperti ini adalah dengan melakukan semacam kelompok fokus. Dalam survei tradisional, Anda mungkin tidak dapat memvalidasi jawaban. Jadi telepon atau kunjungi orang-orang yang akan menjadi sasaran survei dan mulailah percakapan. Kemudian ketika mereka memberikan jawaban yang Anda tidak mengerti, tanyakan mengapa. Dan lebih dari itu, tanyakan kepada mereka bagaimana Anda seharusnya mengajukan pertanyaan sehingga Anda akan mendapatkan jenis hasil yang Anda inginkan. Ini berfungsi lebih seperti grup fokus karena bersifat interaktif.

Setelah Anda selesai melakukannya, maka Anda bisa mendapatkan ide yang lebih baik tentang bagaimana menangani respons yang tidak sesuai dengan format Anda. Misalnya, Anda dapat mengambil 30% ekstra dan mengurangi setengah dari masing-masing. Maka Anda akan memiliki 55% aktivitas artistik dan 45% pemerintah. Atau Anda dapat dikategorikan ulang sebagai 40% aktivitas artistik pribadi, 30% aktivitas artistik yang disponsori pemerintah, dan 30% lainnya (dalam hal ini, dukungan pemerintah yang tidak terkait dengan aktivitas artistik, misalnya kupon makanan atau bantuan sewa). Atau buang survei dan ulangi, karena orang-orang tidak memahami kategori Anda dengan benar. Sebagian dari ini tergantung pada apa yang Anda pahami artinya kategori serta bagaimana mereka menafsirkannya.

Terlambat sekarang, tetapi untuk survei mendatang, pertimbangkan untuk melakukan diskusi kelompok terarah sebelum survei. Kemudian Anda dapat menguji pertanyaan Anda di lingkungan grup dan memperbaikinya. Anda bahkan mungkin menemukan bahwa Anda mendapatkan pertanyaan tambahan dari grup. Jika terlalu sulit untuk melakukan ini secara pribadi, pertimbangkan untuk melakukannya secara online. Atau lakukan survei tes (dari sejumlah kecil orang, validasi tanggapan dengan pertanyaan tindak lanjut) melalui telepon pribadi sebelum melakukan survei nyata. Semua ini dapat membantu Anda membuat pertanyaan Anda lebih jelas.

Misalnya, mungkin kategori Anda yang sebenarnya seharusnya adalah penghasilan pribadi dari aktivitas artistik; kegiatan artistik yang disponsori pemerintah; pensiun pribadi dari pekerjaan sebelumnya; Penghasilan lain yang tidak terkait dengan kegiatan artistik. Atau sesuatu yang berbeda. Sebagian masalahnya adalah saya tidak bisa mengatakan apa yang Anda inginkan, yang membuat saya berpikir responden Anda juga tidak bisa. Jika ada tiga interpretasi yang berbeda, hampir seperti Anda menggabungkan respons dari tiga survei berbeda.

Saya tidak bisa memberi Anda jawaban untuk kasus umum tanggapan tidak logis. Tetapi untuk jenis pertanyaan khusus ini - pernah ke sana, melakukannya. Tidak hanya dalam survei, tetapi juga dalam wawancara semi-terstruktur, di mana saya memiliki kesempatan untuk mengamati bagaimana orang-orang menghasilkan jawaban semacam ini. Berdasarkan ini, serta beberapa pengalaman umum dalam mengamati dan menganalisis proses kognitif, saya akan menyarankan: menormalkan kembali data Anda ke jumlah 100% . Alasannya adalah bahwa orang-orang tampaknya pertama-tama pergi ke kategori yang paling menonjol - dalam kasus Anda, yang akan menjadi penghasilan terbesar - memberikan perkiraan perasaan untuknya dalam persen, kemudian mulai memikirkan kategori yang lebih kecil berikutnya dan mendasarkan perkiraan relatif mereka ke jangkar kategori pertama, ditambah kategori yang sudah disebutkan lebih lanjut.

Sebagai contoh, sebuah kereta pemikiran akan berbunyi seperti: "Sumber penghasilan pertama saya tentu lebih dari setengah. Itu membuat apa, 60%? Tidak, itu terlalu rendah, katakanlah 65%. Yang kedua adalah sekitar sepertiga dari itu , jadi itu akan menjadi sedikit lebih dari 20%, eh, sulit untuk menghitungnya di kepala saya, mari kita bulatkan hingga 25%. Yang ketiga juga terasa seperti sepertiga dari yang pertama, tetapi sebenarnya selalu sedikit lebih dari kedua, jadi itu harus 30%. Atau bahkan 35? Tidak, mari kita pergi dengan 30. Oh, dan saya lupa bahwa saya memiliki sumber keempat, yang hanya terjadi setahun sekali, yang seharusnya sangat kecil dibandingkan yang lain, jadi 5 atau 10%? Probabaly 5 lebih dekat, tidak terlalu banyak ". Dan akhirnya Anda mendapat jawaban 65 + 25 + 30 + 5 = 125%.

Karena orang cenderung lebih menyadari ukuran relatif dari bagian pendapatan satu sama lain daripada masing-masing bagian terhadap total, saya akan mengatakan bahwa menormalkan mereka dalam urutan di sini, jika Anda ingin menjalankan semacam analisis numerik pada pendapatan . Saya hanya akan bekerja dengan angka yang dilaporkan aktual jika perbedaan antara kepercayaan dan pernyataan orang tentang pendapatan dan realitas objektif mereka adalah topik penting untuk pekerjaan Anda, misalnya jika Anda seorang psikolog yang mempelajari bias kognitif, atau jika Anda lebih tertarik pada persepsi diri seniman daripada dalam keadaan ekonomi mereka.

Sayangnya, saya tidak memiliki sumber literatur yang baik untuk membuktikan bahwa itu benar-benar berfungsi seperti yang saya jelaskan, itu hanya pengamatan empiris pribadi saya. Tetapi saya tidak berpikir bahwa pengulas akan terjebak pada keputusan semacam ini, karena, seperti jawaban yang lain katakan, tidak ada satu pun cara "benar" untuk memperlakukannya. Jika ada, mereka akan menolak seluruh data Anda dari pertanyaan ini sebagai tidak valid karena teknik kueri yang cacat. Yang terbaik yang dapat Anda lakukan adalah dengan terlebih dahulu mengakuinya dan mengajukan argumen mengapa pekerjaan Anda tetap berguna dan mengapa kesimpulan yang Anda buat masih bagus meskipun sumber ketidaktepatan spesifik dalam data ini.

Jika ilmu sosial telah mengajarkan saya sesuatu, itu adalah jika Anda memberi orang kesempatan untuk memberikan tanggapan yang tidak konsisten secara logis, mereka akan melakukannya. Jadi yakinlah bahwa tidak ada yang aneh dengan subjek Anda. Ini adalah sesuatu yang perlu diingat untuk merancang survei di masa depan. Untuk saat ini, mungkin lebih baik membiarkan respons apa adanya dan hanya perlu diingat dalam analisis Anda bahwa respons tidak akan benar-benar bertambah hingga 100%, seperti yang dipikirkan orang. Alih-alih proporsi yang benar, Anda memiliki sinyal berisik tentang berapa banyak pendapatan yang diperoleh setiap subjek dari setiap kategori, jadi analisislah dengan cara itu.

kegiatan artistik, dukungan pemerintah, pensiun swasta, kegiatan yang tidak berhubungan dengan seni

Sekilas, tampaknya "aktivitas artistik" dan "aktivitas yang tidak terkait dengan seni" harus mencapai hingga 100%.

Tentu saja "aktivitas yang tidak berhubungan dengan seni" tidak sama dengan "tidak aktivitas yang berhubungan dengan seni," karena ada pendapatan yang terkait dengan tidak ada aktivitas sama sekali. Tapi itu adalah pemisahan rambut yang tidak akan disadari oleh kebanyakan artis.

Jika Anda menganggap bahwa kategori 1 dan 4 harus menambahkan hingga 100%, dan menafsirkan ulang responden tersebut, Anda mungkin menemukan bahwa sebagian besar dari mereka telah memasukkan kategori 2 dan 3 dengan kategori 4.

Namun, semua ini adalah manipulasi data yang tidak ideal. Jika Anda menginginkan jawaban statistik yang akurat, Anda harus mengumpulkan data yang akurat. Orang mungkin berbohong sebagai respons terhadap survei Anda, dan itu sulit dijaga, tetapi jika orang yang dengan jujur ​​mencoba menjawab pertanyaan Anda bisa jadi bingung dengan apa yang dimaksud, survei Anda perlu ditulis ulang.

Lain kali mengoreksi survei untuk dimengerti , serta ambiguitas , sebelum Anda mengirimkannya.

Anda telah memberikan empat kategori penghasilan - bagaimana dengan pendapatan yang tidak ada di dalamnya? Misalnya, pendapatan dividen dari memegang saham. Ini bukan pendapatan dari segala bentuk kegiatan, namun juga bukan dukungan pemerintah atau pensiun. Saya akan menyarankan bahwa dengan tidak adanya informasi lain Anda harus menganggap tanggapan sebagai benar dan menghubungkan uang yang hilang dengan sumber yang responden tidak mempertimbangkan untuk dicakup oleh kategori.

Sebenarnya itu cukup sederhana (dan bahkan tidak masuk akal seperti yang Anda kira)! Saya berasumsi bahwa itu sebenarnya adalah proporsi dari berbagai kategori pendapatan yang Anda kejar dengan meminta persentase. Jadi Anda dapat dengan mudah melakukan renormalisasi hingga 100%. Dalam contoh Anda: jika seseorang berkata: 70% dari pendapatan saya adalah dari kegiatan artistik dan 60% dari dukungan pemerintah, orang ini (yang mungkin tidak pernah memiliki pelatihan dalam bekerja dengan persentase) sebenarnya mengatakan: kerabatukuran atau proporsi penghasilan saya dari kegiatan artistik dan pemerintah sekitar 70 hingga 60 atau 7 hingga 6 (mungkin tidak menyadari bahwa persentase seharusnya ditambah hingga 100 ..). Anda dapat mengonversi pernyataan ini tentang proporsi ke laporan tentang persentase hanya dengan melakukan renormasi, sebagai berikut: 70/130 * 100 = 53% pendapatan artistik, dan 60/130 * 100 = 47% pendapatan dukungan pemerintah ..

(Apa yang saya lakukan di sini sebenarnya mengambil 130% sebagai 100% "baru" dan menghitung proporsi ..)

PS. ini bekerja untuk semua kasus di mana jumlah persentase yang dinyatakan tidak sama dengan 100

Semoga ini membantu!

Mayoritas jawaban yang sudah diberikan telah memberikan beberapa wawasan tentang kelemahan metodologi survei yang jelas, jadi saya tidak akan membahasnya di sini. Sebagai gantinya, saya akan memberikan beberapa opsi praktis tentang cara memperlakukan data ini mengingat data itu sudah dikumpulkan dan terlepas dari pertanyaan yang salah. Ada beberapa cara untuk menangani ini. Anda dapat mempertimbangkan menandai respons yang tidak memenuhi definisi Anda tentang "respons yang valid" dengan memperlakukan seluruh pertanyaan sebagai hilang dan kemudian mengikuti sejumlah praktik untuk menangani item-non-respons seperti yang dibahas di sini .

Anda juga dapat mempertimbangkan penskalaan setiap respons sehingga persentase bertambah menjadi 100. Dengan asumsi setiap respons dicatat sebagai persentase, ini dapat dilakukan dengan mengkode ulang setiap respons asli $y_{{old}_{ij}}$ $(j=1,2,3,4)$ dari 4 sub-komponen untuk pertanyaan Anda (yaitu aktivitas artistik, dukungan pemerintah, pensiun swasta, kegiatan yang tidak terkait dengan seni) menjadi respons baru $y_{{new}_{ij}}$ sebagai berikut:

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ Jadi misalnya, katakan Anda punya responden $i$ yang menjawab sebagai berikut:

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

Maka Anda akan mengode ulang sebagai berikut:

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

Perhatikan bahwa semua persentase baru sekarang bertambah menjadi 100%. Apa pun yang Anda lakukan, pastikan Anda membuat transformasi yang sangat jelas saat melaporkan hasil Anda dan saya pikir @ rolando2 memberikan beberapa saran bagus tentang cara melakukan beberapa analisis sensitivitas untuk melihat bagaimana transformasi seperti ini dapat memengaruhi kesimpulan Anda.