Hasil Pemilu AS 2016: Apa yang salah dengan model prediksi?

108

Pertama adalah Brexit , sekarang pemilihan AS. Banyak model prediksi yang dibuat dengan selisih yang lebar, dan apakah ada pelajaran yang bisa dipelajari di sini? Sampai jam 4 sore PST kemarin, pasar taruhan masih mengunggulkan Hillary 4 banding 1.

Saya menganggap bahwa pasar taruhan, dengan uang nyata di telepon, harus bertindak sebagai ansambel semua model prediksi yang tersedia di luar sana. Jadi tidak masuk akal untuk mengatakan model ini tidak melakukan pekerjaan dengan sangat baik.

Saya melihat satu penjelasan adalah pemilih tidak mau mengidentifikasi diri mereka sebagai pendukung Trump. Bagaimana model menggabungkan efek seperti itu?

Satu penjelasan makro yang saya baca adalah kebangkitan populisme . Pertanyaannya kemudian adalah bagaimana model statistik dapat menangkap tren makro seperti itu?

Apakah model prediksi ini di luar sana memberikan terlalu banyak data pada jajak pendapat dan sentimen, tidak cukup dari posisi negara dalam 100 tahun pandangan? Saya mengutip komentar seorang teman.

horaceT
sumber
9
Cara memperkirakan "tidak mau mengidentifikasi diri mereka sebagai pendukung Trump." efek: Mungkin kelompok fokus? Ini lebih merupakan pertanyaan ilmu sosial daripada statistik per se.
kjetil b halvorsen
100
Mengapa model harus salah hanya karena mereka memperkirakan hasil yang tidak terjadi? Saya memiliki model yang mengatakan mati mungkin tidak akan menunjukkan angka enam, tetapi kadang-kadang menunjukkan angka enam.
dsaxton
4
Saya tidak yakin apakah modelnya benar-benar bersandar pada sisi yang salah. Apakah kita membaca output model dengan benar? Saya juga setuju dengan komentar dsaxton.
Richard Hardy
7
Beberapa pemikiran bagus di blog Andrew Gelman di sini .
Richard Hardy
22
Jika peluangnya 4: 1, hasil yang kurang umum masih harus sering terjadi. Itu adalah pasar taruhan bisa saja benar.
gung

Jawaban:

57

Singkatnya, pemungutan suara tidak selalu mudah. Pemilihan ini mungkin yang paling sulit.

Setiap kali kami mencoba melakukan inferensi statistik, pertanyaan mendasar adalah apakah sampel kami adalah representasi yang baik dari populasi yang diminati. Asumsi khas yang diperlukan untuk banyak jenis inferensi statistik adalah bahwa sampel kami menjadi sampel yang benar-benar acak dari populasi yang diminati (dan seringkali, kami juga membutuhkan sampel untuk mandiri). Jika asumsi ini benar, kita biasanya memiliki ukuran ketidakpastian yang baik berdasarkan teori statistik.

Tapi kami secara definitif tidak memiliki asumsi-asumsi ini sesuai dengan jajak pendapat! Kami memiliki tepat 0 sampel dari populasi yang kami minati: suara yang diberikan pada hari pemilihan. Dalam hal ini, kita tidak bisa membuat inferensi valid apa pun tanpa asumsi lebih lanjut yang tidak dapat diuji tentang data. Atau setidaknya, tidak dapat diuji sampai setelah hari pemilihan.

Apakah kita sepenuhnya menyerah dan berkata "50% -50%!"? Biasanya tidak. Kita dapat mencoba membuat apa yang kita yakini sebagai asumsi yang masuk akal tentang bagaimana suara akan diberikan. Sebagai contoh, mungkin kita ingin percaya bahwa jajak pendapat adalah perkiraan yang tidak bias untuk suara hari pemilihan, ditambah beberapa kebisingan temporer tertentu yang tidak bias (yaitu, mengembangkan opini publik seiring berjalannya waktu). Saya bukan ahli dalam metode polling, tapi saya percaya ini adalah jenis model yang digunakan 538. Dan pada 2012, itu bekerja dengan cukup baik. Jadi asumsi itu mungkin cukup masuk akal. Sayangnya, tidak ada cara nyata untuk mengevaluasi asumsi-asumsi itu, di luar alasan kualitatif. Untuk diskusi lebih lanjut tentang topik yang sama, lihat topik hilangnya Ketidaktahuan.

Teori saya mengapa jajak pendapat memiliki kinerja yang sangat buruk pada tahun 2016: jajak pendapat itu bukan estimasi perilaku hari pemilih yang tidak bias. Yaitu, saya kira para pendukung Trump (dan kemungkinan juga pendukung Brexit) jauh lebih tidak percaya pada lembaga survei. Ingatlah bahwa Tn. Trump secara aktif mengecam pemilihan. Karena itu, saya pikir pendukung Trump cenderung melaporkan niat memilih mereka ke lembaga survei daripada pendukung lawan-lawannya. Saya akan berspekulasi bahwa ini menyebabkan bias berat yang tak terduga dalam jajak pendapat.

Bagaimana analis dapat memperhitungkan hal ini ketika menggunakan data jajak pendapat? Berdasarkan data jajak pendapat saja, tidak ada cara nyata untuk melakukan ini secara kuantitatif. Data jajak pendapat tidak memberi tahu Anda apa pun tentang mereka yang tidak berpartisipasi. Namun, orang mungkin dapat memperbaiki jajak pendapat secara kualitatif, dengan memilih asumsi yang lebih masuk akal (tetapi tidak dapat diuji) tentang hubungan antara data jajak pendapat dan perilaku hari pemilihan. Ini non-sepele dan bagian yang benar-benar sulit untuk menjadi pengumpul pendapat yang baik (catatan: Saya bukan pengumpul informasi). Juga perhatikan bahwa hasilnya sangat mengejutkan para pakar juga, jadi tidak seperti ada tanda-tanda yang jelas bahwa asumsi-asumsi itu sangat tidak masuk akal kali ini.

Pemungutan suara bisa sulit.

Cliff AB
sumber
1
@horaceT: bagaimana mereka tahu ada bias sampai mereka memiliki sampel dari populasi yang diminati? Salah satu kerutan di sini adalah bahwa secara historis, saya akan menebak bahwa masalah ini adalah kebisingan bukan bias . Jika kedua belah pihak memiliki tingkat non-respons yang sama, perkiraan Anda akan tidak bias, hanya sedikit lebih berisik. Tetapi karena Trump menjalankan kampanye dengan pandangan negatif yang sangat besar tentang liputan media dan jajak pendapat, lebih dari pemilihan sebelumnya, non-respons bisa dengan mudah sangat miring ke bawah di bawah mewakili suara Trump. Ini akan menjadi efek yang dimiliki oleh pengumpul survei ...
Cliff AB
38
Untuk apa nilainya, saya masih tidak berpikir 538 benar-benar gagal. Ini memberikan seperti ~ 30% peluang (?) Untuk memenangkan Trump yang sangat bagus - artinya setiap 2-3 kali itu diharapkan benar, itu diharapkan salah 1 kali. Itu adalah ketidakpastian yang sangat besar, jauh lebih besar daripada yang dipastikan mau diakui oleh jajak pendapat lain.
Mehrdad
3
Efek ini dikenal: itu disebut efek Bradley di AS, dan efek Shy Tory di Inggris.
Emilio Pisanty
15
538 (dan hal-hal lain seperti PEC Sam Wang) bukan polling. Mereka adalah model yang dibangun dari hasil jajak pendapat. Semua model ini dimulai dengan data yang pada dasarnya sama, tetapi 538 memperkirakan lebih banyak ketidakpastian dalam hasil karena alasan yang dibahas Nate Silver sebelum pemilihan secara luas. Ini berarti bahwa 538 peluang kemenangan Hillary jauh lebih rendah meskipun menggunakan jajak pendapat yang sama. Saya setuju bahwa 538 tidak gagal - dengan masukannya, kemenangan Hillary dengan banyak ketidakpastian tampaknya seperti prediksi terbaik bahkan di belakang.
KAI
6
Saya pertama kali membaca prediksi 538 terakhir pada pagi hari setelah pemilihan, dan di dalamnya Nate Silver dengan jelas menyatakan bahwa margin kesalahan 3% akan baik dalam kisaran yang biasa - dan jika Anda melihat grafiknya tentang margin kesalahan 3% mendukung Trump, itu sejalan dengan apa yang sebenarnya terjadi.
Xiong Chiamiov
35

Ada sejumlah sumber kesalahan pemungutan suara:

  • Anda menemukan beberapa orang sulit dijangkau

    Ini dikoreksi dengan melakukan analisis demografis, kemudian mengoreksi bias pengambilan sampel Anda. Jika analisis demografis Anda tidak mencerminkan hal-hal yang membuat orang sulit dijangkau, koreksi ini tidak memperbaiki kerusakan.

  • Orang berbohong

    Anda dapat menggunakan kurs historis tempat orang berbohong kepada lembaga survei untuk memengaruhi model Anda. Sebagai contoh, secara historis orang menyatakan mereka akan memilih partai ke-3 jauh lebih banyak daripada yang sebenarnya mereka lakukan pada hari pemilihan. Koreksi Anda bisa salah di sini.

    Kebohongan ini juga dapat mengacaukan koreksi Anda yang lain; jika mereka berbohong tentang memilih dalam pemilihan terakhir, mereka dapat dihitung sebagai pemilih yang mungkin meskipun mereka tidak, misalnya.

  • Hanya orang-orang yang memilih yang akhirnya menghitung

    Seseorang dapat memiliki banyak dukungan, tetapi jika pendukung mereka tidak muncul pada hari pemilihan, itu tidak masuk hitungan. Inilah sebabnya mengapa kami telah mendaftarkan pemilih, kemungkinan pemilih, dll model. Jika model ini salah, semuanya tidak berfungsi.

  • Polling membutuhkan uang

    Melakukan jajak pendapat itu mahal, dan jika Anda tidak mengharapkan (katakanlah) Michigan untuk mundur, Anda mungkin tidak terlalu sering melakukan jajak pendapat. Hal ini dapat menyebabkan Anda terkejut ketika negara bagian yang Anda jajak pendapat 3 minggu sebelum pemilihan tidak terlihat seperti itu pada hari pemilihan.

  • Orang-orang berubah pikiran

    Selama beberapa menit, jam, hari, minggu atau bulan, orang-orang berubah pikiran. Jajak pendapat tentang "apa yang akan Anda lakukan sekarang" tidak banyak membantu jika mereka berubah pikiran sebelum diperhitungkan. Ada beberapa model yang memperkirakan kira-kira tingkat perubahan pendapat orang berdasarkan jajak pendapat historis.

  • Menggiring

    Jika semua orang menyatakan bahwa Hillary adalah +3 dan Anda mendapatkan polling yang menunjukkan Hillary +11 atau Donald +1, Anda mungkin mempertanyakannya. Anda dapat melakukan pass lain dan melihat apakah ada kegagalan analisis. Anda bahkan mungkin membuangnya dan melakukan jajak pendapat lain. Saat Anda mendapatkan polling Hillary +2 atau +4, Anda mungkin tidak melakukannya. Pencilan besar-besaran, bahkan jika model statistik mengatakan itu kadang-kadang terjadi, dapat membuat Anda "terlihat buruk".

    Suatu bentuk yang sangat buruk dari ini terjadi pada hari pemilihan, di mana setiap orang yang merilis sebuah polling secara ajaib bertemu dengan nilai yang sama; mereka mungkin jajak pendapat outlier, tapi tidak ada yang ingin menjadi orang yang mengatakan (katakanlah) Hillary +11 sehari sebelum pemilihan ini. Menjadi salah dalam kawanan kurang menyakitkan bagi Anda.

  • Kesalahan pengambilan sampel yang diharapkan

    Jika Anda memiliki 1 juta orang dan Anda bertanya 100 orang secara acak dan setengahnya mengatakan "Apple" dan setengah mengatakan "Oranye", kesalahan yang diharapkan akan Anda dapatkan dari sampel adalah +/- 10 atau lebih, bahkan jika tidak ada masalah di atas terjadi. Bit terakhir ini adalah apa jajak pendapat menggambarkan sebagai mereka margin of error. Jajak pendapat jarang menggambarkan faktor koreksi apa yang bisa menyebabkan kesalahan.


Nate Silver di 538 adalah salah satu dari sedikit agregator pemungutan suara yang menggunakan cara konservatif (hati-hati) untuk menangani kemungkinan jenis kesalahan di atas. Dia memperhitungkan kemungkinan kesalahan berkorelasi sistemik dalam model pemungutan suara.

Sementara agregator lain memprediksi 90% + kemungkinan HC dipilih, Nate Silver menyatakan 70%, karena jajak pendapat berada dalam "kesalahan polling normal" dari kemenangan Donald.

Ini adalah ukuran historis kesalahan model , yang bertentangan dengan kesalahan sampling statistik mentah; bagaimana jika model dan koreksi pada model itu salah?


Orang-orang masih menghitung angka-angkanya. Tapi, hasil awal menunjukkan sebagian besar dari itu adalah model partisipasi. Pendukung Donald muncul ke tempat pemungutan suara dalam jumlah yang lebih besar, dan pendukung Hillary dalam jumlah yang lebih sedikit, daripada yang ditunjukkan oleh model pemungutan suara (dan keluar dari pemungutan suara!).

Latino memberikan suara lebih banyak untuk Donald daripada yang diperkirakan. Orang kulit hitam lebih memilih Donald daripada yang diperkirakan. (Sebagian besar keduanya memilih Hillary). Perempuan kulit putih memilih lebih banyak untuk Donald daripada yang diharapkan (lebih banyak dari mereka memilih untuk Donald daripada Hillary, yang tidak diharapkan).

Jumlah pemilih pada umumnya rendah. Demokrat cenderung menang ketika ada jumlah pemilih yang tinggi, dan Partai Republik ketika ada yang rendah.

Yakk
sumber
1
Masalah Jumlah pemilih yang menarik adalah bahwa polling itu sendiri mempengaruhi jumlah pemilih. Apakah ada model partisipasi untuk itu? Seharusnya dimungkinkan untuk memiliki fungsi yang mengambil survei yang diprediksi jumlah pemilih, dan memodifikasinya untuk kedua belah pihak sesuai dengan prospek calon. Seorang kandidat yang jauh di belakang mungkin tidak mendapatkan pemilih tambahan yang lebih peduli setelah melihat polling menggambarkan prospek kandidat mereka sebagai mengerikan, tetapi jika kandidat Anda jauh di depan, Anda mungkin tidak bekerja keras untuk keluar untuk memilih ... Jelas bukan fungsi linear, tetapi harus bisa diukur.
BenPen
2
1 dari saya hanya untuk menyebutkan penggembalaan dan menjelaskannya dengan baik. Ketika saya masuk dalam jawaban saya, saya sangat curiga menggembalakan mungkin terjadi mulai sekitar 5 atau lebih (3 hari dari pemilihan) berdasarkan grafik 538. Saya kira kita akan mencari tahu lebih banyak tentang kesalahan yang sebenarnya terjadi di masa mendatang. (Anda tahu Anda kutu buku ketika secara obsesif menyegarkan laman web untuk merenungkan turunan kedua dari kurva grafik di sana).
TED
Saya tidak tahu bagaimana Anda menjelaskannya, tetapi saya pikir ada stigma yang terkait dengan Trump yang akan membuat sulit untuk mengukur dengan baik dukungan aktualnya dan hanya akan muncul dalam hasil pemilu yang sebenarnya. Saya suka menganggapnya sebagai akibat stiker bemper: George W. Bush dan Obama sama-sama presiden 2 masa jabatan, tetapi sementara stiker bemper Obama tersebar luas dan menghiasi mobil-mobil dengan bangga, stiker bemper Bush itu seperti daun semanggi 4. Ada kandidat tertentu di mana dukungan terbuka menarik terlalu banyak panas dan vitriol dari oposisi dan dukungan sangat rendah.
coburne
3
@coburne Tidak ada bukti tentang itu di pemilihan pendahuluan; Pendukung Trump di mana tidak malu tentang hal itu. Stiker bemper Bush mana yang populer di berbagai bidang selain stiker bemper Obama.
Yakk
@coburne - Apa yang Anda bicarakan disebut The Bradley Effect . Ada perdebatan besar tentang apakah itu ada. Ada satu penelitian yang seharusnya menemukan kekuatannya kira-kira sebanding dengan berapa banyak retorika bermuatan rasial yang digunakan dalam kampanye. Saya tidak berpikir ada banyak perdebatan yang banyak digunakan dalam yang satu ini.
TED
31

Ini disebutkan dalam komentar pada jawaban yang diterima (hat-tip untuk Mehrdad ), tapi saya pikir itu harus ditekankan. 538 sebenarnya melakukan ini dengan cukup baik pada siklus ini * .

538 adalah agregator pemungutan suara yang menjalankan model terhadap setiap negara bagian untuk mencoba memprediksi pemenang. Perjalanan terakhir mereka memberi Trump peluang 30% untuk menang. Itu berarti jika Anda menjalankan tiga pemilihan dengan data seperti ini, Anda akan mengharapkan Tim Merah untuk memenangkan salah satunya. Itu bukan peluang yang sangat kecil. Ini tentu saja merupakan hal yang cukup besar sehingga saya mengambil tindakan pencegahan (misalnya: Jumat sebelum saya meminta hari Rabu libur ke-9 di tempat kerja, mengingat kemungkinannya cukup dekat untuk menjadi larut malam).

Satu hal yang 538 akan memberitahu Anda jika Anda nongkrong di sana adalah bahwa jika jajak pendapat dimatikan, ada kemungkinan mereka semua akan pergi ke arah yang sama. Ini karena beberapa alasan.

  • Kemungkinan model pemilih. Jajak pendapat harus disesuaikan dengan jenis pemilih yang benar-benar akan muncul pada hari pemilihan. Kami memiliki model historis, tetapi ini jelas bukan pasangan calon Anda, jadi memprediksi berdasarkan data masa lalu akan selalu menjadi omong kosong.
  • Akhir pemilu menggiring . Tak seorang pun ingin menjadi jajak pendapat yang paling buruk meniup pemilu. Jadi, sementara mereka tidak keberatan menjadi pencilan di tengah kampanye, pada akhirnya semua jajak pendapat cenderung mengubah diri mereka sehingga mereka mengatakan hal yang sama. Ini adalah salah satu hal yang disalahkan karena pemilihan yang begitu buruk dalam kekalahan mengejutkan Eric Cantor pada tahun 2014, dan untuk hasil yang sangat mengejutkan dari perlombaan Senat Virginia 2014 juga.

* - 538 sekarang telah memposting analisis mereka sendiri . Sebagian besar cocok dengan apa yang dikatakan di atas, tetapi layak dibaca jika Anda ingin lebih banyak detail.


Sekarang sedikit spekulasi pribadi. Saya sebenarnya skeptis dengan peluang% terakhir 538 untuk 3 hari terakhir. Alasannya kembali ke peluru kedua di atas. Mari kita lihat sejarah model mereka untuk pemilihan ini (dari situs web mereka)

masukkan deskripsi gambar di sini

(Sayangnya, label-label itu mengaburkannya, tetapi setelah ini kurva-kurva itu menyimpang lagi selama tiga hari terakhir, lebih dari 70% peluang untuk Clinton)

Pola yang kita lihat di sini adalah divergensi berulang diikuti oleh pembusukan kembali ke arah Trump. Gelembung Clinton semua disebabkan oleh peristiwa. Yang pertama adalah konvensi (biasanya ada beberapa hari jeda setelah acara untuk itu mulai muncul di pemungutan suara). Yang kedua tampaknya telah dimulai oleh debat pertama, kemungkinan dibantu oleh rekaman TMZ. Lalu ada titik belok ketiga yang saya tandai di gambar.

Itu terjadi pada 5 November, 3 hari sebelum pemilihan. Peristiwa apa yang menyebabkan ini? Beberapa hari sebelumnya itu adalah kobaran email lagi, tetapi itu seharusnya tidak menguntungkan Clinton.

Penjelasan terbaik yang bisa saya sampaikan saat itu adalah penggembalaan jajak pendapat. Hanya 3 hari sebelum pemilihan, 2 hari sebelum jajak pendapat akhir, dan jajak pendapat akan mulai khawatir tentang hasil akhir mereka. "Kebijaksanaan konvensional" seluruh pemilihan ini (sebagaimana dibuktikan oleh model taruhan) adalah kemenangan mudah bagi Clinton. Jadi sepertinya ada kemungkinan berbeda bahwa ini sama sekali bukan infleksi yang sebenarnya. Jika itu masalahnya, kurva sebenarnya dari 5 November pada kemungkinan besar merupakan kelanjutan dari ini menuju konvergensi.

Butuh matematikawan yang lebih baik daripada saya untuk memperkirakan kurva ke depan di sini tanpa titik belok akhir yang mencurigakan ini, tetapi jika saya perhatikan, 8 November saya akan berada di dekat titik persilangan . Di depan atau di belakang tergantung pada seberapa banyak kurva itu sebenarnya nyata.

Sekarang saya tidak bisa mengatakan dengan pasti ini yang terjadi. Ada penjelasan lain yang sangat masuk akal (misalnya: Trump membuat para pemilihnya jauh lebih baik daripada yang diperkirakan oleh pemberi polling) Tapi itu adalah teori saya untuk apa yang sedang terjadi pada saat itu, dan itu jelas terbukti prediktif.

TED
sumber
1
Saya pikir infleksi jajak pendapat aneh ini dalam beberapa hari terakhir akan lebih baik dianalisis, tetapi para pendukung Clinton melihat apa yang ingin mereka lihat, dan para pendukung Trump sudah sejak lama berhenti mengindahkan jajak pendapat. Semoga seseorang akan melakukannya sekarang.
TED
Saya pikir hari-hari terakhir sedikit normal karena pernyataan Comey bahwa email-email baru itu bukan merupakan penyebab investigasi kriminal yang baru.
Konrad Rudolph
@KonradRudolph - Itulah penjelasan yang saya dengar diberikan untuk infleksi pada saat itu. Masalahnya adalah pernyataan tersebut tidak keluar sampai 6 November, dan titik belok yang mencurigakan terjadi sehari sebelumnya (lihat penanda pada gambar di atas). Juga, waktunya salah untuk drop yang sepenuhnya dijelaskan oleh Comey, jadi tidak ada alasan logis pernyataan "Nevermind" -nya akan menghentikannya (apalagi memutarnya).
TED
2
Masalah dengan 538 bukanlah model mereka seperti kualitas data polling yang masuk ke dalamnya. Data memperjelas bahwa ini bukan kasus kesalahan pengambilan sampel (yang cukup kecil ketika Anda rata-rata jajak pendapat bahwa masing-masing memiliki ukuran sampel yang layak). washparkprophet.blogspot.com/2016/11/what-polls-got-wrong.html Alih-alih, masalahnya adalah pengambilan sampel yang bias dalam bagian terbesar dari jajak pendapat, atau ketidakbenaran sistemik dari responden jajak pendapat (karena ketidaksetujuan sosial Trump) atau kedua. Tapi, 538 mendapat pujian karena mengakui dalam model mereka bahwa jajak pendapat di negara-negara yang berbeda tidak independen.
ohwilleke
@ohwilleke - Benar. Seperti yang dikatakan salah satu jawaban lainnya, GIGO. Itulah yang saya pikir mungkin terjadi dengan titik belok aneh yang tidak dapat dijelaskan. Pertanyaannya adalah sumber "sampah" dalam jajak pendapat input.
TED
17

Pertama adalah Brexit, sekarang pemilihan AS

Bukan yang pertama, misalnya pemilihan presiden Prancis, 2002 "menyebabkan diskusi serius tentang teknik pemungutan suara".

Jadi tidak masuk akal untuk mengatakan model ini tidak melakukan pekerjaan dengan sangat baik.

Sampah masuk sampah keluar.

Saya melihat satu penjelasan adalah pemilih tidak mau mengidentifikasi diri mereka sebagai pendukung Trump. Bagaimana model menggabungkan efek seperti itu?

Lihat bias tanggapan , dan bias keinginan sosial tertentu . Bacaan menarik lainnya: mayoritas diam dan efek Bradley .

Franck Dernoncourt
sumber
2
Tentu, sampah-sampah keluar. Tetapi bagaimana seseorang mengenali prediktor adalah sampah, dan melakukan "pemilihan variabel" untuk menyingkirkannya?
horaceT
6
@horaceT seperti yang Anda lihat, ini sangat sulit dan terkadang bisa mustahil. FiveThirtyEight.com memiliki metodologi yang sangat baik dan model berkualitas tinggi, menggunakan beragam data dan mengoreksi beberapa bias. Sehari sebelum pemilihan itu memberi 71,4% kemungkinan bahwa Hilary Clinton akan menang ...
Tim
1
@horaceT Saya akan fokus pada pengumpulan data, karena sepertinya itulah masalahnya. Halaman bias keinginan sosial berisi beberapa ide untuk memperbaikinya.
Franck Dernoncourt
1
@horaceT apalagi, jika hampir setiap kelompok mengatakan bahwa Clinton hanya memimpin orang gila akan berpendapat bahwa mereka semua salah ... Akan sangat sulit untuk membenarkan model seperti itu.
Tim
1
Saya akan penasaran untuk mengetahui seberapa akurat prediksi jajak pendapat untuk partisipasi pemilih (misalnya berdasarkan demografi). Saya dapat membayangkan bahwa jika banyak jajak pendapat yang memprediksi "pengaruh signifikan", jumlah pemilih dapat ditekan (misalnya, mirip dengan efek pengamat )?
GeoMatt22
12

Jajak pendapat USC / LA Times memiliki angka yang akurat. Mereka memperkirakan Trump akan memimpin. Lihat jajak pendapat USC / LA Times yang terlewatkan oleh survei lain: Gelombang dukungan Trump

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

masukkan deskripsi gambar di sini

Mereka memiliki angka akurat untuk 2012 juga.

Anda mungkin ingin mengulas: http://graphics.latimes.com/usc-presidential-poll-dashboard/

Dan NY Times mengeluh tentang bobot mereka: http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages. html

Tanggapan LA Times: http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html

Jon
sumber
26
Jajak pendapat ini membuat Trump memenangkan suara rakyat sebesar 3,2%, tetapi Clinton tampaknya telah menang dengan 0,1%. Jadi saya tidak mengerti bagaimana Anda dapat mengatakan bahwa mereka memiliki angka yang akurat.
Winston Ewert
3
Hanya catatan sedikit - akan Anda benar-benar mengharapkan setiap statistik berada dalam kurang dari 3,2% dari jendela error?
AnoE
9
Masalah dengan polling ini sebagai contoh adalah 1) Polling-nya salah. Voting populer berkorelasi dengan memenangkan Kepresidenan, tetapi bukan itu keputusannya. 2) Ini salah . Clinton memenangkan apa yang diukur, bukan Trump. 3) Itu off oleh poin 3ish yang sama sebagian besar jajak pendapat lain, hanya dalam arah yang berbeda.
TED
5
... sebenarnya, sepertinya Clinton dapat menyelesaikan sekitar satu poin penuh di depan Trump dalam pemungutan suara populer, yang berarti jajak pendapat ini dibatalkan oleh 4, bukan 3. Jadi secara teori jajak pendapat serupa yang membuatnya menang dengan 3 poin akan memiliki telah dua kali seakurat yang satu ini (dimatikan oleh hanya 2 poin daripada 4).
TED
8
Jajak pendapat LA Times benar secara tidak sengaja : 19 tahun yang kelebihan berat badan mengimbangi suara pedesaan kulit putih di bawah-tertimbang.
Tandai
11

Tidak ada tempat tinggi yang diklaim di sini. Saya bekerja di bidang (Pemantauan dan Evaluasi) yang penuh dengan pseudo-sains seperti ilmu sosial lainnya yang bisa Anda sebutkan.

Tapi ini kesepakatannya, industri pemungutan suara seharusnya dalam 'krisis' hari ini karena mendapat prediksi pemilu AS yang salah, ilmu sosial secara umum memiliki 'krisis' yang dapat ditiru dan kembali pada akhir 2000-an kita memiliki 'krisis' keuangan dunia karena beberapa praktisi percaya bahwa turunan hipotek sub-prime adalah bentuk data keuangan yang valid (jika kita memberi mereka keuntungan dari keraguan ...).

Dan kita semua hanya melakukan kesalahan terlepas. Setiap hari saya melihat konstruk peneliti yang paling dipertanyakan yang digunakan sebagai pendekatan pengumpulan data, dan karenanya akhirnya digunakan sebagai data (mulai dari skala kuasi-ordinal hingga kategori respons tetap yang sepenuhnya memimpin). Sangat sedikit peneliti yang tampaknya menyadari bahwa mereka perlu memiliki kerangka kerja konseptual untuk konstruksi seperti itu sebelum mereka dapat berharap untuk memahami hasil mereka. Seolah-olah kita telah melihat pendekatan pasar 'penelitian' dan memutuskan untuk hanya mengadopsi kesalahan terburuk mereka, dengan tambahan sedikit numerologi di samping.

Kami ingin dianggap sebagai 'ilmuwan', tetapi kekakuannya agak terlalu sulit untuk diganggu, jadi kami mengumpulkan data sampah dan berdoa kepada dewa statistik seperti Loki untuk secara ajaib menunggang aksioma GIGO.

Tetapi seperti yang dikutip oleh Mr. Feynman yang dikutip dengan berat:

“Tidak masalah seberapa indah teorimu, tidak masalah seberapa pintar dirimu. Jika tidak setuju dengan eksperimen, itu salah ”.

Ada cara-cara yang lebih baik untuk menangani data kualitatif yang sering membuat kita terjebak, tetapi mereka mengambil sedikit lebih banyak pekerjaan dan konstruk peneliti yang bagus itu sering kali lebih mudah untuk dimasukkan ke dalam SPSS. Kenyamanan tampaknya mengalahkan ilmu pengetahuan setiap saat (tidak ada permainan kata-kata yang dimaksudkan).

Singkatnya, jika kita tidak mulai serius tentang kualitas data mentah, saya pikir kita hanya membuang-buang waktu dan uang semua orang, termasuk kita sendiri. Jadi, apakah ada yang ingin berkolaborasi pada 'inisiatif kualitas data' dalam kaitannya dengan metode ilmu sosial (ya, ada banyak buku teks tentang hal-hal seperti itu, tetapi tampaknya tidak ada yang memperhatikan sumber itu setelah ujian mereka).

Siapa pun yang memiliki gravitasi paling akademis akan menjadi yang terdepan! (Itu bukan aku.)

Untuk memperjelas jawaban saya di sini: Saya sering melihat masalah mendasar dengan tipe data mentah yang 'dibuat-buat', sehingga saya ingin menyarankan perlunya memulai dari awal. Jadi bahkan sebelum kita khawatir tentang pengambilan sampel atau tes mana yang akan dijalankan pada data, kita perlu melihat validitas / batasan tipe data yang kami kumpulkan sehubungan dengan model yang kami usulkan. Kalau tidak, model prediksi keseluruhan tidak didefinisikan secara lengkap.

colin
sumber
2
Sejauh ini saya yakin, dapatkah Anda memberikan contoh konstruk peneliti yang dipertanyakan.
horaceT
4
Saya tidak selalu tidak setuju dengan banyak poin Anda. Tetapi saya hanya ingin menunjukkan bahwa dalam hal pemungutan suara, saya pikir setiap jajak pendapat sangat menyadari keterbatasan karena kualitas data, tetapi tidak benar-benar memiliki pilihan untuk memperbaikinya (lihat jawaban saya). Jawaban Anda tampaknya menunjukkan bahwa pengumpul data ingin mengeluarkan jawaban apa pun , tidak peduli sama sekali tentang kualitas data. Saya pikir ahli jajak pendapat peduli banyak tentang kualitas data, tetapi juga menyadari bahwa yang terbaik yang mereka bisa mendapatkan memiliki potensi kelemahan serius. Apakah Anda menyerah ("50% -50%!") Atau mencoba membangun sesuatu yang mungkin masuk akal?
Cliff AB
tanggapan saya terhadap komentar tentu agak panjang, jadi tambahkan sebagai jawaban baru
colin
9

Polling cenderung memiliki margin kesalahan 5% yang tidak bisa Anda singkirkan, karena ini bukan kesalahan acak, tetapi bias. Bahkan jika Anda rata-rata di banyak jajak pendapat, itu tidak jauh lebih baik. Ini ada hubungannya dengan kelompok-kelompok pemilih disalahpahami, kurangnya mobilisasi, ketidakmampuan untuk pergi ke pemungutan suara pada hari kerja, keengganan untuk menjawab, keengganan untuk menjawab kanan , keputusan-menit terakhir spontan, ... karena bias ini cenderung "berkorelasi" lintas jajak pendapat, Anda tidak dapat menyingkirkannya dengan lebih banyak jajak pendapat; Anda juga tidak bisa menghilangkannya dengan ukuran sampel yang lebih besar; dan Anda juga tidak dapat memprediksi bias ini, karena perubahannya terlalu cepat (dan kami memilih presiden terlalu jarang).

Karena prinsip pemenang-mengambil-semua yang bodoh masih ada di hampir semua negara bagian, kesalahan 5% dapat menyebabkan hasil yang sangat berbeda: Asumsikan jajak pendapat selalu memperkirakan 49-51, tetapi hasil sebenarnya adalah 51-49 (jadi kesalahan dari hanya 2%), hasilnya 100% off; karena pemenang-mengambil-itu-semua.

Jika Anda melihat status masing-masing, sebagian besar hasil berada dalam margin kesalahan yang diprediksi!

Mungkin yang terbaik yang dapat Anda lakukan adalah sampel bias ini (+ -5%), terapkan pemenang-take-all extreme, lalu agregat hasilnya. Ini mungkin mirip dengan apa yang 538 lakukan; dan dalam 30% sampel, Donald Trump menang ...

Anony-Mousse
sumber
9
Saya menyebutnya "prinsip pinggiran orang gila" dalam pemungutan suara: dalam setiap pertanyaan survei, 5% dari semua responden akan memberikan jawaban yang gila. Seperti prinsip empiris mana pun ia memiliki pengecualian, tetapi telah berdiri dengan baik selama beberapa dekade dalam membantu memahami hasil jajak pendapat.
whuber
1
Jika hanya itu saja "gila" jawaban. Masalahnya adalah bahwa itu sistematis bukan "gila gila". Anda dapat menganggap pemilihan sebagai jajak pendapat biner, dan "jawaban gila" apa yang bisa Anda harapkan dalam biner? Tetapi ternyata, banyak orang yang sengaja (?) Memberikan jawaban yang salah, atau memutuskan secara berbeda ketika benar-benar berada di stan, atau kemudian tidak pergi ke pemilihan umum, ...
Anony-Mousse
3
@ Anony-Mousse tidak peduli seberapa akurat atau tidaknya itu, saya gagal untuk melihat bagaimana pemanggilan nama remaja relevan dengan analisis statistik.
Jared Smith
Oh, ini adalah kisah yang tak ternilai harganya. Pada beberapa hari, Anda harus tertawa, daripada khawatir mengapa hasil prediksi tidak akurat.
Anony-Mousse
Komentar bukan untuk diskusi panjang; percakapan ini telah dipindahkan ke obrolan .
gung
7

400,000

Pada akhirnya, itu mengekspos kegagalan kolosal analisis numerik untuk menebus kurangnya pengetahuan tentang materi pelajaran. Orang-orang malu pada diri mereka sendiri untuk secara eksplisit merangkul kandidat yang menang karena alasan yang jelas.

Model komputer terburuk bisa lebih dekat dengan hasilnya jika ada orang yang repot-repot melakukan jajak pendapat pendahuluan tatap muka, mengetuk pintu. Berikut ini sebuah contoh: Grup Trafalgar (tidak ada afiliasi atau pengetahuan selain yang berikut) memiliki Trump memimpin di PA, FL, MI, GA, UT dan NV (negara bagian terakhir ini akhirnya biru) satu hari sebelum pemilihan. Apa sihirnya?

kombinasi dari responden survei untuk kedua tes suara standar dan tes suara yang mengukur [sic] di mana tetangga responden berdiri. Ini membahas bias yang mendasari jajak pendapat tradisional, di mana responden tidak sepenuhnya jujur ​​tentang posisi mereka mengenai kandidat yang sangat kontroversial.

Cukup berteknologi rendah, termasuk kurangnya periksa ejaan, menunjukkan banyak hal tentang sifat manusia. Inilah perbedaan dalam PA :

masukkan deskripsi gambar di sini

Pennsylvania yang bersejarah - sejauh ini dianggap sebagai sedotan terakhir dalam kekalahan Demokrat hanya beberapa jam sebelum realisasi penutupan ini pada pukul 1:40 pagi pada tanggal 9 November 2016:

masukkan deskripsi gambar di sini

Antoni Parellada
sumber
2
Bertanya tentang niat memilih tetangga itu brilian - bagi saya tampaknya salah satu trik pintar yang kadang-kadang digunakan dalam Statistik, yang memungkinkan mengoreksi (setidaknya pada tingkat tertentu) untuk bias yang tampaknya tidak ada harapan. Terima kasih telah menulis tentang itu, sangat menarik!
DeltaIV
5

Salah satu alasan ketidakakuratan jajak pendapat dalam pemilihan AS, selain beberapa orang karena alasan apa pun jangan katakan kebenarannya, adalah bahwa efek "pemenang mengambil semuanya" membuat prediksi menjadi lebih mudah. Perbedaan 1% dalam satu negara dapat menyebabkan pergeseran kondisi yang lengkap dan sangat mempengaruhi keseluruhan hasil. Hillary memiliki lebih banyak pemilih seperti Al Gore vs Bush.

Referendum Brexit bukanlah pemilihan yang normal dan karenanya juga lebih sulit untuk diprediksi (Tidak ada data historis yang baik dan semua orang seperti pemilih pertama kali dalam hal ini). Orang yang selama beberapa dekade memilih partai yang sama menstabilkan prediksi.

Sascha
sumber
2
Pengamatan yang sangat bagus. Ada status yang jelas untuk setiap sisi dan status ayunan. Sementara jumlah mereka rendah, pengaruhnya terhadap perubahan kecil ada banyak dalam jumlah suara. Ini adalah skema pemilihan yang sangat berbelit-belit dan secara historis berkembang di AS.
Trilarion
4

(Hanya menjawab bagian ini, karena jawaban yang lain tampaknya telah mencakup semua yang lain.)

Sampai jam 4 sore PST kemarin, pasar taruhan masih mengunggulkan Hillary 4 banding 1. Saya menganggap bahwa pasar taruhan, dengan uang sungguhan di telepon, harus bertindak sebagai ensembel dari semua model prediksi yang tersedia di luar sana.

Tidak ... tapi secara tidak langsung ya.

Pasar taruhan dirancang agar bandar judi mendapat untung apa pun yang terjadi. Misalnya, peluang yang dikutip saat ini adalah 1-4 di Hilary, dan 3-1 di Trump. Jika sepuluh orang berikutnya semuanya bertaruh $ 10 untuk Hilary, maka $ 100 yang diambil akan dikenakan biaya $ 25 jika Hilary menang. Jadi mereka mempersingkat Hilary menjadi 1-5, dan meningkatkan Trump menjadi 4-1. Lebih banyak orang sekarang bertaruh pada Trump, dan keseimbangan dipulihkan. Yaitu itu murni didasarkan pada bagaimana orang bertaruh, bukan pada para pakar atau model prediksi.

Tapi, tentu saja, pelanggan bandar judi melihat jajak pendapat itu, dan mendengarkan para pakar itu. Mereka mendengar bahwa Hilary unggul 3%, sertifikat mati untuk menang, dan memutuskan cara cepat untuk menghasilkan $ 10 adalah bertaruh $ 40 untuknya.

Secara tidak langsung para pakar dan jajak pendapat menggerakkan peluang.

(Beberapa orang juga melihat semua teman mereka di tempat kerja akan memilih Trump, jadi bertaruh padanya; yang lain melihat semua posting teman Facebook mereka pro-Hilary, jadi bertaruh padanya, jadi ada sedikit kenyataan yang memengaruhi mereka, dengan cara itu.)

Darren Cook
sumber
2

Tidak mengherankan bahwa upaya ini gagal, ketika Anda mempertimbangkan perbedaan antara informasi apa yang dimiliki oleh model dan informasi apa yang mendorong perilaku di tempat pemungutan suara. Saya berspekulasi, tetapi modelnya mungkin mempertimbangkan:

  • berbagai hasil polling sebelum pemilihan
  • kecenderungan keadaan historis (biru / merah)
  • hasil historis dari pemilihan sebelumnya dengan kecenderungan / proyeksi negara saat ini

Namun, jajak pendapat pra-pemilihan tidak dapat diandalkan (kami telah melihat kegagalan konstan di masa lalu), negara dapat membalik, dan belum ada siklus pemilu yang cukup dalam sejarah kami untuk menjelaskan banyak situasi yang dapat, dan memang, muncul .

Komplikasi lain adalah pertemuan suara rakyat dengan perguruan tinggi pemilihan. Seperti yang kita lihat dalam pemilihan ini, pemungutan suara rakyat bisa sangat dekat dalam suatu negara bagian, tetapi begitu negara dimenangkan, semua suara diberikan kepada satu kandidat, itulah sebabnya peta tersebut memiliki warna merah.

HEITZ
sumber
1

Model pemungutan suara tidak mempertimbangkan berapa banyak Libertarian yang mungkin beralih dari Johnson ke Trump ketika datang ke pemungutan suara yang sebenarnya. Negara-negara bagian yang dimenangkan dengan selisih tipis dimenangkan berdasarkan persentase suara yang didapat Johnson. PA (yang mendorong Trump melewati 270 pada malam pemilihan) hanya memberikan 2% untuk Johnson. NH (yang pergi ke Clinton) memberi 4% + kepada Johnson. Johnson memberikan suara pada 4% -5% sehari sebelum pemilihan dan dia mendapat sekitar 3% pada hari pemilihan.

Jadi mengapa Libertarian, tiba-tiba, beralih pada hari pemilihan? Tidak ada yang mempertimbangkan apa yang menjadi masalah utama pemilih Libertarian. Mereka cenderung memandang interpretasi literal Konstitusi sebagai kanon. Kebanyakan orang yang memilih Clinton tidak berpikir bahwa penolakannya terhadap hukum merupakan prioritas yang cukup tinggi untuk dipertimbangkan. Tentu saja, tidak lebih tinggi dari semua yang mereka tidak suka tentang Trump.

Terlepas dari apakah masalah hukumnya penting atau tidak bagi orang lain, mereka akan menjadi penting bagi Libertarian. Mereka akan menempatkan prioritas yang sangat tinggi untuk mencegah seseorang dari kantor yang memandang kepatuhan hukum sebagai opsional, paling baik. Jadi, bagi sebagian besar dari mereka, mengusir Clinton dari jabatannya akan menjadi prioritas yang lebih tinggi daripada membuat pernyataan bahwa filsafat Libertarian adalah filsafat politik yang layak.

Banyak dari mereka mungkin bahkan tidak menyukai Trump, tetapi jika mereka berpikir bahwa dia akan lebih menghormati aturan hukum daripada Clinton, pragmatisme akan memenangkan prinsip-prinsip untuk banyak dari mereka dan menyebabkan mereka beralih suara ketika tiba saatnya untuk benar-benar memilih.

Dmitry Rubanovich
sumber
NH memiliki semua orang dari proyek negara bebas yang tinggal di sana. Partai libertarian yang berkembang dan pendukung aktif.
John
@ John, NH Libertarian terjebak dengan Johnson (4%). Trump kehilangan negara sebesar 1%.
Dmitry Rubanovich
Aku mengerti itu. Saya mencoba menjelaskan bahwa pihak libertarian kuat di NH.
John
@ John, tapi bukan hanya NH. Minnesota: Johnson 4%, Trump kalah 2%; NV (argumen yang lebih sulit dibuat, tetapi tren masih berlaku): Johnson 3,5%, Trump kalah 2%; Maine: Johnson 5%, Trump kalah 3%; Colorado Johnson 5%, Trump kalah 3%.
Dmitry Rubanovich
Afaik, jajak pendapat bertanya tentang kemungkinan peralihan suara dan ramalan mempertimbangkannya. Apakah Anda memiliki informasi yang menunjukkan bahwa sebelum pemilihan ada informasi seperti itu yang tidak dipertimbangkan oleh ramalan atau apakah ini murni spekulasi?
Tim
1

Jajak pendapat bukanlah tren historis. Seorang Bayesian akan menanyakan tren sejarah. Sejak Abraham Lincoln, telah ada partai Republik dan partai Demokrat yang memegang jabatan presiden. Tren perubahan partai 16 kali sejak itu dari Wikipedia memiliki fungsi massa kumulatif berikut

masukkan deskripsi gambar di sini

x

Apa yang membuat jurnalis, partai Demokrat, dan lembaga survei berpikir bahwa peluangnya untuk memenangkan liberal mungkin merupakan angan-angan. Perilaku mungkin dapat diprediksi, dalam batas-batas, tetapi dalam kasus ini Demokrat berharap bahwa orang tidak akan memilih perubahan, dan dari perspektif sejarah, tampaknya lebih mungkin akan ada satu daripada tidak.

Carl
sumber
0

Saya pikir hasil jajak pendapat diekstrapolasi ke tingkat publik dengan asumsi demografi pemilih akan sama dengan demografi pemilih dan akan menjadi representasi yang baik dari seluruh populasi. Misalnya, jika 7 dari 10 minoritas mendukung Hillary dalam jajak pendapat, dan jika minoritas itu mewakili 30% dari populasi AS, mayoritas jajak pendapat mengasumsikan 30% pemilih akan diwakili oleh minoritas itu dan diterjemahkan ke dalam perolehan 21% untuk Hillary. Pada kenyataannya, pria kulit putih, kelas menengah ke atas lebih terwakili di antara para pemilih. Kurang dari 50% orang yang memenuhi syarat memberikan suara dan ini tidak berarti 50% dari semua jenis kelamin, ras, dll.

Atau, jajak pendapat mengasumsikan pengacakan sempurna dan mendasarkan model mereka pada itu tetapi dalam kenyataannya data pemilih bias terhadap laki-laki kelas menengah ke atas yang lebih tua.

Atau, jajak pendapat tidak benar-benar menganggap pengacakan sempurna tetapi parameter ekstrapolasi mereka meremehkan heterogenitas demografi pemilih.

ETA: Jajak pendapat dari dua pemilihan sebelumnya berkinerja lebih baik karena meningkatnya perhatian pada pemilihan oleh kelompok-kelompok yang biasanya tidak terwakili dengan baik.

brian
sumber
Sejauh yang saya tahu, semua jajak pendapat mendasarkan prediksi mereka pada 'kemungkinan pemilih'. Saya tidak bisa membayangkan jajak pendapat yang menganggap anak berusia 20 tahun memiliki kesempatan yang sama untuk memilih sebagai anak berusia 70 tahun. Lebih sentral tampaknya masalah: seberapa besar kemungkinan seseorang untuk memilih?
dimpol
Akuntansi untuk demografi adalah bagian yang paling mudah. Anda hanya mengatur ulang populasi sampel ke populasi aktual. Namun, perhitungan untuk pemilih pemilih dan bias yang disebutkan dalam jawaban lain jauh lebih sulit.
Graipher
Ada cukup banyak variasi dalam cara lembaga survei mengatasi masalah ini. Beberapa menyeimbangkan demografis atau menyeimbangkan berdasarkan afiliasi partai, yang lain tidak. Tetapi, karena ada variasi pada model yang menggunakan rata-rata pemungutan suara, hasil akhirnya harus kuat untuk masalah khususnya untuk satu metode melakukan ini yang tidak dibagi oleh jajak pendapat lain, terutama setelah mengendalikan bias partisan historis (yaitu efek rumah) khususnya operasi pemungutan suara. Masalah dalam hasil jajak pendapat rata-rata harus berasal dari metode atau efek bersama, bukan metode khusus untuk setiap jajak pendapat.
ohwilleke
0

HoraceT dan CliffAB (maaf terlalu lama untuk komentar) Saya khawatir saya punya banyak contoh, yang juga mengajarkan saya bahwa saya harus sangat berhati-hati dengan penjelasan mereka, jika saya ingin menghindari menyinggung orang. Jadi, sementara saya tidak ingin kesenangan Anda, saya meminta kesabaran Anda. Ini dia:

Untuk memulai dengan contoh ekstrem, saya pernah melihat pertanyaan survei yang diajukan yang meminta petani desa buta huruf (Asia Tenggara), untuk memperkirakan 'tingkat pengembalian ekonomi' mereka. Mengesampingkan opsi tanggapan untuk saat ini, semoga kita semua dapat melihat bahwa ini adalah hal yang bodoh untuk dilakukan, tetapi secara konsisten menjelaskan mengapa itu bodoh tidak begitu mudah. Ya, kita dapat mengatakan bahwa itu bodoh karena responden tidak akan mengerti pertanyaan itu dan menganggapnya sebagai masalah semantik. Tetapi ini benar-benar tidak cukup baik dalam konteks penelitian. Fakta bahwa pertanyaan ini pernah disarankan menyiratkan bahwa para peneliti memiliki variabilitas yang melekat pada apa yang mereka anggap 'bodoh'. Untuk mengatasi hal ini secara lebih objektif, kita harus mundur dan secara transparan mendeklarasikan kerangka kerja yang relevan untuk pengambilan keputusan tentang hal-hal seperti itu. Ada banyak opsi seperti itu,

Jadi, mari kita asumsikan secara transparan bahwa kita memiliki dua tipe informasi dasar yang dapat kita gunakan dalam analisis: kualitatif dan kuantitatif. Dan bahwa keduanya terkait oleh proses transformatif, sehingga semua informasi kuantitatif dimulai sebagai informasi kualitatif tetapi melalui langkah-langkah (disederhanakan) berikut:

  1. Pengaturan konvensi (mis. Kita semua memutuskan bahwa [terlepas dari bagaimana kita melihatnya secara individual], bahwa kita semua akan memanggil warna langit terbuka siang hari “biru”.)
  2. Klasifikasi (mis. Kami menilai segala sesuatu di ruangan oleh konvensi ini dan memisahkan semua item ke dalam kategori 'biru' atau 'tidak biru')
  3. Hitung (kami menghitung / mendeteksi 'jumlah' benda biru di dalam ruangan)

Perhatikan bahwa (di bawah model ini) tanpa langkah 1, tidak ada yang namanya kualitas dan jika Anda tidak memulai dengan langkah 1, Anda tidak akan pernah bisa menghasilkan kuantitas yang berarti.

Setelah dinyatakan, ini semua terlihat sangat jelas, tetapi seperangkat prinsip pertama itulah yang (saya temukan) paling sering diabaikan dan karenanya menghasilkan 'Sampah Masuk'.

Jadi 'kebodohan' dalam contoh di atas menjadi sangat jelas dapat didefinisikan sebagai kegagalan untuk menetapkan konvensi umum antara peneliti dan responden. Tentu saja ini adalah contoh ekstrem, tetapi kesalahan yang jauh lebih halus dapat sama-sama menghasilkan sampah. Contoh lain yang saya lihat adalah survei petani di pedesaan Somalia, yang bertanya, "Bagaimana perubahan iklim memengaruhi mata pencaharian Anda?" Amerika Serikat akan merupakan kegagalan serius untuk menggunakan konvensi umum antara peneliti dan responden (yaitu apa yang diukur sebagai 'perubahan iklim').

Sekarang mari kita beralih ke opsi tanggapan. Dengan memungkinkan responden untuk memberi tanggapan sendiri terhadap kode dari serangkaian opsi pilihan ganda atau konstruksi serupa, Anda mendorong masalah 'konvensi' ini ke dalam aspek pertanyaan ini juga. Ini mungkin baik-baik saja jika kita semua berpegang pada konvensi 'universal' yang efektif dalam kategori respons (mis. Pertanyaan: di kota mana Anda tinggal? Kategori respons: daftar semua kota di area penelitian [plus 'tidak di area ini']). Namun, banyak peneliti yang tampaknya bangga dengan nuansa halus pertanyaan dan kategori respons mereka untuk memenuhi kebutuhan mereka. Dalam survei yang sama dengan pertanyaan 'laju pengembalian ekonomi' muncul, peneliti juga meminta responden (penduduk desa miskin), untuk menyediakan sektor ekonomi mana yang mereka beri kontribusi: dengan kategori respons 'produksi', 'layanan', 'manufaktur' dan 'pemasaran'. Sekali lagi masalah konvensi kualitatif jelas muncul di sini. Namun, karena ia membuat tanggapan yang saling eksklusif, sehingga responden hanya bisa memilih satu opsi (karena "lebih mudah untuk memberi makan ke SPSS seperti itu"), dan petani desa secara rutin menghasilkan tanaman, menjual tenaga kerja mereka, membuat kerajinan tangan dan mengambil segalanya untuk pasar lokal sendiri, peneliti khusus ini tidak hanya memiliki masalah konvensi dengan respondennya, ia memiliki satu dengan kenyataan itu sendiri.

Inilah sebabnya mengapa bor tua seperti saya akan selalu merekomendasikan pendekatan yang lebih intensif untuk menerapkan pengkodean ke data setelah pengumpulan - karena setidaknya Anda dapat melatih pembuat kode secara memadai dalam konvensi yang diadakan oleh peneliti (dan perhatikan bahwa mencoba memberikan konvensi semacam itu kepada responden di ' instruksi survei 'adalah permainan mug - cukup percayalah pada yang ini untuk saat ini). Juga perhatikan juga bahwa jika Anda menerima 'model informasi' di atas (yang, sekali lagi, saya tidak mengklaim Anda harus), itu juga menunjukkan mengapa skala respons kuasi-ordinal memiliki reputasi buruk. Ini bukan hanya masalah matematika dasar di bawah konvensi Steven (yaitu Anda perlu mendefinisikan asal yang bermakna bahkan untuk tata cara, Anda tidak dapat menambahkan dan meratakannya, dll.), itu juga bahwa mereka sering tidak pernah melalui proses transformatif yang dinyatakan secara transparan dan konsisten secara logis yang akan berjumlah 'kuantifikasi' (yaitu versi diperpanjang dari model yang digunakan di atas yang juga mencakup generasi 'kuantitas ordinal' [-ini tidak sulit melakukan]). Lagi pula, jika tidak memenuhi persyaratan informasi kualitatif atau kuantitatif, maka peneliti sebenarnya mengklaim telah menemukan jenis informasi baru di luar kerangka kerja, dan oleh karena itu tanggung jawabnya adalah pada mereka untuk menjelaskan dasar konseptual fundamental sepenuhnya ( yaitu secara transparan mendefinisikan kerangka kerja baru).

Akhirnya mari kita lihat masalah pengambilan sampel (dan saya pikir ini sejalan dengan beberapa jawaban lain yang sudah ada di sini). Misalnya, jika seorang peneliti ingin menerapkan konvensi tentang apa yang merupakan pemilih 'liberal', mereka perlu memastikan bahwa informasi demografis yang mereka gunakan untuk memilih rezim pengambilan sampel mereka konsisten dengan konvensi ini. Tingkat ini biasanya yang paling mudah untuk diidentifikasi dan ditangani karena sebagian besar berada dalam kendali peneliti dan paling sering merupakan jenis konvensi kualitatif yang diasumsikan secara transparan dalam penelitian. Inilah sebabnya mengapa tingkat ini biasanya didiskusikan atau dikritik, sementara masalah yang lebih mendasar tidak terselesaikan.

Jadi, sementara para pengamat tetap pada pertanyaan-pertanyaan seperti 'siapa yang Anda rencanakan untuk memilih pada saat ini?', Kita mungkin masih baik-baik saja, tetapi banyak dari mereka yang ingin mendapatkan lebih 'lebih mewah' daripada ini ...

colin
sumber