Penilaian Kuadrat Intelijen dan Penentuan Pemenang

12

Ada podcast NPR yang disebut Intelligence Squared. Setiap episode adalah penyiaran debat langsung pada beberapa pernyataan kontroversial seperti "Amandemen ke-2 tidak lagi relevan" atau "Tindakan afirmatif di kampus tidak lebih berbahaya daripada kebaikan". Empat perwakilan berdebat - dua untuk mosi dan dua menentang.

Untuk menentukan pihak mana yang menang, audiens disurvei sebelum dan sesudah perdebatan. Sisi yang memperoleh lebih banyak dalam hal persentase absolut dianggap sebagai pemenang. Sebagai contoh:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Secara intuitif, saya pikir ukuran keberhasilan ini bias dan saya bertanya-tanya bagaimana orang akan memilih pemirsa untuk menentukan pemenang secara adil.

Tiga masalah yang saya segera lihat dengan metode saat ini:

  • Pada kondisi ekstrem, jika satu pihak memulai dengan persetujuan 100%, mereka hanya bisa seri atau kalah.

  • Jika tidak ada keraguan, maka sisi dengan perjanjian awal yang lebih sedikit dapat dilihat memiliki ukuran sampel yang lebih besar untuk menggambar.

  • Sisi ragu-ragu sepertinya tidak akan benar-benar ragu-ragu. Jika kita berasumsi bahwa kedua belah pihak sama-sama terpolarisasi, tampaknya kepercayaan kita sebelumnya tentang populasi yang belum memutuskan harus menjadi jika masing-masing dipaksa untuk mengambil sisi .Beta(# For,# Against)

Mengingat kita harus mengandalkan pemungutan suara audiens, apakah ada cara yang lebih adil untuk menilai siapa yang menang?

Wesley Tansey
sumber
1
Saya akan berpikir sesuatu seperti "For-Against ratio -Setelah" dibagi dengan "For-Against ratio -Before" (pada dasarnya rasio odds) akan menjadi pilihan yang lebih baik. Jika lebih tinggi dari 1 Anda meningkatkan peluang, jika kurang dari 1, Anda tidak.
Glen_b -Reinstate Monica
Itu juga pemikiran awal saya, meskipun saya merumuskannya sebagai persentase kenaikan. Saya hanya tidak yakin bagaimana membuktikan bahwa ini merupakan estimasi yang tidak bias.
Wesley Tansey
Perkiraan yang tidak bias tentang apa? Saya tidak yakin ketidakberpihakan adalah properti yang sangat diinginkan untuk ini.
Glen_b -Reinstate Monica
Seberapa baik masing-masing pihak melakukannya. Idealnya kita tidak ingin bias hasil berdasarkan respon awal dari kerumunan. Atau saya mungkin berpikir tentang hal yang salah ...
Wesley Tansey
Ah, saya pikir kita menggunakan bias dengan cara yang sedikit berbeda di sana. Apakah saran saya bias dalam pengertian itu tergantung pada apa yang sebenarnya Anda coba ukur. Dengan satu ukuran populer, ini sangat cocok dengan masalah itu.
Glen_b -Reinstate Monica

Jawaban:

10

Kekhawatiran Anda beralasan. Sayangnya, ada banyak cara yang dapat dipertahankan dan obyektif untuk menyelesaikan masalah ini dan mereka dapat saling bertentangan. Analisis berikut menyediakan kerangka kerja untuk memutuskan bagaimana Anda ingin mengevaluasi hasil dan menunjukkan seberapa tergantung kesimpulan Anda pada asumsi yang Anda buat tentang dinamika situasi.


Kami memiliki sedikit atau tidak ada kontrol atas audiens awal. Itu mungkin tidak mewakili populasi yang lebih besar (seperti semua pemirsa) di mana kami lebih tertarik. Oleh karena itu, jumlah absolut dari pendapat sedikit relevansinya: yang penting adalah tingkat di mana orang mungkin berubah pikiran. (Dari angka-angka ini kita dapat memperkirakan bagaimana populasi pendengar dapat berubah, memberikan informasi tentang opini awal mereka, bahkan ketika proporsi pendapat dalam audiens yang mendengarkan berbeda dari audiens studio yang disurvei.)

Oleh karena itu hasil terdiri dari enam kemungkinan perubahan pendapat dan enam tingkat perubahan terkait:

  • Mereka yang "untuk," yang akan saya indeks dengan dapat berubah pikiran dan berakhir melawan (dengan indeks 2 ) pada tingkat a 12 atau ragu-ragu (dengan indeks 3 ) pada tingkat a 13 .1,2a123a13

  • Mereka yang "menentang" dapat berubah pikiran menjadi "untuk" pada tingkat atau "ragu-ragu" pada tingkat a 23 .a21a23

  • The undecideds dapat mengubah pikiran mereka untuk "untuk" pada tingkat atau "melawan" pada tingkat yang 32 .a31a32.

Mendefinisikan , untuk i = 1 , 2 , 3 , untuk menjadi proporsi penduduk indeks i tidak mengubah pikiran mereka.aiii=1,2,3,i

Kolom dari matriks berisi angka non-negatif yang harus menambah persatuan (dengan asumsi semua orang yang menanggapi jajak pendapat awal juga menanggapi yang terakhir). Yang menyisakan enam nilai independen untuk ditentukan berdasarkan transisi dari distribusi awal di antara audiens, x = ( 0,18 , 0,42 , 0,40 ) , ke distribusi akhir y = ( 0,23 , 0,49 , 0,28 ) = A xA=(aij)x=(0.18,0.42,0.40)y=(0.23,0.49,0.28)=Ax. Ini adalah sistem persamaan linear terbatas (terbatas) yang tidak ditentukan, meninggalkan fleksibilitas luar biasa dalam memperoleh solusi. Mari kita lihat tiga solusi.

Solusi 1: Perubahan Terkecil

Kita mungkin meminta matriks transisi sekecil mungkin dalam beberapa hal. Salah satu caranya adalah meminimalkan proporsi total orang yang mengubah pendapat mereka. Ini dicapai dalam contoh dengan solusiA

A=(100.125010.175000.700).

Yaitu, dari yang ragu-ragu berakhir untuk, 17,5 % dari mereka berakhir melawan, dan tidak ada yang asli atau tidak berubah yang berubah pikiran. Siapa yang menang? Yang menentang, tentu saja, karena perdebatan itu membujuk sebagian besar orang yang belum memutuskan untuk menyetujui pendapat "menentang".12.5%17.5%

Model ini akan sesuai ketika Anda yakin faksi-faksi awal mengeras pada pendapat mereka dan satu-satunya orang yang cenderung berubah pikiran adalah di antara mereka yang awalnya dinyatakan sebagai bimbang.

Solusi 2: Kotak Terkecil

Solusi matematis sederhana adalah menemukan matriks yang kuadrat L 2 norma | | A | | 2 2 = t r ( AA ) sekecil mungkin: ini meminimalkan jumlah kuadrat dari semua sembilan probabilitas transisi (yang termasuk a i i yang mewakili proporsi yang tidak berubah pikiran). Solusinya (dibulatkan ke dua tempat desimal) adalahAL2||A||22=tr(AA)aii

A=(0.280.220.220.410.510.500.310.270.28).

Membandingkan baris, kita melihat bahwa meskipun dari sisi "melawan" dibujuk untuk dikonversi menjadi "untuk" (dan 27 % lainnya cukup bingung untuk menjadi ragu-ragu), sepenuhnya 41 % dari sisi "untuk" dikonversi (dan lain 31 % bingung). Keragu-raguan asli cenderung dikonversi ke sisi "terhadap" ( 50 % berbanding 22 % ). Sekarang "menentang" adalah pemenang yang jelas.22%27%41%31%50% 22%

1/3

Solusi 3: Kotak Terkecil Dihukum

AωiA

||A||22ω1a11ω2a22ω3a33

ω=(1,1,1/2)

A=(0.9100.170.030.930.230.060.070.60).

40%17%23%

Ringkasan

Dalam model transisi perubahan pendapat ini, sebagian besar metode solusi menunjukkan kemenangan untuk pihak "melawan" dalam contoh khusus ini. Tidak ada pendapat kuat tentang dinamika perubahan, yang menyarankan pihak "menentang" menang.

(.20,.60,.20)(.30,.40,.30)20%30%40%30%. Namun, solusi kuadrat (bulat) setidaknya menunjukkan ada cara ini bisa terjadi di mana perdebatan sedikit disukai pihak lain! ini

A=(0.320.290.320.360.420.360.320.290.32).

36%29%(36%) 32%

komentar tambahan

A

A

whuber
sumber
Terima kasih untuk posting rinci! Saya prihatin bahwa semua metode ini tidak mempertimbangkan kemungkinan bahwa orang-orang yang ragu-ragu tidak benar-benar ragu-ragu.
Wesley Tansey
Mereka memiliki fleksibilitas untuk memasukkan kekhawatiran Anda tentang kemungkinan itu. Anda masih terjebak dengan kebutuhan untuk membuat asumsi (kuat): jika Anda pikir itu tidak benar-benar diputuskan, Anda harus memperkirakan proporsi mana yang "untuk" dan proporsi mana yang "melawan" (dan akan bodoh untuk mengasumsikannya). proporsinya sama dengan angka untuk: angka terhadap!) Salah satu cara untuk menghindari estimasi seperti itu - jika hanya untuk melihat seperti apa hasilnya nanti - adalah memilih solusi yang menghargai perubahan pendapat oleh orang yang belum memutuskan.
whuber
Dengan asumsi kedua belah pihak sama-sama mempolarisasi, bukankah estimasi MAP Anda tentang orang-orang yang belum memutuskan pilihan adalah untuk: terhadap rasio?
Wesley Tansey
Dalam sebagian besar keadaan akan sulit untuk mendukung asumsi semacam itu. Sebagai contoh, orang yang kurang informasi mungkin memiliki kecenderungan lebih besar untuk ragu-ragu - dan pada akhirnya juga cenderung lebih menyukai salah satu dari dua posisi tersebut. Efek dari asumsi "sama-sama polarisasi" bisa sangat kuat (terutama ketika ada sebagian besar yang belum memutuskan) untuk membuat analisis selanjutnya di samping intinya: hasilnya terutama akan menjadi konsekuensi dari asumsi itu. Garis pemikiran yang produktif untuk Anda mungkin adalah mempertimbangkan mengumpulkan informasi tambahan tentang orang-orang yang belum memutuskan.
whuber
3

p(forafter,againstafter,undecidedafterforbefore,againstbefore,undecidedbefore)
0.5untuk kedua tim. Perhatikan bahwa masih ada beberapa pilihan untuk aturan keputusan karena ruang hasil adalah 2-dimensi tetapi, jika kita mempercayai model prediktif, ini tidak masalah dalam hal keadilan kontes. Seseorang dapat, misalnya, hanya memutuskan bahwa untuk-tim menang jika rasio For-Against setelah perdebatan melebihi median prediktifnya (tergantung pada sebelum jajak pendapat).

Gagasan untuk membangun model prediksi

(P(forfor before),P(udfor before),P(agfor before))Dir(aff,auf,aaf)(P(forud before),P(udud before),P(agud before))Dir(afu,auu,aau)(P(forag before),P(udag before),P(agag before))Dir(afa,aua,aaa),
Paaaaff=aaaafu=aau

a

Juho Kokkala
sumber
Bisakah Anda memperluas gagasan model prediksi dengan contoh?
Wesley Tansey
@WesleyTansey Saya menyadari seseorang dapat menggunakan ide Whuber untuk mempertimbangkan probabilitas transisi untuk membangun model prediksi untuk keperluan jawaban saya. Saya mengedit jawaban saya untuk memuat beberapa ide awal, tetapi saya belum mencoba mengimplementasikannya dan saat ini saya tidak berencana untuk melakukannya.
Juho Kokkala