Sistem pemilihan yang menggunakan akurasi masing-masing pemilih dan ketidakpastian yang terkait

Katakanlah, kita memiliki pertanyaan "ya / tidak" sederhana yang ingin kita ketahui jawabannya. Dan ada N orang "memilih" untuk jawaban yang benar. Setiap pemilih memiliki sejarah - daftar 1 dan 0, yang menunjukkan apakah mereka benar atau salah tentang pertanyaan semacam ini di masa lalu. Jika kita menganggap sejarah sebagai distribusi binomial, kita dapat menemukan kinerja rata-rata pemilih pada pertanyaan-pertanyaan seperti itu, variasinya, CI dan metrik kepercayaan jenis apa pun lainnya.

Pada dasarnya, pertanyaan saya adalah: bagaimana cara memasukkan informasi kepercayaan ke dalam sistem pemungutan suara ?

Misalnya, jika kami hanya mempertimbangkan kinerja rata-rata setiap pemilih, maka kami dapat membuat sistem pemilihan tertimbang sederhana:

r e s kamu l t = s saya g n (\sum_{v \in v Hai t e r s} μ_{v} \times (- 1)^{1 - v Hai t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

Artinya, kita bisa menjumlahkan bobot pemilih dikalikan dengan (untuk "ya") atau dengan (untuk "tidak"). Masuk akal: jika pemilih 1 memiliki rata-rata jawaban yang benar sama dengan , dan pemilih 2 hanya , daripada, mungkin, suara orang pertama harus dianggap lebih penting. Di sisi lain, jika orang pertama hanya menjawab 10 pertanyaan seperti ini, dan orang kedua menjawab 1000 pertanyaan seperti itu, kami jauh lebih percaya diri tentang tingkat keterampilan orang kedua daripada orang-orang pertama - mungkin saja orang pertama beruntung , dan setelah 10 jawaban yang relatif sukses, ia akan melanjutkan dengan hasil yang jauh lebih buruk. $+1$ $-1$ $.9$ $.8$

Jadi, pertanyaan yang lebih tepat mungkin terdengar seperti ini: apakah ada metrik statistik yang menggabungkan keduanya - kekuatan dan kepercayaan diri tentang beberapa parameter?

accuracy uncertainty weighted-mean voting-system teman
sumber

Jawaban:

Anda harus mempertimbangkan keahlian pemilih sebagai variabel laten dari sistem Anda. Anda kemudian dapat menyelesaikan masalah Anda dengan inferensi bayesian . Representasi sebagai model grafis bisa seperti ini:

graphical_model

Mari kita menyatakan variabel untuk jawaban yang benar, untuk suara pemilih dan untuk sejarahnya. Katakanlah Anda juga memiliki parameter "keahlian" sedemikian rupa sehingga . Jika Anda memberi beberapa prioritas pada - misalnya Beta sebelum - Anda harus dapat menggunakan teorema Bayes untuk menyimpulkan , dan kemudian mengintegrasikan lebih dari untuk menghitung $A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

Pr (SEBUAH ∣ V_{saya}, H_{saya}) = \int_{μ_{saya}} Pr (SEBUAH, μ_{saya} ∣ {SEBUAH}_{saya}, H_{saya}) d μ_{saya}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

Sistem ini sulit dipecahkan. Anda dapat menggunakan algoritma EM sebagai perkiraan, atau menggunakan skema maksimalisasi kemungkinan lengkap untuk melakukan inferensi Bayesian yang tepat.

Lihatlah tulisan ini. Variational Inference for Crowdsourcing , Liu, Peng, dan Ihler 2012 ( disajikan kemarin di NIPS! ) Untuk algoritma terperinci untuk menyelesaikan tugas ini.

Emile
sumber

Terima kasih atas jawaban Anda, tetapi bisakah Anda sedikit lebih spesifik tentangnya? Secara khusus, apa yang Anda maksud dengan keahlian? Jika itu hanya probabilitas bahwa orang tersebut akan menjawab dengan benar, maka kami sudah memperkirakannya sebagai rata-rata dari jawaban sebelumnya, jadi itu bukan laten. Jika yang Anda maksud dari keahlian adalah menggabungkan rata-rata dan kepercayaan diri tentang perkiraan kami, lalu bagaimana kami dapat menyebarkan probabilitas untuk mendapatkan keahlian dan hasil?

Berteman

Ya, Anda dapat mewakili rata-rata dan percaya diri dengan variabel "keahlian" ini dan inferensi Bayesian. Saya telah menambahkan beberapa penjelasan dan referensi untuk jawaban saya. Semoga itu bisa membantu!

Emile