Menggabungkan probabilitas / informasi dari berbagai sumber

26

Katakanlah saya memiliki tiga sumber independen dan masing-masing membuat prediksi untuk cuaca besok. Yang pertama mengatakan bahwa probabilitas hujan besok adalah 0, kemudian yang kedua mengatakan bahwa probabilitasnya adalah 1, dan akhirnya yang terakhir mengatakan bahwa probabilitasnya adalah 50%. Saya ingin mengetahui probabilitas total yang diberikan informasi itu.

Jika menerapkan teorema perkalian untuk peristiwa independen saya mendapatkan 0, yang tampaknya tidak benar. Mengapa tidak mungkin untuk melipatgandakan ketiganya jika semua sumber independen? Apakah ada cara Bayesian untuk memperbarui sebelumnya ketika saya mendapatkan informasi baru?

Catatan: Ini bukan pekerjaan rumah, adalah sesuatu yang saya pikirkan.

Biela Diela
sumber
1
Apakah Anda tahu seberapa andal sumber independennya
Dilip Sarwate
Tidak, apriori saya berasumsi bahwa semua sumber sama-sama andal.
Biela Diela
3
Ini adalah pertanyaan bagus yang saya pikirkan juga. Saya akan menambahkan pertanyaan kedua: Jika semua prediksi 0,75, bagaimana kemungkinan gabungannya? Lebih tinggi dari 0,75? Apa yang akan menjadi kerangka kerja formal untuk menganalisis pertanyaan semacam ini?
Karsten W.
2
Tidak ada informasi yang cukup; kita membutuhkan beberapa model tentang bagaimana prediksi tersebut diharapkan berhubungan dengan kenyataan.
Glen_b -Reinstate Monica
Saya tidak yakin apa yang dimaksud dengan "semua sumber sama-sama andal" ketika sumber memberikan pernyataan tentang probabilitas atau tingkat kepercayaan / kepercayaan. Jika kita berbicara tentang probabilitas-bahwa-suatu-probabilitas-tertentu-memiliki-nilai-yang tampaknya memunculkan masalah konseptual. BTW, jika sumber 1 dan 2 sama-sama andal, mereka berdua harus benar dengan probabilitas 0,50 ... (dan probabilitas hujan adalah 1/2).
AG

Jawaban:

32

Anda bertanya tentang tiga hal: (a) bagaimana menggabungkan beberapa ramalan untuk mendapatkan ramalan tunggal, (b) jika pendekatan Bayesian dapat digunakan di sini, dan (c) bagaimana menangani probabilitas nol.

Menggabungkan ramalan, adalah praktik umum . Jika Anda memiliki beberapa prakiraan daripada jika Anda mengambil rata-rata dari prakiraan tersebut, prakiraan gabungan yang dihasilkan harus lebih baik dalam hal akurasi daripada prakiraan individual mana pun. Untuk membuat rata-rata, Anda dapat menggunakan rata-rata tertimbang di mana bobot didasarkan pada kesalahan terbalik (yaitu presisi), atau konten informasi . Jika Anda memiliki pengetahuan tentang keandalan setiap sumber, Anda dapat menetapkan bobot yang sebanding dengan keandalan masing-masing sumber, sehingga sumber yang lebih andal memiliki dampak yang lebih besar pada perkiraan gabungan akhir. Dalam kasus Anda, Anda tidak memiliki pengetahuan tentang keandalannya sehingga masing-masing perkiraan memiliki bobot yang sama sehingga Anda dapat menggunakan rata-rata aritmatika sederhana dari ketiga perkiraan tersebut.

0%×0,33+50%×0,33+100%×0,33=(0%+50%+100%)/3=50%

Seperti yang disarankan dalam komentar oleh @AndyW dan @ArthurB. , metode lain selain rata-rata tertimbang sederhana tersedia. Banyak metode seperti itu dijelaskan dalam literatur tentang rata-rata perkiraan pakar, yang saya tidak kenal sebelumnya, jadi terima kasih kawan. Dalam rata-rata perkiraan pakar terkadang kita ingin mengoreksi fakta bahwa para pakar cenderung mundur ke rata-rata (Baron et al, 2013), atau membuat perkiraan mereka lebih ekstrem (Ariely et al, 2000; Erev et al, 1994). Untuk mencapai yang ini bisa menggunakan transformasi perkiraan individu , misalnya fungsi logithalsaya

(1)lHaigsayat(halsaya)=log(halsaya1-halsaya)

peluang ke kekuatan thSebuah

(2)g(halsaya)=(halsaya1-halsaya)Sebuah

di mana , atau lebih umum transformasi bentuk0<Sebuah<1

(3)t(halsaya)=halsayaSebuahhalsayaSebuah+(1-halsaya)Sebuah

di mana jika tidak ada transformasi diterapkan, jika ramalan individu dibuat lebih ekstrim, jika ramalan dibuat kurang ekstrim, apa yang ditunjukkan pada gambar di bawah ini (lihat Karmarkar, 1978; Baron et al, 2013 ).a > 1Sebuah=1Sebuah>10<Sebuah<1

masukkan deskripsi gambar di sini

Setelah prakiraan transformasi tersebut dirata-rata (menggunakan rata-rata aritmatika, median, rata-rata tertimbang, atau metode lain). Jika persamaan (1) atau (2) digunakan hasil perlu ditransformasikan kembali menggunakan inverse logit untuk (1) dan odds terbalik untuk (2). Atau, rata - rata geometrik dapat digunakan (lihat Genest dan Zidek, 1986; lih. Dietrich and List, 2014)

(4)hal^=saya=1Nhalsayawsayasaya=1Nhalsayawsaya+saya=1N(1-halsaya)wsaya

atau pendekatan yang diusulkan oleh Satopää et al (2014)

(5)hal^=[saya=1N(halsaya1-halsaya)wsaya]Sebuah1+[saya=1N(halsaya1-halsaya)wsaya]Sebuah

di mana adalah bobot. Dalam kebanyakan kasus, bobot yang sama digunakan kecuali jika ada informasi apriori yang menyarankan pilihan lain. Metode tersebut digunakan dalam rata-rata perkiraan pakar sehingga untuk mengoreksi kurang percaya diri atau terlalu. Dalam kasus lain, Anda harus mempertimbangkan apakah mentransformasikan ramalan menjadi lebih, atau kurang ekstrim dibenarkan karena dapat membuat perkiraan agregat jatuh dari batas yang ditandai oleh ramalan individu terendah dan terbesar.wsayawsaya=1/N

Jika Anda memiliki pengetahuan apriori tentang probabilitas hujan, Anda dapat menerapkan teorema Bayes untuk memperbarui ramalan mengingat probabilitas apriori hujan dengan cara yang sama seperti yang dijelaskan di sini . Ada juga pendekatan sederhana yang dapat diterapkan, yaitu menghitung rata-rata tertimbang perkiraan Anda (seperti dijelaskan di atas) di mana probabilitas diperlakukan sebagai titik data tambahan dengan beberapa bobot yang ditentukan sebelumnya seperti dalam contoh IMDB ini ( lihat juga sumber , atau di sini dan di sini untuk diskusi; lih. Genest dan Schervish, 1985), yaitu πhalsayaπwπ

(6)hal^=(saya=1Nhalsayawsaya)+πwπ(saya=1Nwsaya)+wπ

Namun dari pertanyaan Anda tidak berarti bahwa Anda memiliki pengetahuan apriori tentang masalah Anda sehingga Anda mungkin akan menggunakan seragam sebelumnya, mis. Anggap peluang priori hujan dan ini tidak benar-benar berubah banyak dalam hal contoh yang Anda berikan .50%

Untuk menangani nol, ada beberapa pendekatan berbeda yang mungkin. Pertama, Anda harus memperhatikan bahwa peluang hujan bukanlah nilai yang benar-benar andal, karena dikatakan tidak mungkin hujan. Masalah serupa sering terjadi dalam pemrosesan bahasa alami ketika dalam data Anda, Anda tidak mengamati beberapa nilai yang mungkin dapat terjadi (misalnya Anda menghitung frekuensi huruf dan dalam data Anda beberapa huruf yang tidak biasa tidak terjadi sama sekali). Dalam hal ini penduga klasik untuk probabilitas, yaitu0%

halsaya=nsayasayansaya

di mana adalah sejumlah kemunculan nilai ke- (di luar kategori ), memberi Anda jika . Ini disebut masalah frekuensi nol . Untuk nilai seperti itu, Anda tahu bahwa probabilitasnya bukan nol (ada!), Jadi perkiraan ini jelas salah. Ada juga kekhawatiran praktis: mengalikan dan membaginya dengan nol mengarah ke nol atau hasil yang tidak ditentukan, sehingga nol bermasalah dalam berurusan dengan. i d p i =nsayasayadn i = 0halsaya=0nsaya=0

Perbaikan yang mudah dan umum diterapkan adalah, untuk menambahkan beberapa konstanta ke hitungan Anda, sehinggaβ

halsaya=nsaya+β(sayansaya)+dβ

Pilihan umum untuk adalah , yaitu menerapkan seragam sebelumnya berdasarkan aturan suksesi Laplace , untuk estimasi Krichevsky-Trofimov, atau untuk estimator Schurmann-Grassberger (1996). Namun perhatikan bahwa apa yang Anda lakukan di sini adalah Anda menerapkan informasi out-of-data (prior) dalam model Anda, sehingga mendapat rasa subjektif, Bayesian. Dengan menggunakan pendekatan ini, Anda harus mengingat asumsi yang Anda buat dan mempertimbangkannya. Fakta bahwa kami memiliki pengetahuan apriori yang kuat bahwa seharusnya tidak ada nol probabilitas dalam data kami secara langsung membenarkan pendekatan Bayesian di sini. Dalam kasus Anda, Anda tidak memiliki frekuensi tetapi probabilitas, jadi Anda akan menambahkan beberapa1 1 / 2 1 / dβ11/21/dnilai yang sangat kecil sehingga untuk mengoreksi nol. Namun perhatikan bahwa dalam beberapa kasus pendekatan ini mungkin memiliki konsekuensi buruk (misalnya ketika berhadapan dengan log ) sehingga harus digunakan dengan hati-hati.


Schurmann, T., dan P. Grassberger. (1996). Estimasi Entropy dari urutan simbol. Kekacauan, 6, 41-427.

Ariely, D., Au Tung, W., Bender, RH, Budescu, DV, Dietz, CB, Gu, H., Wallsten, TS dan Zauberman, G. (2000). Efek dari rata-rata estimasi probabilitas subyektif antara dan di dalam hakim. Jurnal Psikologi Eksperimental: Terapan, 6 (2), 130.

Baron, J., Mellers, BA, Tetlock, PE, Stone, E. and Ungar, LH (2014). Dua alasan untuk membuat perkiraan probabilitas teragregasi menjadi lebih ekstrem. Analisis Keputusan, 11 (2), 133-145.

Erev, I., Wallsten, TS, dan Budescu, DV (1994). Over-and simultan dan kurang percaya diri: Peran kesalahan dalam proses penilaian. Ulasan psikologis, 101 (3), 519.

Karmarkar, US (1978). Utilitas berbobot subyektif: Perpanjangan deskriptif dari model utilitas yang diharapkan. Perilaku organisasi dan kinerja manusia, 21 (1), 61-72.

Turner, BM, Steyvers, M., Merkle, EC, Budescu, DV, dan Wallsten, TS (2014). Perkiraan agregasi melalui kalibrasi ulang. Pembelajaran mesin, 95 (3), 261-289.

Genest, C., dan Zidek, JV (1986). Menggabungkan distribusi probabilitas: kritik dan bibliografi beranotasi. Ilmu Statistik, 1 , 114–135.

Satopää, VA, Baron, J., Foster, DP, Mellers, BA, Tetlock, PE, dan Ungar, LH (2014). Menggabungkan beberapa prediksi probabilitas menggunakan model logit sederhana. International Journal of Forecasting, 30 (2), 344-356.

Genest, C., dan Schervish, MJ (1985). Pemodelan penilaian ahli untuk pembaruan Bayesian. The Annals of Statistics , 1198-1212.

Dietrich, F., dan List, C. (2014). Pendapat Opini Probabilistik. (Tidak diterbitkan)

Tim
sumber
2
Saya ingin menambahkan ini daripada memulai jawaban baru. Metode lain yang terkenal adalah untuk menggabungkan tiga (atau N) probabilitas dengan mengambil rata-rata geometrik mereka (daripada rata-rata aritmatika mereka). Hinton menunjukkan bahwa ini memberikan model dengan probabilitas yang sangat tinggi atau rendah, kekuatan 'veto' di antara yang lain, daripada rata-rata segala sesuatu yang kadang-kadang bisa merugikan Anda.
Zhubarb
Jadi, jika ketiga ramalan itu semuanya 75%, dan tidak ada informasi tentang keandalannya, ramalan akhir akan menjadi 75%?
Karsten W.
@ KarstenW. ya, mengapa Anda mengharapkan sesuatu yang berbeda? Jika Anda tidak memiliki informasi apriori, maka ini adalah satu-satunya informasi yang Anda miliki, jadi Anda tidak punya alasan untuk menganggap hasil akhirnya berbeda ...
Tim
1
Belum membaca makalah akademis Tetlock, tapi saya akan mulai dari sana. Seperti Dua Alasan untuk Membuat Prakiraan Probabilitas Agregat Lebih Ekstrim . Saya akan melihat kata-kata Phil yang tepat, saya mungkin salah mengingat kata ekstrim .
Andy W
1
Saya dekat dengan ekstrem , tetapi tidak cukup. Seharusnya saya menggunakan ekstrem , lihat di sini . Selain itu Baron et al. makalah yang disebutkan, saya melihat Ville Satopää memiliki beberapa pekerjaan pada topik arxiv.org/abs/1506.06405 .
Andy W
6

Ada dua cara untuk memikirkan masalahnya. Salah satunya adalah mengatakan bahwa sumber mengamati versi berisik dari variabel laten "itu akan hujan / tidak akan hujan".

Sebagai contoh, kita dapat mengatakan bahwa setiap sumber mengambil estimasi dari distribusi jika akan turun hujan, dan distribusi jika tidak.B e tBetSebuah(Sebuah+b,Sebuah)BetSebuah(Sebuah,Sebuah+b)

Dalam hal ini, parameter turun dan tiga perkiraan, , , dan akan digabungkan sebagaiSebuahxyz

hal=11+(1x-1)b(1y-1)b(1z-1)b

b > 1 b < 1 b = 1b adalah parameter yang mengontrol seberapa dalam ( ) atau lebih ( ) yakin sumbernya. Jika kita mengasumsikan bahwa estimasi sumber tidak bias, maka dan estimasi disederhanakan sebagaib>1b<1b=1

hal1-hal=x1-xy1-yz1-z

Yang hanya mengatakan: peluang hujan adalah produk dari peluang yang diberikan oleh masing-masing sumber. Perhatikan bahwa itu tidak didefinisikan dengan baik jika sumber memberikan perkiraan tepat dan yang lain memberikan perkiraan tepat , tetapi di bawah model kami, ini tidak pernah terjadi, sumber tidak pernah begitu percaya diri. Tentu saja kita dapat menambal model untuk memungkinkan ini terjadi.010

Model ini berfungsi lebih baik jika Anda memikirkan tiga orang yang mengatakan kepada Anda apakah hujan turun kemarin atau tidak. Dalam praktiknya, kita tahu bahwa ada komponen acak yang tidak dapat direduksi dalam cuaca, dan karenanya mungkin lebih baik untuk mengasumsikan bahwa alam pertama-tama mengambil kemungkinan hujan, yang secara diam-diam diamati oleh sumbernya, dan kemudian membalik sebuah koin bias untuk memutuskan apakah atau tidak akan turun hujan.

Dalam hal itu, estimasi gabungan akan terlihat lebih seperti rata-rata di antara estimasi yang berbeda.

Arthur B.
sumber
Apa yang akan x, y, z berada dalam model ini?
Karsten W.
Itu akan menjadi tiga prediksi yang berbeda.
Arthur B.
Contoh yang Anda tanyakan adalah . Dalam kerangka yang saya sarankan sebagai pilihan yang masuk akal, Anda akan memiliki . Ini karena mewakili peluang 3 banding 1, sehingga produk mewakili peluang 27 banding 1, atau probabilitas . p=27x=y=z=34 3hal=2728 27342728
Arthur B.
Pergi dari 3/4 ke 27/28 agak ekstrem, itu seperti tiga orang mengatakan kepada Anda bahwa langit biru gelap dan Anda menyimpulkan itu hitam ...
Tim
Tergantung modelnya. Di sini saya mengasumsikan setiap sumber memiliki pandangan berisik pada variabel biner laten, hujan atau tidak hujan. Ini lebih seperti tiga orang berbeda yang memberitahumu hujan kemarin. Anda juga dapat memodelkan sistem karena ada kemungkinan hujan laten dan sumber perkiraan sebagai versi berisik dari perkiraan itu.
Arthur B.
3

Dalam kerangka Transferable Belief Model (TBM) , dimungkinkan untuk menggabungkan berbagai prediksi menggunakan misalnya "aturan kombinasi konjungtif". Untuk menerapkan aturan ini, Anda perlu mengubah probabilitas prediksi menjadi penugasan keyakinan dasar. Ini dapat dicapai dengan apa yang disebut Prinsip Terkecil-Terkecil. Dalam R:

library(ibelief)
#probabilities
p1 <- c(0.99, 0.01) # bad results for 0 and 1
p2 <- c(0.01, 0.99)
p3 <- c(0.5, 0.5)

# basic belief assignment, 
# each row represents a subset of (rain, not rain)
# each column represents one prediction
Mat <- LCPrincple(rbind(p1,p2,p3))

# combine beliefs
m <- DST(Mat, 1)

# resulting probability distribution (pignistic probability)
mtobetp(m)
# returns 0.5 and 0.5

Untuk contoh kedua dari tiga prediksi independen 0,75, pendekatan ini mengembalikan nilai yang lebih tinggi:

p4 <- c(0.75, 0.25)
Mat <- LCPrincple(rbind(p4,p4,p4))
m <- DST(Mat, 1)
mtobetp(m)
#returns 0.9375 0.0625

Ini tidak jauh dari pendekatan Bayesian yang ditunjukkan dalam jawaban Arthur B.

Karsten W.
sumber
2

w1=σ22σ32σ12σ22+σ12σ32+σ22σ32, w2=σ12σ32σ12σ22+σ12σ32+σ22σ32, w3=σ12σ22σ12σ22+σ12σ32+σ22σ32.

13

σsayaσ12:σ22:σ32=1:2:4,

f=814(0)+414(1)+214(0,5)=0,3571
soakley
sumber
1

Jumlah mereka untuk kemungkinan hujan hanya setengah dari cerita, karena kami harus meredam prediksi mereka dengan kemungkinan bahwa mereka akurat ketika membuat perkiraan.

Karena sesuatu seperti hujan adalah saling eksklusif (hujan atau tidak, dalam pengaturan ini), mereka tidak dapat secara bersamaan semuanya benar dengan probabilitas 75% seperti yang disarankan Karsten (saya pikir, sulit untuk mengatakan dengan kebingungan saya mendengar tentang apa artinya) untuk menemukan "probabilitas gabungan").

Mempertimbangkan kemampuan masing-masing untuk memprediksi cuaca, kita dapat mengambil bacokan (ala Thomas Bayes, seperti dalam tembakan buta pada umumnya) pada kemungkinan hujan besok.

Stasiun 1 benar dalam prediksi mereka 60% dari waktu, 30% kedua dari waktu, dan stasiun terakhir buruk 10% dari waktu.

E [hujan] = Px X + Py Y + Pz * Z adalah bentuk yang kita cari di sini:

(.6) (0) + (. 3) (1) + (. 1) (. 5) = E [hujan] = 35% kemungkinan hujan dengan akurasi prediksi yang dibuat-buat.

Havok
sumber
1
Algoritma ini dapat menghasilkan nilai di atas 1.
Andy W
1

Ada banyak jawaban rumit yang diberikan untuk pertanyaan ini, tetapi bagaimana dengan Invers Variance Weighted Mean: https://en.wikipedia.org/wiki/Inverse-variance_weighting

Alih-alih n pengukuran berulang dengan satu instrumen, jika eksperimen membuat n dari jumlah yang sama dengan n instrumen berbeda dengan kualitas pengukuran yang bervariasi ...

Setiap variabel acak ditimbang dalam proporsi terbalik dengan variansnya.

Rata-rata tertimbang varian terbalik tampaknya sangat mudah untuk menghitung dan sebagai bonus memiliki varian terkecil di antara semua rata-rata tertimbang.

Raffles
sumber
-1

Untuk menggabungkan reliabilitas, rumus masuk ke r1xr2xr3 ÷ (r1xr2xr3 + (1-r1) x (1-r2) x (1-r3). Jadi untuk 3 sumber keandalan 75% semuanya mengatakan hal yang sama, saya ingin .75 ^ 3 ÷ (.75 ​​^ 3 + .25 ^ 3) => keandalan 96% dari respons gabungan

pengguna3902302
sumber
1
Ini sepertinya bukan jawaban yang tepat untuk pertanyaan itu.
Michael R. Chernick
Memang, itu lebih merupakan respons terhadap komentar KarstenW daripada respons langsung terhadap pertanyaan itu.
user3902302