Ini awalnya muncul sehubungan dengan beberapa pekerjaan yang kami lakukan pada model untuk mengklasifikasikan teks alami, tapi saya sudah menyederhanakannya ... Mungkin terlalu banyak.
Anda memiliki mobil biru (berdasarkan ukuran ilmiah obyektif - biru).
Anda menunjukkannya kepada 1000 orang.
900 mengatakan itu biru. 100 tidak.
Anda memberikan informasi ini kepada seseorang yang tidak dapat melihat mobil. Yang mereka tahu adalah 900 orang mengatakan itu biru, dan 100 orang tidak. Anda tidak tahu lebih banyak tentang orang-orang ini (1000).
Berdasarkan hal ini, Anda bertanya kepada orang itu, "Berapa probabilitas mobil itu berwarna biru?"
Ini telah menyebabkan perbedaan pendapat yang sangat besar di antara mereka yang saya tanyakan! Apa jawaban yang benar, jika ada?
sumber
Jawaban:
TL; DR: Kecuali jika Anda menganggap orang terlalu buruk dalam menilai warna mobil, atau bahwa mobil biru jarang sekali terjadi, jumlah besar orang dalam contoh Anda berarti kemungkinan bahwa mobil berwarna biru pada dasarnya adalah 100%.
Matthew Drury sudah memberikan jawaban yang benar tetapi saya hanya ingin menambahkannya dengan beberapa contoh numerik, karena Anda memilih angka-angka Anda sehingga Anda benar-benar mendapatkan jawaban yang sangat mirip untuk berbagai pengaturan parameter yang berbeda. Misalnya, mari kita asumsikan, seperti yang Anda katakan di salah satu komentar Anda, bahwa probabilitas orang menilai warna mobil dengan benar adalah 0,9. Yaitu: dan juga p ( katakan itu biru | mobil bukan biru ) =
Setelah menetapkan itu, hal yang tersisa yang harus kita putuskan adalah: berapa probabilitas sebelumnya bahwa mobil itu berwarna biru? Mari kita pilih probabilitas yang sangat rendah hanya untuk melihat apa yang terjadi, dan katakan bahwa , yaitu hanya 0,1% dari semua mobil berwarna biru. Maka probabilitas posterior bahwa mobil itu berwarna biru dapat dihitung sebagai:p(car is blue)=0.001
Jika Anda melihat penyebutnya, cukup jelas bahwa istilah kedua dalam jumlah tersebut akan diabaikan, karena ukuran relatif dari istilah dalam jumlah tersebut didominasi oleh rasio hingga 0,1 900 , yang berada di urutan 10 58 . Dan memang, jika Anda melakukan perhitungan ini di komputer (berhati-hati untuk menghindari masalah aliran bawah angka) Anda mendapatkan jawaban yang sama dengan 1 (dalam presisi mesin).0.9900 0.1900 1058
Alasan probabilitas sebelumnya tidak terlalu penting di sini adalah karena Anda memiliki begitu banyak bukti untuk satu kemungkinan (mobil berwarna biru) versus yang lain. Ini dapat dikuantifikasi dengan rasio kemungkinan , yang dapat kita hitung sebagai:
Jadi bahkan sebelum mempertimbangkan probabilitas sebelumnya, bukti menunjukkan bahwa satu opsi sudah secara astronomis lebih mungkin daripada yang lain, dan untuk sebelum membuat perbedaan, mobil biru harus tidak masuk akal, sangat jarang (jarang sekali kita berharap untuk temukan 0 mobil biru di bumi).
Jadi bagaimana jika kita mengubah seberapa akurat orang dalam deskripsi warna mobil mereka? Tentu saja, kita bisa mendorong ini ke ekstrem dan mengatakan mereka melakukannya dengan benar hanya 50% dari waktu, yang tidak lebih baik daripada membalik koin. Dalam hal ini, probabilitas posterior bahwa mobil itu biru sama dengan probabilitas sebelumnya, karena jawaban orang-orang tidak memberi tahu kami apa-apa. Tapi tentu saja orang melakukan setidaknya sedikit lebih baik dari itu, dan bahkan jika kita mengatakan bahwa orang hanya akurat 51% dari waktu, rasio kemungkinan masih bekerja sehingga kira-kira kali lebih mungkin untuk mobil menjadi biru .1013
Ini semua adalah hasil dari angka yang agak besar yang Anda pilih dalam contoh Anda. Jika 9/10 orang mengatakan mobil itu berwarna biru, itu akan menjadi cerita yang sangat berbeda, meskipun rasio orang yang sama berada di satu kamp vs yang lain. Karena bukti statistik tidak tergantung pada rasio ini, tetapi lebih pada perbedaan numerik antara faksi yang berlawanan. Faktanya, dalam rasio kemungkinan (yang mengkuantifikasi bukti), 100 orang yang mengatakan mobil itu tidak biru membatalkan 100 dari 900 orang yang mengatakan itu biru, jadi itu sama seperti jika Anda memiliki 800 orang yang semuanya setuju warnanya biru. Dan itu jelas bukti yang cukup jelas.
(Sunting: Seperti yang ditunjukkan oleh Silverfish , asumsi yang saya buat di sini sebenarnya menyiratkan bahwa setiap kali seseorang menggambarkan mobil yang tidak biru, mereka akan default untuk mengatakan itu biru. Ini tentu saja tidak realistis, karena mereka dapat benar-benar mengatakan warna apa pun) , dan akan mengatakan biru hanya sebagian waktu saja. Hal ini tidak membuat perbedaan pada kesimpulannya, karena semakin kecil kemungkinan orang untuk mengira mobil yang tidak biru sama dengan mobil yang biru, semakin kuat bukti bahwa mobil itu biru ketika mereka mengatakannya. Jadi, jika ada, angka yang diberikan di atas sebenarnya hanya batas bawah pada bukti biru.)
sumber
Jawaban yang benar tergantung pada informasi yang tidak ditentukan dalam masalah, Anda harus membuat beberapa asumsi lagi untuk mendapatkan jawaban tunggal yang pasti:
Dengan informasi ini, kita dapat memecah semuanya dengan formula Bayes untuk memperoleh kemungkinan posterior bahwa mobil itu berwarna biru. Saya akan fokus pada kasus di mana kami hanya meminta satu orang, tetapi alasan yang sama dapat diterapkan pada kasus di mana Anda bertanya kepada orang.1000
Kita harus terus melanjutkan memecah , ini adalah di mana sebelumnya datang:P(say is blue)
Jadi dua aplikasi aturan Bayes membuat Anda di sana. Anda harus menentukan parameter yang tidak ditentukan berdasarkan informasi yang Anda miliki tentang situasi spesifik, atau dengan membuat beberapa asumsi yang masuk akal.
Ada beberapa kombinasi lain dari asumsi yang dapat Anda buat, berdasarkan:
Pada awalnya, Anda tidak tahu hal-hal ini. Jadi, Anda harus membuat beberapa asumsi yang masuk akal tentang mereka bertiga, dan kemudian yang keempat ditentukan dari sana.
sumber
Ada asumsi penting bahwa 1000 pendapat Anda tidak memiliki bias sistematis. Yang merupakan asumsi yang masuk akal di sini, tetapi bisa menjadi penting dalam kasus lain.
Contohnya mungkin:
Tidak mungkin dalam kasus ini tetapi asumsi tersirat signifikan dalam kasus lain. Tidak harus ekstrem juga - memindahkan pertanyaan Anda ke domain lain dan ini akan menjadi faktor nyata.
Contoh untuk setiap jawaban Anda yang mungkin dipengaruhi oleh bias bersama:
Tidak akan sulit untuk membayangkan beberapa pertanyaan yang identik secara struktural di mana respons 900: 100 adalah ukuran keyakinan dan kejujuran, atau sesuatu yang lain, dan tidak menunjuk ke jawaban yang benar. Tidak mungkin dalam kasus ini tetapi dalam kasus lain - ya.
sumber
Salah satu alasan Anda mendapatkan jawaban yang berbeda dari orang yang berbeda adalah bahwa pertanyaannya dapat ditafsirkan dengan cara yang berbeda, dan tidak jelas apa yang Anda maksud dengan "probabilitas" di sini. Salah satu cara untuk memahami pertanyaan ini adalah dengan menetapkan prior dan reason menggunakan aturan Bayes seperti dalam jawaban Matius.
Sebelum menanyakan probabilitas, Anda harus memutuskan apa yang dimodelkan sebagai acak dan apa yang tidak. Tidak diterima secara universal bahwa jumlah yang tidak diketahui tetapi jumlah tetap harus ditentukan terlebih dahulu. Berikut ini eksperimen serupa dengan percobaan Anda yang menyoroti masalah dengan pertanyaan:
sumber
the probability is either one or zero, depending on whether the car is actually blue or not.
ini tidak sesuai dengan pemahaman tentang "probabilitas" seperti yang saya kenal. Kedengarannya agak seperti "X bisa terjadi atau tidak bisa terjadi, jadi probabilitasnya harus 50%". Bisakah Anda membuatnya sedikit lebih jelas apa yang Anda maksud dengan kalimat itu?Jawaban praktis sederhana:
Probabilitas dapat dengan mudah berkisar dari 0% hingga 100% tergantung pada asumsi Anda
Meskipun saya benar-benar menyukai jawaban yang ada, pada praktiknya pada dasarnya bermuara pada dua skenario sederhana ini:
Skenario 1: Orang diasumsikan sangat pandai mengenali warna biru ketika warna biru ... 0%
Dalam hal ini, ada begitu banyak orang yang menyatakan bahwa mobil itu tidak biru, sehingga sangat tidak mungkin mobil itu benar-benar biru. Oleh karena itu, probabilitasnya mendekati 0%.
Skenario 2: Orang diasumsikan sangat pandai mengenali tidak biru ketika bukan biru ... 100%
Dalam hal ini, ada begitu banyak orang yang menyatakan bahwa mobil itu berwarna biru, sehingga sangat mungkin memang berwarna biru. Karena itu probabilitasnya mendekati 100%.
Tentu saja dengan ini datang dari sudut matematika Anda akan mulai dengan sesuatu yang generik seperti 'mari kita asumsikan bahwa probabilitas yang relevan adalah ...', yang sangat tidak berarti karena hal-hal seperti itu biasanya tidak dikenal untuk keadaan acak. Karena itu saya menganjurkan melihat ekstrem untuk memahami gagasan bahwa kedua persentase dapat dengan mudah dibenarkan dengan asumsi sederhana dan realistis, dan karena itu tidak ada jawaban yang bermakna.
sumber
Anda perlu mengembangkan beberapa kerangka estimasi. Beberapa pertanyaan yang mungkin Anda tanyakan adalah
Berapa banyak warna yang ada? Apakah kita berbicara dua warna? Atau semua warna pelangi?
Seberapa berbeda warnanya? Apakah kita berbicara biru dan oranye? Atau biru, cyan, dan pirus?
Apa artinya menjadi biru? Apakah cyan dan / atau pirus biru? Atau hanya biru itu sendiri?
Seberapa baik orang-orang ini dalam memperkirakan warna? Apakah mereka semua desainer grafis? Atau apakah mereka buta warna?
Dari sudut pandang statistik murni, kita dapat membuat beberapa tebakan sampai yang terakhir. Pertama, kita tahu bahwa setidaknya 10% orang memilih jawaban yang salah. Jika hanya ada dua warna (dari pertanyaan pertama), maka kita dapat mengatakan bahwa ada
Sebagai pemeriksaan cepat, jika kita menambahkannya bersama-sama, kita mendapat 100%. Anda dapat melihat notasi yang lebih matematis dari ini pada jawaban @MatthewDrury .
Bagaimana kita mendapatkan 90% di yang ketiga? Itu berapa banyak orang yang berkata biru tetapi salah jika tidak. Karena hanya ada dua warna, ini simetris. Jika ada lebih dari dua warna, maka kemungkinan pilihan yang salah menjadi biru ketika mereka mengatakan sesuatu yang lain akan lebih rendah.
Bagaimanapun, metode estimasi ini memberi kita 90% biru. Ini termasuk 81% kemungkinan orang mengatakan biru ketika itu dan 9% kemungkinan orang mengatakan itu bukan saat itu. Ini mungkin yang paling dekat dengan kita untuk menjawab pertanyaan awal, dan ini mengharuskan kita untuk mengandalkan data untuk memperkirakan dua hal yang berbeda. Dan untuk mengasumsikan bahwa kesempatan biru dipilih sama dengan peluang biru menjadi benar.
Jika ada lebih dari dua warna, maka logikanya akan berubah sedikit. Dua baris pertama tetap sama, tetapi kita kehilangan simetri pada dua baris terakhir. Dalam hal ini, kami membutuhkan lebih banyak input. Kita dapat memperkirakan kemungkinan mengatakan dengan benar biru sebagai 81% lagi, tetapi kita tidak tahu apa kemungkinannya bahwa warna itu biru ketika seseorang mengatakan bahwa itu tidak.
Kami juga dapat meningkatkan bahkan pada estimasi dua warna. Dengan jumlah mobil yang signifikan secara statistik dari masing-masing warna, kami dapat meminta sejumlah besar orang untuk melihat dan mengategorikannya. Lalu kita bisa menghitung seberapa sering orang benar ketika mereka membuat setiap pilihan warna dan seberapa sering mereka tepat untuk setiap pilihan warna. Kemudian kita dapat memperkirakan lebih akurat dengan memberikan pilihan aktual orang.
Anda mungkin bertanya bagaimana 90% bisa salah. Pertimbangkan apa yang terjadi jika ada tiga warna: biru, biru, dan safir. Seseorang mungkin secara wajar menganggap ketiganya sebagai warna biru. Tapi kami ingin lebih. Kami ingin warna yang tepat. Tapi siapa yang ingat nama-nama nuansa lainnya? Banyak yang mungkin menebak biru karena itu adalah satu-satunya warna yang cocok yang mereka tahu. Dan masih salah ketika ternyata menjadi biru.
sumber
Sebuah tepat, matematika, benar probabilitas / palsu tidak dapat dihitung dengan informasi yang Anda berikan.
Namun, dalam kehidupan nyata informasi seperti itu tidak pernah tersedia dengan pasti. Oleh karena itu, menggunakan intuisi kita (dan ke mana semua uang saya akan pergi jika kita bertaruh), mobil pasti biru. (beberapa percaya ini bukan statistik lagi, tapi well, pandangan hitam / putih tentang sains tidak terlalu membantu)
Alasannya sederhana. Anggaplah mobil itu tidak berwarna biru. Maka 90% orang (!) Salah. Mereka hanya bisa salah karena daftar masalah termasuk:
Karena hal di atas jelas tidak akan mempengaruhi 90% dari populasi acak rata-rata (mis. Kebutaan warna mempengaruhi sekitar 8% pria dan 0,6% wanita, yaitu 43 orang dari 1000), maka perlu diperhatikan bahwa mobil biru. (Begitulah semua uang saya akan tetap pergi).
sumber
Saya tidak akan makan kotoran berdasarkan fakta bahwa milyaran lalat tidak mungkin salah. Mungkin ada lusinan alasan lain mengapa 900 orang dari 1000 orang mungkin tertipu karena menganggap mobil itu biru. Lagipula, itulah dasar dari trik-trik magis, memikat orang untuk memikirkan sesuatu yang dihilangkan dari kenyataan. Jika 900 orang dari 1000 melihat seorang penyihir menikam asistennya, mereka akan segera menjawab bahwa asisten itu ditusuk, karena betapa tidak mungkinnya terjadi pembunuhan di atas panggung. Lampu biru pada cat mobil reflektif, ada orang?
sumber
Yang ditanyakan kurang tahu tentang bagaimana jajak pendapat dilakukan untuk menjawab pertanyaan secara akurat. Sejauh yang dia ketahui, jajak pendapat dapat menderita beberapa masalah:
Orang-orang yang mengambil jajak pendapat bisa saja bias:
Mobil itu tampak biru karena ilusi optik .
Warna mobil itu untuk beberapa alasan sulit diamati, dan orang-orang karena beberapa alasan telah menunjukkan banyak mobil biru sebelum ini, membuat sebagian besar dari mereka percaya mobil ini mungkin biru juga.
Anda telah membayar mereka untuk mengatakan bahwa mobil itu berwarna biru.
Anda membuat seseorang menghipnotis mereka semua untuk percaya bahwa mobil itu berwarna biru.
Mereka telah membuat perjanjian untuk berbohong dan menyabot pemilihan.
Mungkin ada korelasi di antara orang-orang yang mengambil jajak pendapat karena bagaimana mereka dipilih atau karena mereka saling mempengaruhi:
Anda secara tidak sengaja melakukan pemilihan pada pertemuan massa untuk orang-orang dengan jenis buta warna yang sama.
Anda melakukan polling di taman kanak-kanak; gadis-gadis itu tidak tertarik pada mobil dan sebagian besar anak lelaki memakai warna biru sebagai warna favorit mereka, membuat mereka membayangkan bahwa mobil itu berwarna biru.
Orang pertama yang ditunjukkan mobil itu mabuk dan berpikir itu tampak biru, berteriak "ITU BIRU", mempengaruhi semua orang untuk berpikir bahwa mobil itu biru.
Jadi, sementara probabilitas bahwa mobil itu biru jika jajak pendapat dilakukan dengan benar sangat tinggi (seperti yang dijelaskan dalam jawaban Ruben van Bergen), keandalan jajak pendapat mungkin telah dikompromikan yang membuat kemungkinan mobil tidak biru tidak tidak penting. Seberapa besar orang yang ditanya memperkirakan peluang ini pada akhirnya tergantung pada perkiraannya tentang seberapa besar kemungkinan keadaan telah mengacaukan polling dan seberapa baik Anda dalam melakukan polling (dan seberapa nakal menurutnya Anda).
sumber
Apa definisi "biru"?
Budaya dan bahasa yang berbeda memiliki pengertian yang berbeda tentang biru. IIRC, beberapa budaya menyertakan hijau dalam pengertian mereka tentang biru!
Seperti kata bahasa alami, Anda hanya dapat mengasumsikan ada beberapa konvensi budaya kapan (dan kapan tidak) menyebut hal-hal "biru".
Secara keseluruhan, warna dalam bahasa sangat subyektif (tautan dari komentar di bawah, terima kasih @ Count Ibilis)
sumber
Kemungkinannya, tergantung pada prasyarat yang lebih disempurnakan, menjadi beberapa nilai yang berbeda, tetapi 99,995% adalah salah satu yang paling masuk akal bagi saya.
Kita tahu, berdasarkan definisi, bahwa mobil itu biru (itu 100%), tetapi tidak dirinci dengan baik apa arti sebenarnya ini (yang akan bertaruh agak filosofis). Saya akan menganggap sesuatu berwarna biru dalam arti bisa-memang-dilihat-sebagai-biru.
Kita juga tahu bahwa 90% subjek uji melaporkan warna biru.
Kami tidak tahu apa yang ditanyakan atau bagaimana evaluasi dilakukan, dan dalam kondisi pencahayaan apa mobil itu berada. Diminta menyebutkan nama warnanya, beberapa subjek mungkin mengatakan misalnya "biru kehijauan" karena kondisi pencahayaan, dan penilai mungkin tidak dihitung sebagai "biru". Orang yang sama mungkin menjawab "ya" jika pertanyaannya adalah "Apakah ini biru?". Saya akan berasumsi bahwa Anda tidak bermaksud menipu dengan sengaja subjek uji Anda.
Kita tahu bahwa kejadian tritanopy adalah sekitar 0,005% yang berarti bahwa jika mobil benar-benar dapat dilihat sebagai biru , maka 99,995% dari subyek uji memang melihat warna sebagai biru. Namun, itu berarti bahwa 9,995% dari subjek uji tidak melaporkan warna biru ketika mereka melihat warna biru dengan jelas. Mereka berbohong tentang apa yang mereka lihat. Ini dekat dengan apa yang dikatakan oleh pengalaman hidup Anda kepada Anda: orang tidak selalu jujur (tapi, kecuali ada motif, mereka biasanya jujur).
Dengan demikian, orang yang tidak memperhatikan dapat menganggap dengan pasti bahwa mobil itu berwarna biru. Itu akan menjadi 100%
Kecuali ... kecuali jika orang yang tidak memperhatikan dirinya menderita tritanopy, dalam hal ini dia tidak akan melihat mobil berwarna biru meskipun semua orang (atau lebih tepatnya, 90% dari mereka) mengatakan demikian. Ini dia filosofis lagi: Jika semua orang mendengar pohon tumbang, tetapi saya tidak, apakah pohon itu tumbang?
Saya berani mengatakan bahwa jawaban yang paling masuk akal dan praktis adalah: Jika orang yang tidak mengamati kebetulan adalah trianope (peluang 0,005%), maka memverifikasi apakah warna yang diprediksi dan warna asli yang dilihat adalah sama akan menghasilkan false. Dengan demikian, kemungkinannya adalah 99,995% daripada 100%.
Selanjutnya, sebagai bonus, karena kami menemukan bahwa 9,995% dari subjek uji adalah pembohong, dan diketahui bahwa semua Kreta adalah pembohong , kita dapat menyimpulkan bahwa kita tidak berada di Kreta!
sumber
Warnanya 100% biru.
Menggunakan angka-angka ini (tanpa konteks apa pun ) sama sekali tidak masuk akal. Itu semua bermuara pada interpretasi pribadi dari pertanyaan itu. Kita seharusnya tidak menempuh jalan ini dan menggunakan Wittgenstein: "Wovon man nicht sprechen kann, darüber muss man schweigen."
Bayangkan pertanyaan berikut untuk perbandingan:
Ini pada dasarnya masalah yang sama (kurang informasi), tetapi jauh lebih jelas bahwa apa yang kita pikirkan tentang warna mobil sebagian besar (jika tidak sepenuhnya) keadaan.
Dalam jangka panjang, ketika kita mendapatkan beberapa pertanyaan terkait, maka kita dapat mulai menebak jawaban untuk pertanyaan yang tidak lengkap tersebut. Ini sama untuk algoritma tit-for-tat yang tidak bekerja untuk satu kasus, tetapi bekerja dalam jangka panjang . Dalam arti yang sama, Wittgenstein kembali dari pekerjaannya sebelumnya dengan Investigasi Utama . Kami dapat menjawab pertanyaan-pertanyaan ini, tetapi kami membutuhkan lebih banyak informasi / uji coba / pertanyaan. Itu adalah sebuah proses.
sumber
Jika kita menganggap mobil itu biru, maka 100 dari 1.000 mengatakan itu bukan biru menyiratkan semacam bias sampel yang ekstrim. Mungkin Anda hanya mengambil sampel orang buta warna. Jika kita menganggap mobil itu tidak biru, maka bias sampel bahkan lebih buruk. Jadi yang bisa kita simpulkan dari data yang diberikan adalah sampelnya sangat bias, dan karena kita tidak tahu bagaimana itu bias, kita tidak bisa menyimpulkan apa pun tentang warna mobil.
sumber
Ada beberapa jawaban. Saya tidak berarti seorang guru matematika, tetapi ini milik saya.
Hanya ada 4 kemungkinan:
Dari pertanyaan, Anda tahu bahwa jumlah kasus 1 dan kasus 4 adalah 900 orang (90%), dan jumlah kasus 2 dan kasus 3 adalah 100 orang (10%). Namun demikian, inilah tangkapannya: yang tidak Anda ketahui adalah distribusi dalam 2 pasang kasing ini. Mungkin jumlah kasus 1 dan 4 sepenuhnya terdiri dari kasus 1 (yang berarti mobil berwarna biru), atau mungkin seluruh jumlah terdiri dari kasus 4 (yang berarti mobil tidak berwarna biru). Sama berlaku untuk jumlah kasus 2 + 3. Jadi ... Yang Anda butuhkan adalah membuat beberapa cara untuk memprediksi distribusi dalam jumlah kasus. Dengan tidak ada indikasi lain dalam pertanyaan (tidak ada yang mengatakan orang 80% yakin untuk mengetahui warna mereka atau apa pun seperti itu) tidak ada cara Anda bisa datang dengan jawaban, pasti tertentu.
Setelah mengatakan ini ... Saya menduga jawaban yang diharapkan adalah sesuatu di sepanjang baris:
di mana sisa 50% tidak diketahui, sebut saja margin kesalahan.
sumber
Kamu sedang mencarip(θ,x|y1:1000)∝p(θ)p(x|θ)∏1000i=1p(yi|x)
sumber
Orang yang tidak dapat melihat mobil tidak tahu bahwa secara ilmiah terbukti berwarna biru. Peluang untuk dia bahwa mobil itu biru adalah 50/50 (itu biru, atau tidak). Polling orang lain dapat mempengaruhi pendapat orang ini tetapi itu tidak mengubah probabilitas bahwa mobil yang tidak terlihat berwarna biru, atau tidak.
Semua matematika di atas menentukan probabilitas bahwa set sampel Anda dapat menentukan apakah itu berwarna biru.
sumber