Aritmatika untuk memperbarui kemungkinan menggunakan teorema Bayes

8

Ini mungkin pertanyaan mendasar yang mengapa saya belum dapat menemukannya di Stackexchange atau Mathoverflow namun saya mengalami masalah dengan aritmatika yang terlibat dalam memperbarui kemungkinan menggunakan teorema Bayes untuk masalah yang sedang saya kerjakan.

Latar Belakang:

Saya mencoba memberikan perkiraan kemungkinan kejadian di masa depan yang tidak memiliki atau sedikit preseden. Tidak seperti kebanyakan literatur dan teks di Bayes yang menggunakan distribusi yang diketahui sebelumnya untuk memberikan kemungkinan kejadian di masa depan dalam parameter yang sama - situasi saya didasarkan pada pendapat ahli hanya dengan sedikit atau tidak ada distribusi yang masuk akal untuk referensi.

Contoh:

GM mengumumkan mereka sedang mengembangkan mobil baru tetapi tidak mengatakan kapan itu akan dirilis. Manajer Produksi untuk KIA perlu tahu kapan mereka akan siap untuk merilisnya sehingga mereka dapat melepaskan mobil baru mereka pada waktu yang bersamaan.

KIA tahu bahwa mobil baru membutuhkan komponen berikut agar siap untuk rilis (1) mesin, (2) transmisi, (3) tubuh, (4) Roda dan Suspensi. Insinyur berpengalaman KIA menyatakan bahwa untuk proyek baru seperti ini mereka yakin 90% bahwa itu dapat diselesaikan dalam dua tahun. KIA juga menemukan bahwa GM melakukan tes dengan transmisi baru di SUV lain dan itu bekerja seperti yang dirancang dengan tingkat keberhasilan 95%. Insinyur yang sama menyatakan bahwa dengan diberikan tes transmisi ini, sebuah mobil dapat diselesaikan dalam jangka waktu 70% dari waktu tersebut.

Cara saya memilikinya, pada titik ini KIA dapat memulai perhitungan Bayesian dengan sampel awal seperti di bawah ini:

   A = GM will release the new car in two years
   B1 = GM will successfully test a new transmission
   P(A) = Prior Probability that GM will release the new car in two years
   P(B1) = Probability that GM will successfully test a new transmission
   P(B1|A) = Likelihood that given a successful transmission test, the car will be released within 2 years

Menetapkan nilai sebagai berikut

   P(A) = .9
   P(B1) = .95
   P(B1|A) = .7

P(A|B1)=P(A)P(B1|A)P(A)P(B1|A)+P(A¯)P(B1|A¯)

.9545=.9.7(.9.7)+(.1.3)

Tak lama setelah departemen statistik KIA memberikan pembaruan ini, GM mengumumkan bahwa mereka telah menguji mesin baru mereka dan memiliki tingkat keberhasilan 98% atas semua pengujiannya. Para insinyur KIA mengatakan bahwa biasanya jika ada tes mesin yang berhasil bahwa ada kemungkinan 80% bahwa mobil akan selesai tepat waktu - tetapi mereka tidak tahu apa kemungkinan pada keseluruhan waktu penyelesaian diberikan baik mesin dan uji transmisi adalah.

Nilai sekarang untuk bukti kedua kami, yang harus dicatat adalah independen untuk kasus ini - tetapi tidak dalam semua kasus misalnya tubuh harus berjalan setelah penangguhan:

   P(B2) = .98
   P(B2|A) = .8

Jadi di sinilah saya mengalami masalah: secara aritmatika mengintegrasikan posterior P (A | B1) ke dalam perhitungan untuk P (A | B1, B2), mengingat bahwa prior harus tetap konstan. Seperti yang saya sebutkan, beberapa peristiwa dalam { } bersifat independen, yang lainnya bersifat kondisional.B1...Bn

Saya telah melihat entri wikipedia yang menjelaskan tentang tiga acara bayes extention:

P(A|B1,B2)=P(B2|A,B1)P(B1|A)P(A)P(B2|B1)P(B1)

Namun bagaimana dengan ekstensi keempat dan kelima?

Sebagian besar buku dan sumber daya online yang saya miliki tidak menunjukkan langkah-langkah untuk memperbarui prior dengan cara apa pun yang dapat saya lakukan diskriminasi. Bisa jadi saya terlalu jauh dari masa kalkulus sarjana saya untuk menafsirkannya, tetapi ketakutan saya adalah bahwa saya perlu memiliki pengalaman yang signifikan dalam teori himpunan dan matematika tingkat pascasarjana untuk melakukan apa yang tampaknya menjadi perhitungan sederhana. Pertukaran ini adalah yang paling dekat yang bisa saya temukan dan bahkan tidak melewatinya. Fakta bahwa saya belum setelah seminggu mencari menemukan tutorial dasar tentang mekanisme pembaruanTeorema Bayes (tidak masalah Anda tentang apa teorema Bayes dan bagaimana cara kerjanya - ada lebih dari itu) di luar implementasi pertama, membuat saya berpikir itu bukan perhitungan sepele. Apakah ada cara mudah untuk melakukan pembaruan ini tanpa matematika tingkat pascasarjana?

Catatan: Saya menyadari ironi terkait dengan kesulitan yang melekat pada "pembaruan masalah" WRT Bayes karena Yudkowski telah membahasnya selama beberapa waktu. Saya berasumsi, mungkin salah, bahwa orang-orang yang mengerjakannya merujuk pada iterasi yang jauh lebih kompleks, namun saya sadar bahwa itu bisa menjadi kasus saya mengalami masalah itu.

Andrew
sumber

Jawaban:

10

Saya akan mulai dengan menjawab pertanyaan Anda tentang memperbarui acara dengan "ekstensi keempat dan kelima." Seperti yang Anda duga, aritmatika memang cukup sederhana.

Pertama, ingat bagaimana teorema Bayes diturunkan dari definisi probabilitas bersyarat:

masukkan deskripsi gambar di sini

Dengan mengkondisikan A pada pembilang kita bisa sampai ke bentuk yang lebih akrab:

masukkan deskripsi gambar di sini

Sekarang pertimbangkan jika kita tidak hanya memiliki B, tetapi lebih dari 2 atau lebih peristiwa B_1, B_2 ... Untuk itu, kita dapat memperoleh tiga ekstensi Bayes yang Anda kutip menggunakan aturan probabilitas rantai , yaitu (dari wikipedia):

masukkan deskripsi gambar di sini

Untuk B_1 dan B_2, kita mulai dengan definisi probabilitas bersyarat

masukkan deskripsi gambar di sini

Dan gunakan aturan rantai pada pembilang dan penyebut:

masukkan deskripsi gambar di sini

Dan seperti itulah kami telah mengubah ulang persamaan yang Anda kutip dari wikipedia. Mari coba tambahkan acara lain:

masukkan deskripsi gambar di sini

masukkan deskripsi gambar di sini

Menambahkan acara kelima sama mudahnya (latihan untuk pembaca). Tetapi Anda pasti akan melihat sebuah pola, yaitu bahwa jawaban untuk versi tiga acara diadakan dalam jawaban untuk versi empat acara, sehingga kami dapat menulis ulang ini sebagai:

masukkan deskripsi gambar di sini

masukkan deskripsi gambar di sini

Atau lebih umum, aturan untuk memperbarui posterior setelah bukti ke-n:

masukkan deskripsi gambar di sini

Fraksi itu ada yang Anda minati. Sekarang, yang Anda bicarakan adalah bahwa ini mungkin tidak mudah untuk dihitung - bukan karena kesulitan aritmatika, tetapi karena dependensi dalam huruf B. Jika kami mengatakan setiap B didistribusikan secara independen, memperbarui menjadi sangat sederhana:

masukkan deskripsi gambar di sini

(Bahkan, Anda akan melihat bahwa itu adalah aplikasi sederhana dari teorema Bayes!) Kompleksitas dari fraksi itu tergantung pada mana dari bukti sebelumnya yang menjadi dasar bukti Anda. Pentingnya ketergantungan bersyarat antara variabel Anda dan bukti Anda adalah tepat mengapa jaringan Bayesian dikembangkan (pada kenyataannya, di atas menggambarkan faktorisasi jaringan Bayesian).

Sekarang, mari kita bicara tentang contoh Anda. Pertama, penafsiran Anda tentang masalah kata memiliki masalah. Interpretasi Anda sebesar 70% dan 80% masing-masing adalah

P(B1|A) = .7
P(B2|A) = .8

Tapi (sesuai definisi Anda) A berarti mobil akan selesai tepat waktu, B_1 berarti GM menguji transmisi dengan sukses, dan B_2 berarti ada tes mesin yang berhasil, yang berarti Anda membuatnya mundur - mereka seharusnya

P(A|B1) = .7
P(A|B2) = .8

Namun, sekarang, kata problemnya tidak terlalu masuk akal. Inilah tiga masalah:

1) Mereka secara efektif memberi Anda apa yang Anda cari: mengatakan "diberikan tes transmisi ini mobil dapat diselesaikan dalam jangka waktu 70% dari waktu", dan kemudian bertanya "berapa probabilitas mobil akan selesai Pada waktu itu".

2) Bukti mendorong Anda ke arah yang berlawanan dengan akal sehat. Probabilitasnya adalah 90% sebelum Anda tahu tentang transmisi, bagaimana bisa mengetahui tentang tes yang sukses menurunkannya menjadi 70%?

3) Ada perbedaan antara "tingkat keberhasilan 95%" dan peluang 95% bahwa tes berhasil. Tingkat keberhasilan dapat berarti banyak hal (misalnya, berapa proporsi bagian yang tidak rusak), yang membuatnya menjadi pertanyaan rekayasa tentang kualitas bagian tersebut, bukan penilaian subyektif dari "seberapa yakin kita pengujian berhasil?" Sebagai contoh ilustratif, bayangkan kita berbicara tentang bagian penting dari kapal roket, yang membutuhkan setidaknya 99,999% peluang bekerja selama penerbangan. Mengatakan "Sepotong rusak 20% dari waktu" tidak berarti ada 80% kemungkinan tes berhasil, dan dengan demikian peluang 80% Anda dapat meluncurkan roket minggu depan. Mungkin bagian ini akan membutuhkan waktu 20 tahun untuk dikembangkan dan diperbaiki - tidak ada cara untuk mengetahui berdasarkan informasi yang Anda berikan.

Karena alasan ini, masalahnya sangat buruk. Tapi, seperti yang saya sebutkan di atas, aritmatika yang terlibat dalam pembaruan berdasarkan beberapa peristiwa cukup mudah. Dalam hal itu, saya harap saya menjawab pertanyaan Anda.

ETA: Berdasarkan komentar Anda, saya katakan Anda harus mengerjakan ulang pertanyaan dari bawah ke atas. Anda tentu harus menyingkirkan gagasan "tingkat keberhasilan" 95% / 98%, yang dalam konteks ini merupakan pertanyaan teknik dan bukan statistik Bayesian. Kedua, perkiraan "Kami 70% percaya diri, mengingat bahwa bagian ini berfungsi, bahwa mobil akan siap dalam dua tahun" adalah probabilitas posterior, bukan bukti; Anda tidak dapat menggunakannya untuk memperbarui apa yang sudah Anda miliki.

Dalam situasi yang Anda gambarkan, Anda membutuhkan keempat bagian untuk bekerja pada batas waktu. Jadi, hal paling cerdas untuk dilakukan adalah mengatakan, "Berapa probabilitas masing-masing bagian akan bekerja dalam dua tahun?" Kemudian Anda mengambil produk dari probabilitas tersebut (dengan asumsi independensi), dan Anda memiliki kemungkinan semuanya akan bekerja dalam dua tahun.

Melangkah mundur, sepertinya Anda benar-benar mencoba untuk menggabungkan beberapa prediksi subjektif menjadi satu. Dalam hal ini, rekomendasi saya adalah memecat insinyur Anda. Mengapa? Karena mereka memberi tahu Anda bahwa mereka 90% yakin bahwa itu akan siap dalam dua tahun, tetapi kemudian, setelah mempelajari tes transmisi yang sukses, menurunkan perkiraan mereka menjadi 70%. Jika itu bakat kami bekerja dengan, statistik Bayesian tidak akan membantu kami :-)

Lebih serius - mungkin jika Anda lebih spesifik tentang jenis masalah (yang mungkin sesuatu seperti menggabungkan P (A | B1) dan P (A | B2)), saya dapat memberi Anda beberapa saran lagi.

David Robinson
sumber
Terima kasih ini membantu memperjelas tingkat kesulitan yang saya kerjakan. Untuk apa nilainya saya merancang masalah sehingga mungkin ada masalah yang melekat di sana. Sehubungan dengan kata-kata dari masalah: Setiap P (B_n | A) dimaksudkan untuk independen dari probabilitas sebelumnya. Menggunakan contoh, jika GM menyelesaikan komponen tertentu, para insinyur memiliki kemungkinan bahwa mobil akan selesai tepat waktu, terlepas dari komponen lainnya.
Andrew
Saya tidak begitu yakin apa yang Anda maksud - masalah dengan kata masalah yang Anda berikan bukanlah tingkat kesulitan, melainkan kata-kata. Apakah ini masalah asli atau tugas?
David Robinson
Maafkan saya - saya menyesuaikan diri dengan jeda paragraf shift-masukkan dalam komentar. Seperti yang saya sebutkan di edit, itu adalah contoh saya sendiri yang mungkin hanya kata-kata buruk seperti yang Anda sebutkan. Set saya bekerja dengan biasanya terpisah sehubungan dengan sumber data mereka, jadi saya harus sering menentukan bagaimana sepotong data baru yang tidak selalu bergantung pada data lain dari set yang sama atau dari kelompok yang sama mempengaruhi hipotesis yang mengapa Saya menulisnya seperti yang saya lakukan. Pada contoh di atas bayangkan bahwa para insinyur memiliki kemungkinan untuk penyelesaian keseluruhan berdasarkan pada masing-masing komponen secara mandiri.
Andrew
Lihat hasil edit. Apakah Anda yakin mereka memiliki perkiraan penyelesaian keseluruhan berdasarkan masing-masing komponen secara mandiri? Atau apakah mereka memiliki perkiraan penyelesaian komponen yang diberikan tes sukses?
David Robinson
Seperti yang Anda sebutkan, sepertinya saya berusaha memperbarui P (A | B1) dengan P (A | B2), P (A | B3) ... P (A | Bn). Jika Anda mau, kami dapat menghapus diskusi ini dari komentar melalui email. [email protected]
Andrew
0

Ada banyak cara untuk memperpanjang hasil ini. Bentuk umum adalah bahwa Ada banyak cara untuk menulis pembilang dan penyebut. Formualae Anda memberikan dua contoh (dengan asumsi dan adalah hal yang sama). Tentu saja, untuk masalah tertentu, Anda harus merumuskan LHS dengan menulis RHS dalam hal jumlah yang sebenarnya Anda ketahui; apakah itu dapat dilakukan untuk masalah khusus Anda mungkin bernilai pertanyaan yang lebih spesifik, di situs ini.

P(A|B,C,D...)=P(A,B,C,D...)P(B,C,D,...)
B2C

Ketika variabel ( ) dll kontinu, menghitung posterior memang menjadi jauh lebih rumit, dalam sebagian besar masalah, dan teknik matematika / stat tingkat pascasarjana diperlukan.A,B,C,D

tamu
sumber