Apakah bar kesalahan probabilitas memiliki arti?

25

Orang sering mengatakan beberapa peristiwa memiliki peluang 50-60% untuk terjadi. Kadang-kadang saya bahkan akan melihat orang memberikan bar kesalahan eksplisit tentang penetapan probabilitas. Apakah pernyataan-pernyataan ini memiliki makna atau apakah itu hanya kekhasan linguistik ketidaknyamanan memilih nomor tertentu untuk sesuatu yang secara inheren tidak dapat diketahui?

probability error mahnamahna
sumber

1

Bukankah kerangka kerja yang mungkin kira-kira tepat dalam teori pembelajaran komputasi melakukan hal itu, biasanya memberikan batasan pada tingkat kesalahan pengklasifikasi yang memiliki probabilitas ? Jika itu adalah konsep yang tidak berarti, saya ragu orang-orang CoLT (yang sangat pintar) itu akan gagal menemukannya!

1 - δ

$1-\delta$

Dikran Marsupial

5

@DikranMarsupial Kesalahan dalam pembelajaran PAC bukan pada probabilitas sendiri (yang ditanyakan oleh pertanyaan ini), tetapi pada data. Yaitu, kita menyebut output dari suatu algoritma Kemungkinan Sekitar Benar jika kita dapat membuktikan bahwa dengan kemungkinan , jawabannya berada dalam jarak dari nilai sebenarnya.

1 - δ

$1-\delta$

ε

$\varepsilon$

Kadal diskrit

@ Discretelizard tetapi dalam pengaturan klasifikasi, bukankah itu terikat pada tingkat kesalahan (yang merupakan probabilitas kesalahan)? Sudah lama sejak saya melihat CoLT!

Dikran Marsupial

1

@DikranMarsupial Dalam pengaturan umum untuk pembelajaran PAC, bagian 'perkiraan' mengukur 'besarnya' kesalahan, bukan 'kemungkinan'. Motivasi untuk batas PAC adalah untuk mendapatkan analisis yang lebih baik daripada misalnya risiko yang diharapkan. Saya tidak berpikir ini berubah dalam pengaturan klasifikasi, meskipun untuk PAC masuk akal, harus ada 'jarak' (atau fungsi kerugian) yang didefinisikan antara kelas-kelas. (dalam kasus klasifikasi biner yang lebih khusus, hanya ada satu cara untuk membuat kesalahan, sehingga bagian perkiraannya tidak masuk akal dalam kasus itu)

Kadal diskret

36

Tidak masuk akal jika Anda berbicara tentang probabilitas yang diketahui , misalnya dengan koin yang adil kemungkinan melempar kepala adalah 0,5 menurut definisi. Namun, kecuali jika Anda berbicara tentang contoh buku teks, probabilitas pastinya tidak pernah diketahui, kami hanya mengetahuinya.

Cerita yang berbeda adalah ketika Anda memperkirakan probabilitas dari data, misalnya Anda mengamati 13 tiket yang menang di antara 1.253 tiket yang Anda beli, jadi dari data ini Anda memperkirakan probabilitas menjadi 13/12563. Ini adalah sesuatu yang Anda perkirakan dari sampel, sehingga tidak pasti, karena dengan sampel yang berbeda Anda dapat mengamati nilai yang berbeda. Estimasi ketidakpastian bukan tentang probabilitas, tetapi sekitar estimasi itu.

Contoh lain adalah ketika probabilitas tidak diperbaiki, tetapi tergantung pada faktor-faktor lain. Katakanlah kita berbicara tentang kemungkinan kematian dalam kecelakaan mobil. Kita dapat mempertimbangkan probabilitas "global", nilai tunggal yang terpinggirkan atas semua faktor yang secara langsung dan tidak langsung menyebabkan kecelakaan mobil. Di sisi lain, Anda dapat mempertimbangkan bagaimana probabilitas bervariasi di antara populasi mengingat faktor risiko.

Anda dapat menemukan lebih banyak contoh di mana probabilitas itu sendiri dianggap sebagai variabel acak , sehingga mereka lebih bervariasi daripada diperbaiki.

Tim
sumber

1

Jika perhitungan estimasi probabilitas dilakukan melalui sesuatu seperti regresi logistik tidak akan alami juga untuk menganggap bahwa "bar kesalahan" ini mengacu pada interval prediksi? (Saya meminta sebagian besar sebagai klarifikasi ke poin pertama yang Anda angkat, +1 jelas)

usεr11852 mengatakan Reinstate Monic

1

@ usεr11852 interval kepercayaan, interval prediksi, daerah kepadatan tertinggi dll, tergantung pada kasus aktual. Saya membuat jawabannya sangat luas, karena kami memiliki probabilitas "bervariasi" dalam banyak skenario dan mereka berbeda dalam berbagai cara. Anda juga dapat menafsirkannya secara berbeda dalam skenario yang berbeda.

Tim

1

Bahkan probabilitas "diketahui" dapat menjadi singkatan untuk bar kesalahan yang sangat kecil. Orang mungkin bisa menunjukkan bahwa flip koin mungkin 50,00001% - 49,99999% dengan uji coba yang cukup untuk mendapatkan bar kesalahan yang cukup kecil yang mengecualikan 50,00000%. Tidak ada hukum fisik yang menyarankan peluang harus tepat bahkan untuk koin asimetris, tetapi bar kesalahannya terlalu kecil bagi siapa pun untuk peduli.

Nuklir Wang

5

@NuclearWang ini diperhitungkan oleh OP menggunakan ungkapan "koin yang adil". Menurut definisi, P (HEADS) untuk koin yang adil adalah 0,5. Koin yang adil adalah konstruk matematika. Saya akan menyarankan suntingan menggantikan "oleh hukum fisika" dengan "menurut definisi" untuk menekankan hal ini.

De Novo mendukung GoFundMonica

2

@DeNovo sama berlaku untuk koin fisik stat.columbia.edu/~gelman/research/published/diceRev2.pdf , tapi ya saya katakan "adil" untuk tidak memulai diskusi ini

Tim

23

Ilustrasi paling relevan dari xkcd :

dengan takarir terkait:

... ukuran efek 1,68 (95% CI: 1,56 (95% CI: 1,52 (95% CI: 1,504 (95% CI: 1,494 (95% CI: 1,488 (95% CI: 1,485 (95% CI: 1,482 (95% CI: 1,481 (95% CI: 1,4799 (95% CI: 1,4791 (95% CI: 1,4784 ...

Xi'an
sumber

Apakah ini menyiratkan bahwa bar kesalahan pada probabilitas berlebihan?

BalinKingOfMoria

12

Bercanda terpisah, ini berarti bahwa presisi dari bar kesalahan tidak pasti dan bahwa evaluasi ketidakpastian itu sendiri tidak pasti, dalam regresi yang tak terbatas.

Xi'an

7

Itulah sebabnya saya menganggap gambar itu relevan dan sangat terkait dengan kesulitan mendasar (dan tantangan yang indah) dalam menilai kesalahan dalam statistik.

Xi'an

14

Angka itu menggambarkan meta-ketidakpastian , yang mungkin terkait dengan ketidakpastian pada probabilitas karena ketidakpastian itu sendiri adalah ukuran dari lebar distribusi probabilitas, tetapi posting Anda tidak menjelaskan hal ini dengan cara apa pun; sebenarnya komik XKCD menunjukkan ada hubungannya dengan perbanyakan kesalahan (yang salah), yang pertanyaannya tidak.

gerrit

6

$X$ $Y$ $X/Y$ $1/\sqrt{Y}$

$0.5$ $0.5$

$X/Y$ $[0.4,0.6]$ $[0.47,0.53]$

Apakah Kita Membutuhkan Kemungkinan Tingkat Tinggi dan, Jika Ya, Apa Maksudnya? Mutiara Judea. UAI 1987. https://arxiv.org/abs/1304.2716

usul
sumber

4

Semua pengukuran tidak pasti.

Karena itu, setiap pengukuran probabilitas juga tidak pasti.

Ketidakpastian pada pengukuran probabilitas ini dapat diwakili secara visual dengan bar ketidakpastian. Perhatikan bahwa bilah ketidakpastian sering disebut sebagai bilah galat. Ini tidak benar atau setidaknya menyesatkan, karena menunjukkan ketidakpastian dan bukan kesalahan (kesalahan adalah perbedaan antara pengukuran dan kebenaran yang tidak diketahui, sehingga kesalahan tidak diketahui; ketidakpastian adalah ukuran lebar kepadatan probabilitas setelah mengambil pengukuran).

$\frac{N}{N-2}$

gerrit
sumber

3

$\mathrm{prob}(\mathcal{A} | \Theta = \theta, \mathcal{I})$ $\mathcal{I}$ $\Theta = \theta_0$ $\mathrm{prob}(\Theta = \theta | \mathcal{I}) = \delta_{\theta \theta_0}$

\begin{aligned} p r o b (A | I) & = \sum_{θ} p r o b (A | Θ = θ, I) δ_{θ θ_{0}} \\ = p r o b (A | Θ = θ_{0}, I) \end{aligned}

$\begin{align} \mathrm{prob}(\mathcal{A} | \mathcal{I}) &= \sum_\theta \mathrm{prob}(\mathcal{A} | \Theta = \theta, \mathcal{I}) \: \delta_{\theta \theta_0} \\ &= \mathrm{prob}(\mathcal{A} | \Theta = \theta_0, \mathcal{I}) \end{align}$

$\Theta$ $\mathcal{I}$ $\mathrm{prob}(\Theta = \theta | \mathcal{I})$ $\mathrm{prob}(\mathcal{A} | \mathcal{I})$ $\mathcal{A}$ $\Theta = \theta$ $\Theta$ $\mathcal{A}$

\begin{aligned} p r o b (A, Θ = θ | I) & = p r o b (A | Θ = θ, I) p r o b (Θ = θ | I) \\ p r o b (A | I) & = \sum_{θ} p r o b (A | Θ = θ, I) p r o b (Θ = θ | I) \end{aligned}

$\begin{align} \mathrm{prob}(\mathcal{A}, \Theta = \theta | \mathcal{I}) &= \mathrm{prob}(\mathcal{A} | \Theta = \theta, \mathcal{I}) \: \mathrm{prob}(\Theta = \theta | \mathcal{I}) \\ \mathrm{prob}(\mathcal{A} | \mathcal{I}) &= \sum_\theta \mathrm{prob}(\mathcal{A} | \Theta = \theta, \mathcal{I}) \: \mathrm{prob}(\Theta = \theta | \mathcal{I}) \end{align}$

Dengan demikian, menambahkan bar kesalahan ke probabilitas sama dengan menambahkan ketidakpastian ke parameter gangguan, yang dapat memodifikasi probabilitas, tetapi tidak dapat membuatnya tidak pasti.

CarbonFlambe Reinstate Monica
sumber

1

Sangat sering ada kesempatan di mana Anda ingin memiliki probabilitas probabilitas. Katakanlah misalnya Anda bekerja di bidang keamanan makanan dan menggunakan model analisis survival untuk memperkirakan probabilitas bahwa spora botulinum akan berkecambah (dan dengan demikian menghasilkan toksin yang mematikan) sebagai fungsi dari langkah persiapan makanan (yaitu memasak) dan waktu / suhu inkubasi (cf kertas). Produsen makanan kemudian mungkin ingin menggunakan model itu untuk menetapkan tanggal "digunakan-oleh" yang aman sehingga risiko konsumen untuk botulisme kecil. Namun, model ini cocok untuk sampel pelatihan yang terbatas, jadi daripada memilih tanggal penggunaan-di mana kemungkinan perkecambahannya kurang dari, katakanlah 0,001, Anda mungkin ingin memilih tanggal yang lebih awal untuk yang mana (mengingat asumsi pemodelan) Anda bisa yakin 95% kemungkinan perkecambahan kurang dari 0,001. Ini sepertinya hal yang wajar dilakukan di lingkungan Bayesian.

Dikran Marsupial
sumber

0

tl; dr - Tebakan satu kali saja dari tebakan tertentu dapat dikurangi menjadi satu probabilitas. Namun, itu hanya kasus sepele; struktur probabilitas dapat masuk akal setiap kali ada relevansi kontekstual di luar hanya satu probabilitas.

Peluang pendaratan koin acak di Kepala adalah 50%.

Tidak masalah apakah itu koin yang adil atau tidak; Setidaknya tidak untuk saya. Karena sementara koin mungkin memiliki bias yang dapat digunakan oleh pengamat yang berpengetahuan luas untuk membuat prediksi lebih banyak informasi, saya harus menebak peluang 50%.

{\begin{array}{cc} Heads & Tails \\ 50 % & 50 % \end{array}}_{.}

$\begin{array}{c|c} \textbf{Heads} & \textbf{Tails} \\ \hline 50 \% & 50 \% \end{array}_{.}$

\begin{array}{rc} First flip \\ \begin{matrix} Second \\ flip \end{matrix} & {\begin{array}{rcc} Heads & Tails \\ Heads & 25 % & 25 % \\ Tails & 25 % & 25 % \end{array}}_{,} \end{array}

${\newcommand{\rotate}[2]{{\style{transform-origin: center middle; display: inline-block; transform: rotate(#1deg); padding: 25px}{\rlap{#2}}}}} \hspace{-165px} \begin{array}{rc} & \qquad \qquad \small{\text{First flip}} \\ \rotate{-90}{\hspace{-25px}\small{\begin{array}{c}\text{Second} \\ \text{flip} \end{array}}} & \begin{array}{r|c|c} & \textbf{Heads} & \textbf{Tails} \\ \hline \textbf{Heads} & 25 \% & 25 \% \\ \hline \textbf{Tails} & 25 \% & 25 \% \end{array}_{,} \end{array}$ dari mana mereka dapat menyimpulkan

{\begin{array}{cc} \begin{matrix} Same side \\ twice \end{matrix} & \begin{matrix} Heads \\ and Tails \end{matrix} \\ 50 % & 50 % \end{array}}_{.}

$\begin{array}{c|c} \begin{array}{c}\textbf{Same side} \\[-5px] \textbf{twice}\end{array} & \begin{array}{c}\textbf{Heads} \\[-5px] \textbf{and Tails} \end{array} \\ \hline 50 \% & 50 \% \end{array}_{.}$ Namun, membalik koin bukan peristiwa independen; mereka terhubung oleh agen penyebab umum, digambarkan sebagai bias koin.

Jika kita mengasumsikan sebuah model di mana koin memiliki probabilitas Head yang konstan, maka mungkin lebih tepat untuk mengatakan Dari ini , seseorang mungkin berpikir $P_{\small{\text{Heads}}} ,$

{\begin{array}{cc} Heads & Tails \\ P_{Heads} & 1 - P_{Heads} \end{array}}_{.}

$\begin{array}{c|c} \textbf{Heads} & \textbf{Tails} \\ \hline P_{\small{\text{Heads}}} & 1 - P_{\small{\text{Heads}}} \end{array}_{.}$

\begin{array}{rc} First flip \\ \begin{matrix} Second \\ flip \end{matrix} & {\begin{array}{rcc} Heads & Tails \\ Heads & P_{Heads}^{2} & P_{Heads} (1 - P_{Heads}) \\ Tails & P_{Heads} (1 - P_{Heads}) & {(1 - P_{Heads})}^{2} \end{array}}_{,} \end{array}

${\newcommand{\rotate}[2]{{\style{transform-origin: center middle; display: inline-block; transform: rotate(#1deg); padding: 25px}{\rlap{#2}}}}} \hspace{-165px} \begin{array}{rc} & \qquad \qquad \small{\text{First flip}} \\ \rotate{-90}{\hspace{-25px}\small{\begin{array}{c}\text{Second} \\ \text{flip} \end{array}}} & \begin{array}{r|c|c} & \textbf{Heads} & \textbf{Tails} \\ \hline \textbf{Heads} & P_{\small{\text{Heads}}}^{2} & P_{\small{\text{Heads}}} \left(1-P_{\small{\text{Heads}}}\right) \\ \hline \textbf{Tails} & P_{\small{\text{Heads}}} \left(1-P_{\small{\text{Heads}}}\right) & {\left(1-P_{\small{\text{Heads}}}\right)}^{2} \end{array}_{,} \end{array}$ dari mana mereka dapat menyimpulkan

{\begin{array}{cc} \begin{matrix} Same side \\ twice \end{matrix} & \begin{matrix} Heads \\ and Tails \end{matrix} \\ 1 - 2 P_{Heads} (1 - P_{Heads}) & 2 P_{Heads} (1 - P_{Heads}) \end{array}}_{.}

$\begin{array}{c|c} \begin{array}{c}\textbf{Same side} \\[-5px] \textbf{twice}\end{array} & \begin{array}{c}\textbf{Heads} \\[-5px] \textbf{and Tails} \end{array} \\ \hline 1 - 2 P_{\small{\text{Heads}}} \left(1 - P_{\small{\text{Heads}}} \right) & 2 P_{\small{\text{Heads}}} \left(1 - P_{\small{\text{Heads}}} \right) \end{array}_{.}$ Jika saya harus menebak maka saya akan tetap menggunakan jadi sepertinya ini akan mengurangi ke tabel sebelumnya.

P_{Heads},

$P_{\small{\text{Heads}}} ,$

50 %,

$50 \% ,$

Jadi itu hal yang sama, bukan?

Ternyata peluang mendapatkan dua Kepala atau Ekor selalu lebih besar daripada masing-masing, kecuali dalam kasus khusus dari koin yang sangat adil. Jadi, jika Anda mengurangi tabel, dengan asumsi bahwa probabilitas itu sendiri menangkap ketidakpastian, prediksi Anda akan tidak masuk akal ketika diperpanjang.

Yang mengatakan, tidak ada flip koin " benar ". Kami dapat memiliki segala macam metodologi flipping berbeda yang dapat menghasilkan hasil yang sangat berbeda dan bias yang jelas. Jadi, gagasan bahwa ada nilai yang konsisten dari juga akan cenderung mengarah pada kesalahan ketika kita membangun argumen berdasarkan premis itu. $P_{\small{\text{Heads}}}$

Jadi, jika seseorang bertanya kepada saya kemungkinan koin terbalik, saya tidak akan mengatakan meskipun itu merupakan tebakan terbaik saya. Sebaliknya, saya mungkin akan mengatakan` $`` 50 \% " ,$ $`` \text{probably about}~50\% " .$

Dan apa yang ingin saya katakan kira-kira:

Jika saya harus menebak sekali saja, saya mungkin akan memilih sekitar Namun, ada konteks lebih lanjut yang mungkin harus Anda tanyakan pada saya jika perlu. $50 \% .$

Orang sering mengatakan beberapa peristiwa memiliki peluang 50-60% untuk terjadi.

Jika Anda duduk bersama mereka dan mengerjakan semua data, model, dll., Anda mungkin dapat menghasilkan angka yang lebih baik, atau, idealnya, model yang lebih baik yang akan lebih kuat menangkap kemampuan prediksi mereka.

Tetapi jika Anda membagi perbedaan dan sebut saja 55%, itu akan seperti mengasumsikan di mana Anda pada dasarnya akan berjalan dengan perkiraan cepat setelah terpotong aspek tingkat tinggi itu. Bukan berarti taktik yang buruk untuk perkiraan cepat satu kali saja, tetapi itu kehilangan sesuatu. $P_{\small{\text{Heads}}} = 50 \%$

Nat
sumber

0

Saya berpendapat bahwa hanya error bar yang penting, tetapi dalam contoh yang diberikan, semuanya mungkin hampir tidak berarti.
Contoh cocok untuk interpretasi sebagai interval kepercayaan, di mana batas atas dan bawah dari beberapa derajat kepastian adalah rentang probabilitas. Jawaban yang diajukan ini akan membahas interpretasi itu. Sumber mayoritas - https://www.amazon.com/How-Measure-Anything-Intangibles-Business-ebook/dp/B00INUYS2U

Contoh mengatakan bahwa untuk tingkat kepercayaan tertentu, jawabannya tidak mungkin di atas 60% dan sama-sama tidak mungkin di bawah 50%. Ini sangat nyaman satu set angka yang menyerupai "binning", di mana barang curian dari 55% selanjutnya ditingkatkan ke kisaran +/- 5%. Nomor bulat akrab segera dicurigai.
Salah satu cara untuk sampai pada interval kepercayaan adalah dengan memutuskan tingkat kepercayaan yang dipilih - katakanlah 90% - dan kami mengizinkan hal itu bisa lebih rendah atau lebih tinggi dari perkiraan kami, tetapi hanya ada peluang 10% jawaban "benar" terletak di luar interval kami. Jadi kami memperkirakan batas yang lebih tinggi sehingga "hanya ada peluang 1/20 dari jawaban yang tepat lebih besar dari batas atas ini", dan melakukan hal yang sama untuk batas bawah. Ini dapat dilakukan melalui "estimasi yang dikalibrasi", yang merupakan satu bentuk pengukuran, atau melalui bentuk pengukuran lainnya.
Apapun, intinya adalah untuk A) mengakui dari awal bahwa ada ketidakpastian terkait dengan ketidakpastian kita, dan B) menghindari mengangkat tangan kita pada hal itu, menyebutnya berantakan, dan hanya menempel pada 5% di atas dan di bawah. Keuntungannya adalah bahwa pendekatan yang ketat untuk tingkat yang dipilih dapat menghasilkan hasil yang masih relevan secara matematis, ke tingkat yang dapat dinyatakan secara matematis: "Ada kemungkinan 90% bahwa jawaban yang benar terletak di antara dua batas ini ..." Ini adalah interval kepercayaan yang dibentuk dengan benar (CI), dan dapat digunakan dalam perhitungan lebih lanjut.
Terlebih lagi, dengan menganggapnya sebagai kepercayaan, kami dapat mengkalibrasi metode yang digunakan untuk sampai pada estimasi, dengan membandingkan prediksi vs hasil dan bertindak berdasarkan apa yang kami temukan untuk meningkatkan metode estimasi. Tidak ada yang dapat dibuat sempurna, tetapi banyak hal dapat dibuat 90% efektif.
Perhatikan bahwa 90% CI tidak ada hubungannya dengan fakta bahwa contoh yang diberikan dalam OP berisi 10% dari lapangan dan menghilangkan 90%.
Berapa lebar sayap Boeing 747-100, hingga 90% CI? Yah, saya 95% yakin bahwa itu tidak lebih dari 300 kaki, dan saya sama-sama yakin bahwa itu tidak kurang dari 200 kaki. Jadi dari atas kepala saya, saya akan memberi Anda 90% CI dari 200 -235 kaki.
Perhatikan bahwa tidak ada perkiraan "pusat". CI tidak dibentuk oleh tebakan ditambah faktor fudge. Inilah sebabnya saya mengatakan bahwa bar kesalahan mungkin lebih penting dari perkiraan yang diberikan.

Yang mengatakan, perkiraan interval (semuanya di atas) belum tentu lebih baik dari perkiraan titik dengan kesalahan yang dihitung dengan benar (yang berada di luar ingatan saya pada saat ini - saya hanya ingat bahwa itu sering dilakukan secara tidak benar). Saya hanya mengatakan bahwa banyak perkiraan dinyatakan sebagai rentang - dan saya akan membahayakan sebagian besar rentang dengan angka bulat - adalah titik + fudge daripada perkiraan interval atau titik + kesalahan.

Satu penggunaan point + error yang tepat:

"Mesin mengisi gelas dengan cairan, dan seharusnya disesuaikan sehingga isi gelas adalah 250 g cairan. Karena mesin tidak dapat mengisi setiap cangkir dengan tepat 250,0 g, konten yang ditambahkan ke cangkir masing-masing menunjukkan beberapa variasi, dan dianggap sebagai variabel acak X. Variasi ini diasumsikan terdistribusi normal di sekitar rata-rata yang diinginkan 250 g, dengan standar deviasi, σ, 2,5 g. Untuk menentukan apakah mesin dikalibrasi secara memadai, sampel n = 25 gelas cairan dipilih secara acak dan gelas ditimbang. Massa cairan yang diukur yang dihasilkan adalah X1, ..., X25, sampel acak dari X. "

Poin kunci: dalam contoh ini, baik mean dan kesalahan ditentukan / diasumsikan, daripada diperkirakan / diukur.

sumber

Apakah bar kesalahan probabilitas memiliki arti?

Jawaban: