Kemungkinan vs Probabilitas

Saya mengalami kesulitan dengan Kemungkinan . Saya mengerti Teorema Bayes

$$p(A|B, \mathcal{H}) = \frac{p(B|A, \mathcal{H}) p(A|\mathcal{H})}{p(B|\mathcal{H})}$$

yang dapat disimpulkan secara langsung dari penerapan . Jadi dalam interpretasi saya, fungsi dalam Bayes Theorem entah bagaimana semuanya kemungkinan, baik marjinal atau bersyarat. Jadi saya benar-benar berpikir bahwa kemungkinan sebagai konsep lebih merupakan pandangan sering dari probabilitas terbalik.$p(A,B) = p(B) \cdot p(A|B) = p (A) p(B|A) = p(B,A)$$p(\cdot)$

Namun, saya sekarang telah berulang kali melihat pernyataan dalam buku-buku Bayesianis yang mengatakan bahwa kemungkinan itu bukan distribusi probabilitas. Membaca buku MacKay kemarin, saya menemukan pernyataan berikut

"[...] Penting untuk dicatat bahwa istilah kemungkinan dan probabilitas bukanlah sinonim. Kuantitas adalah fungsi dari dan . Untuk tetap , mendefinisikan probabilitas lebih dari , untuk tetap , mendefinisikan kemungkinan . "$P(n_b|u,N)$$n_B$$u$$u$$P(n_b|u,N)$$n_B$$n_B$$P(n_B|u,N)$$u$

• Saya memahami ini sebagai berikut: adalah probabilitas bawah diberikan , dengan demikian fungsi . Tetapi mengingat nilai yang diberikan dan mengevaluasi ketergantungan pada berbeda, kita sebenarnya menggunakan fungsi yang berbeda .$p(A|B)$$A$$B$$\text{probability} : \mathcal{A}\to [0,1]$$a \in A$$p(A=a|B)$$b\in\mathcal{B}$$L : \mathcal{B}\to[0,1]$

• Apakah interpretasi ini benar?

• Dapatkah seseorang kemudian mengatakan bahwa metode kemungkinan maksimum dapat dimotivasi oleh teorema Bayesian, di mana yang sebelumnya dipilih untuk konstan?

Saya pikir mungkin cara terbaik untuk menjelaskan gagasan kemungkinan adalah dengan mempertimbangkan contoh nyata. Misalkan saya memiliki sampel pengamatan IID yang diambil dari distribusi Bernoulli dengan probabilitas keberhasilan yang tidak diketahui$p$: $X_i \sim {\rm Bernoulli}(p)$, $i = 1, \ldots, n$, jadi fungsi massa probabilitas gabungan dari sampel adalah Ekspresi ini juga mencirikan kemungkinan , mengingat sampel yang diamati : Tetapi jika kita menganggap sebagai variabel acak, kemungkinan ini bukan densitas: Namun, proporsional dengan kepadatan probabilitas, itulah sebabnya kami mengatakan itu adalah kemungkinan

$$\Pr[{\boldsymbol X} = \boldsymbol x \mid p] = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}.$$ $p$$\boldsymbol x = (x_1, \ldots, x_n)$ $$L(p \mid \boldsymbol x) = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}.$$ $p$ $$\int_{p=0}^1 L(p \mid \boldsymbol x) \, dp \ne 1.$$ $p$menjadi nilai tertentu yang diberikan sampel - itu mewakili, dalam beberapa hal, masuk akal relatif menjadi beberapa nilai untuk pengamatan yang kami buat.$p$

Misalnya, misalkan dan sampelnya . Secara intuitif kita akan menyimpulkan bahwa lebih cenderung lebih dekat ke daripada ke , karena kami mengamati lebih banyak. Memang, kita memiliki Jika kita memplot fungsi ini pada , kita dapat melihat bagaimana kemungkinan mengkonfirmasi intuisi kita. Tentu saja, kita tidak tahu nilai sebenarnya dari itu bisa saja daripada , tetapi fungsi kemungkinan memberitahu kita bahwa yang pertama jauh lebih kecil daripada yang terakhir. Tetapi jika kita ingin menentukan probabilitas$n = 5$$\boldsymbol x = (1, 1, 0, 1, 1)$$p$$1$$0$

$$L(p \mid \boldsymbol x) = p^4 (1 - p).$$ $p \in [0,1]$$p$$p = 0.25$$p = 0.8$bahwa terletak pada interval tertentu, kita harus menormalkan kemungkinan: karena , maka dalam Untuk mendapatkan kepadatan posterior untuk , kita harus mengalikan dengan : Sebenarnya, posterior ini adalah distribusi beta dengan parameter . Sekarang area di bawah kepadatan sesuai dengan probabilitas.$p$$\int_{p=0}^1 p^4(1-p) \, dp = \frac{1}{30}$$p$$30$ $$f_p(p \mid \boldsymbol x) = 30p^4(1-p).$$ $a = 5, b = 2$

Jadi, yang pada dasarnya kita lakukan di sini adalah menerapkan aturan Bayes: Di sini, adalah distribusi sebelumnya pada parameter (s) , pembilangnya adalah kemungkinan yang juga merupakan distribusi gabungan dari

$$f_{\boldsymbol \Theta}(\boldsymbol \theta \mid \boldsymbol x) = \frac{f_{\boldsymbol X}(\boldsymbol x \mid \boldsymbol \theta) f_{\boldsymbol \Theta}(\boldsymbol \theta)}{f_{\boldsymbol X}(\boldsymbol x)}.$$ $f_{\boldsymbol \Theta}(\boldsymbol \theta)$$\boldsymbol \theta$$L(\boldsymbol \theta \mid \boldsymbol x) = f_{\boldsymbol X}(\boldsymbol x \mid \boldsymbol \theta) f_{\boldsymbol \Theta}(\boldsymbol \theta) = f_{\boldsymbol X, \boldsymbol \Theta}(\boldsymbol x, \boldsymbol \theta)$$\boldsymbol X, \boldsymbol \Theta$ , dan penyebutnya adalah densitas marginal (tanpa syarat) dari , diperoleh dengan mengintegrasikan distribusi sambungan sehubungan dengan untuk menemukan konstanta normalisasi yang membuat kemungkinan kepadatan kemungkinan dengan probabilitas sehubungan dengan parameter. Dalam contoh numerik kami, secara implisit kami mengambil prior untuk untuk menjadi seragam pada . Dapat ditunjukkan bahwa, untuk sampel Bernoulli, jika prior adalah , posterior untuk juga Beta, tetapi dengan parameter ,$\boldsymbol X$$\boldsymbol \theta$$f_{\boldsymbol \Theta}$$[0,1]$${\rm Beta}(a,b)$$f_{\boldsymbol \Theta}$$a^* = a+\sum x_i$$b^* = b + n - \sum x_i$. Kami menyebutnya konjugat sebelumnya (dan menyebutnya sebagai pasangan konjugat Bernoulli-Beta).