Apa perbedaan antara "kemungkinan" dan "probabilitas"?

The halaman wikipedia mengklaim bahwa kemungkinan dan probabilitas adalah konsep-konsep yang berbeda.

Dalam bahasa non-teknis, "kemungkinan" biasanya merupakan sinonim untuk "probabilitas," tetapi dalam penggunaan statistik ada perbedaan yang jelas dalam perspektif: jumlah yang merupakan probabilitas dari beberapa hasil yang diamati mengingat seperangkat nilai parameter dianggap sebagai kemungkinan himpunan nilai parameter mengingat hasil yang diamati.

Dapatkah seseorang memberikan deskripsi yang lebih sederhana tentang apa artinya ini? Selain itu, beberapa contoh bagaimana "probabilitas" dan "kemungkinan" tidak setuju akan menyenangkan.

Jawabannya tergantung pada apakah Anda berurusan dengan variabel acak diskrit atau kontinu. Jadi, saya akan membagi jawaban saya sesuai. Saya akan berasumsi bahwa Anda menginginkan detail teknis dan belum tentu penjelasan dalam bahasa Inggris.

Variabel Acak Terpisah

Misalkan Anda memiliki proses stokastik yang mengambil nilai diskrit (misalnya, hasil melempar koin 10 kali, jumlah pelanggan yang tiba di toko dalam 10 menit dll). Dalam kasus seperti itu, kita dapat menghitung probabilitas mengamati serangkaian hasil tertentu dengan membuat asumsi yang sesuai tentang proses stokastik yang mendasari (misalnya, probabilitas kepala pendaratan koin adalah dan bahwa pelemparan koin independen).$p$

Nyatakan hasil yang diamati oleh dan himpunan parameter yang menggambarkan proses stokastik sebagai . Jadi, ketika kita berbicara tentang probabilitas, kita ingin menghitung . Dengan kata lain, diberikan nilai-nilai tertentu untuk , adalah probabilitas bahwa kita akan mengamati hasil diwakili oleh .$O$$\theta$$P(O|\theta)$$\theta$$P(O|\theta)$$O$

Namun, ketika kita memodelkan proses stokastik kehidupan nyata, kita sering tidak tahu . Kami hanya mengamati dan tujuannya kemudian adalah untuk sampai pada perkiraan untuk yang akan menjadi pilihan yang masuk akal mengingat hasil yang diamati . Kita tahu bahwa diberi nilai , probabilitas mengamati adalah . Dengan demikian, proses estimasi 'alami' adalah memilih yang nilai yang akan memaksimalkan probabilitas bahwa kita benar-benar akan mengamati . Dengan kata lain, kami menemukan nilai parameter yang memaksimalkan fungsi berikut:$\theta$$O$$\theta$$O$$\theta$$O$$P(O|\theta)$$\theta$$O$$\theta$

$L(\theta|O) = P(O|\theta)$

$L(\theta|O)$ disebut fungsi kemungkinan. Perhatikan bahwa menurut definisi fungsi kemungkinan dikondisikan pada diamati dan bahwa itu adalah fungsi dari parameter yang tidak diketahui .$O$$\theta$

Variabel Acak Kontinu

Dalam kasus terus menerus situasinya mirip dengan satu perbedaan penting. Kita tidak bisa lagi berbicara tentang probabilitas yang kita amati diberikan karena dalam kasus kontinu . Tanpa masuk ke masalah teknis, ide dasarnya adalah sebagai berikut:$O$$\theta$$P(O|\theta) = 0$

Nyatakan fungsi densitas probabilitas (pdf) yang terkait dengan hasil sebagai: . Jadi, dalam kasus kontinu kami memperkirakan memberikan hasil yang diamati dengan memaksimalkan fungsi berikut:$O$$f(O|\theta)$$\theta$$O$

$L(\theta|O) = f(O|\theta)$

Dalam situasi ini, kita tidak bisa secara teknis menegaskan bahwa kita menemukan nilai parameter yang memaksimalkan probabilitas yang kita amati seperti yang kita memaksimalkan PDF dikaitkan dengan hasil yang diamati .$O$$O$

Ini adalah jenis pertanyaan yang akan dijawab oleh hampir semua orang dan saya berharap semua jawaban itu baik. Tapi Anda seorang ahli matematika, Douglas, jadi izinkan saya menawarkan jawaban matematika.

Model statistik harus menghubungkan dua entitas konseptual yang berbeda: data , yang merupakan elemen dari beberapa set (seperti ruang vektor), dan model kuantitatif yang mungkin dari perilaku data. Model biasanya diwakili oleh titik pada manifold dimensi terbatas, manifold dengan batas, atau ruang fungsi (yang terakhir disebut sebagai masalah "non-parametrik").$x$θ$\theta$

Data terhubung ke model yang mungkin melalui fungsi . Untuk setiap diberikan , dimaksudkan sebagai probabilitas (atau kepadatan probabilitas) dari . Untuk setiap diberikan , di sisi lain, dapat dilihat sebagai fungsi dari dan biasanya diasumsikan memiliki sifat-sifat bagus tertentu, seperti menjadi terdiferensiasi kedua secara terus-menerus. Niat untuk melihat dengan cara ini dan memohon asumsi ini diumumkan dengan menyebut "kemungkinan."$x$$\theta$$\Lambda(x, \theta)$$\theta$$\Lambda(x, \theta)$$x$$x$$\Lambda(x, \theta)$$\theta$$\Lambda$$\Lambda$

Ini seperti perbedaan antara variabel dan parameter dalam persamaan diferensial: kadang-kadang kita ingin mempelajari solusinya (yaitu, kita fokus pada variabel sebagai argumen) dan kadang-kadang kita ingin mempelajari bagaimana solusinya bervariasi dengan parameter. Perbedaan utama adalah bahwa dalam statistik kita jarang perlu mempelajari variasi simultan dari kedua set argumen; tidak ada objek statistik yang secara alami berhubungan dengan mengubah data dan parameter model . Itu sebabnya Anda mendengar lebih banyak tentang dikotomi ini daripada di pengaturan matematika analog.$x$$\theta$

Saya akan mencoba dan meminimalkan matematika dalam penjelasan saya karena sudah ada beberapa penjelasan matematika yang baik.

Sebagaimana Robin Girand tunjukkan perbedaan antara probabilitas dan kemungkinan terkait erat dengan perbedaan antara probabilitas dan statistik . Dalam arti, probabilitas dan statistik berkaitan dengan masalah-masalah yang bertolak belakang atau berlawanan satu sama lain.

Pertimbangkan lemparan koin. (Jawaban saya akan mirip dengan Contoh 1 di Wikipedia .) Jika kita tahu koin itu adil ( ) pertanyaan probabilitas yang umum adalah: Berapakah probabilitas mendapatkan dua kepala berturut-turut. Jawabannya adalah .P ( H H ) = P ( H ) × P ( H ) = 0,5 × 0,5 = $p=0.5$$P(HH) = P(H)\times P(H) = 0.5\times0.5 = 0.25$

Pertanyaan statistik yang umum adalah: Apakah koin itu adil? Untuk menjawab ini kita perlu bertanya: Sejauh mana sampel kami mendukung hipotesis kami bahwa ?$P(H) = P(T) = 0.5$

Poin pertama yang perlu diperhatikan adalah bahwa arah pertanyaan telah terbalik. Dalam probabilitas kita mulai dengan parameter yang diasumsikan ( ) dan memperkirakan probabilitas sampel yang diberikan (dua kepala berturut-turut). Dalam statistik kami mulai dengan pengamatan (dua kepala berturut-turut) dan membuat INFERENSI tentang parameter kami ( ).$P(head)$$p = P(H) = 1- P(T) = 1 - q$

Contoh 1 di Wikipedia menunjukkan kepada kita bahwa perkiraan kemungkinan maksimum setelah 2 kepala berturut-turut adalah . Tetapi data sama sekali tidak mengesampingkan nilai parameter yang benar (jangan khawatirkan diri kita dengan detail saat ini). Memang hanya nilai sangat kecil dan khususnya dapat dihilangkan secara wajar setelah (dua lemparan koin). Setelah lemparan ketiga muncul, kita sekarang dapat menghilangkan kemungkinan bahwa (yaitu itu bukan koin berkepala dua), tetapi sebagian besar nilai di antaranya dapat didukung secara wajar oleh data$P(H)$$p_{MLE} = 1$$p(H) = 0.5$$p(H)$$p(H)=0$$n = 2$$P(H) = 1.0$. (Interval kepercayaan 95% binomial yang tepat untuk adalah 0,094 hingga 0,992.$p(H)$

Setelah 100 lemparan koin dan (katakanlah) 70 kepala, kita sekarang memiliki dasar yang masuk akal untuk kecurigaan bahwa koin itu sebenarnya tidak adil. Tepatnya 95% CI pada sekarang 0,600 hingga 0,787 dan probabilitas untuk mengamati suatu hasil sama ekstrimnya dengan 70 atau lebih kepala (atau ekor) dari 100 kali lemparan yang diberikan adalah 0,0000785.$p(H)$$p(H) = 0.5$

Meskipun saya belum secara eksplisit menggunakan perhitungan kemungkinan, contoh ini menangkap konsep kemungkinan: Kemungkinan adalah ukuran sejauh mana sampel memberikan dukungan untuk nilai-nilai tertentu dari suatu parameter dalam model parametrik .

Saya akan memberikan Anda perspektif dari sudut pandang Likelihood Theory yang berasal dari Fisher - dan merupakan dasar definisi statistik dalam artikel Wikipedia yang dikutip.

Misalkan Anda memiliki acak variates yang timbul dari distribusi parameter , di mana adalah parameter karakteristik . Maka probabilitas adalah: , dengan dikenal . F ( X ; θ ) θ F X = x P ( X = x ) = F ( x ; θ ) $X$$F(X; \theta)$$\theta$$F$$X = x$$P(X = x) = F(x; \theta)$$\theta$

Lebih sering, Anda memiliki data dan tidak diketahui. Dengan mengasumsikan model , kemungkinan didefinisikan sebagai probabilitas data yang diamati sebagai fungsi : . Perhatikan bahwa diketahui, tetapi tidak diketahui; sebenarnya motivasi untuk menentukan kemungkinan adalah untuk menentukan parameter distribusi.θ F θ L ( θ ) = P ( θ ; X = x ) X $X$$\theta$$F$$\theta$$L(\theta) = P(\theta; X = x)$$X$$\theta$

Meskipun sepertinya kita baru saja menulis ulang fungsi probabilitas, konsekuensi utama dari ini adalah bahwa fungsi kemungkinan tidak mematuhi hukum probabilitas (misalnya, itu tidak terikat pada interval [0, 1]). Namun, fungsi kemungkinan sebanding dengan probabilitas data yang diamati.

Konsep kemungkinan ini benar-benar mengarah ke aliran pemikiran yang berbeda, "ahli kemungkinan" (berbeda dari frequentist dan bayesian) dan Anda dapat google untuk mencari semua berbagai debat sejarah. Landasannya adalah Prinsip Likelihood yang pada dasarnya mengatakan bahwa kita dapat melakukan inferensi langsung dari fungsi likelihood (baik orang Bayesia maupun yang sering menerima ini karena ini bukan inferensi berbasis probabilitas). Saat ini banyak dari apa yang diajarkan sebagai "sering" di sekolah sebenarnya adalah campuran dari pemikiran sering dan kemungkinan.

Untuk wawasan yang lebih dalam, awal yang baik dan referensi sejarah adalah Kemungkinan Edwards . Untuk pandangan modern, saya akan merekomendasikan monograf Richard Royall yang luar biasa, Bukti Statistik: Paradigma Kemungkinan .

Mengingat semua jawaban teknis yang bagus di atas, izinkan saya membawanya kembali ke bahasa: Probabilitas mengukur antisipasi (hasil), kemungkinan mengukur kuantifikasi kepercayaan (dalam model).

Misalkan seseorang menantang kita untuk 'permainan judi yang menguntungkan'. Kemudian, probabilitas akan melayani kami untuk menghitung hal-hal seperti profil yang diharapkan dari untung dan rugi Anda (rata-rata, mode, median, varians, rasio informasi, nilai pada risiko, kehancuran penjudi, dan sebagainya). Sebaliknya, kemungkinan akan membantu kita untuk mengukur apakah kita memercayai probabilitas tersebut di tempat pertama; atau apakah kita 'mencium bau tikus'.

Secara kebetulan - karena seseorang di atas menyebutkan agama-agama statistik - saya percaya rasio kemungkinan menjadi bagian integral dari dunia Bayesian dan juga yang sering terjadi: Di ​​dunia Bayesian, formula Bayes hanya bergabung sebelumnya dengan kemungkinan untuk menghasilkan posterior.

$p$$(1-p)$$x=1$$x=0$$f$

$f(x,2/3)$$p=2/3$$f(1,p)$$p$$x=1$

Jika saya memiliki koin yang adil (nilai parameter) maka kemungkinannya bahwa itu akan muncul kepala adalah 0,5. Jika saya melempar koin 100 kali dan muncul di kepala 52 kali maka kemungkinannya besar adalah adil (nilai numerik kemungkinan berpotensi mengambil sejumlah bentuk).

$P(x|\theta)$

• $x$$\theta$$\theta$$P(x|\theta)$$x$P ( x ; θ ) P θ ( x ) θ P ( x | θ $\theta$$P(x;\theta)$$P_{\theta}(x)$$\theta$$P(x|\theta)$${P(x\cap\theta)}/{P(\theta)}$
• $\theta$$x$$\hat\theta$$\theta$$P(x|\theta)$$P(x|\hat\theta)$$\theta$$x$$\mathcal L(\hat\theta|x)$$P(x|\theta)$$x$$\theta$$\theta$

Seringkali, ungkapan ini masih merupakan fungsi dari kedua argumennya, sehingga ini lebih merupakan masalah penekanan.

$\theta$

$P(X|\theta)$$\theta$$\int P(X|\theta) d\theta$$\theta$$\theta$

Tahukah Anda pilot ke serial tv "num3ers" di mana FBI mencoba untuk menemukan pangkalan dari seorang kriminal berantai yang tampaknya memilih korbannya secara acak?

$p(x|\theta)$$x$$\theta$$x$$\theta$$p_{\theta}(x)=p(x|\theta)$$x$$\theta$

$x$$\theta$

$\theta$$\theta$$p(x|\theta)$$x$$l_x(\theta)=p(x|\theta)$$\theta$$x$$x$$\hat{\theta}$

$l_x(\theta)$$\theta$$p_{\theta}(x)$$x$$p(x|\theta)$$x$$\theta$