Entri Wikipedia tentang kemungkinan nampak ambigu

Saya punya pertanyaan sederhana tentang "probabilitas bersyarat" dan "Kemungkinan". (Saya sudah mensurvei pertanyaan ini di sini tetapi tidak berhasil.)

Itu dimulai dari halaman Wikipedia tentang kemungkinan . Mereka mengatakan ini:

The kemungkinan dari seperangkat nilai-nilai parameter, , mengingat hasil , sama dengan probabilitas yang hasil yang diamati diberikan nilai-nilai parameter, yaitu$\theta$$x$

$$\mathcal{L}(\theta \mid x) = P(x \mid \theta)$$

Besar! Jadi dalam bahasa Inggris, saya membaca ini sebagai: "Kemungkinan parameter sama dengan theta, mengingat data X = x, (sisi kiri), sama dengan probabilitas data X sama dengan x, mengingat bahwa parameter sama dengan theta ". ( Bold adalah milikku untuk penekanan ).

Namun, tidak kurang dari 3 baris kemudian pada halaman yang sama, entri Wikipedia kemudian mengatakan:

Biarkan menjadi variabel acak dengan distribusi probabilitas diskrit tergantung pada parameter . Lalu fungsinya$X$$p$$\theta$

$$\mathcal{L}(\theta \mid x) = p_\theta (x) = P_\theta (X=x), \,$$

dianggap sebagai fungsi , disebut fungsi kemungkinan (dari , diberikan hasil dari variabel acak ). Kadang-kadang probabilitas dari nilai dari untuk nilai parameter ditulis sebagai ; sering ditulis sebagai untuk menekankan bahwa ini berbeda dari yang bukan probabilitas bersyarat , karena adalah parameter dan bukan variabel acak.$\theta$$\theta$$x$$X$$x$$X$$\theta$$P(X=x\mid\theta)$$P(X=x;\theta)$$\mathcal{L}(\theta \mid x)$$\theta$

( Bold adalah milikku untuk penekanan ). Jadi, dalam kutipan pertama, kita secara harfiah diberitahu tentang probabilitas kondisional , tetapi segera setelah itu, kita diberitahu bahwa ini sebenarnya BUKAN probabilitas kondisional, dan seharusnya ditulis sebagai ?$P(x\mid\theta)$$P(X = x; \theta)$

Jadi, yang mana itu? Apakah kemungkinan itu benar-benar berkonotasi probabilitas bersyarat ala kutipan pertama? Atau apakah itu berkonotasi probabilitas sederhana ala kutipan kedua?

EDIT:

Berdasarkan semua jawaban yang bermanfaat dan wawasan yang saya terima sejauh ini, saya telah merangkum pertanyaan saya - dan pemahaman saya sejauh ini:

• Dalam bahasa Inggris , kami mengatakan bahwa: "Kemungkinan adalah fungsi dari parameter, MEMBERIKAN data yang diamati." Dalam matematika , kita menuliskannya sebagai: .$L(\mathbf{\Theta}= \theta \mid \mathbf{X}=x)$
• Kemungkinannya bukan probabilitas.
• Kemungkinannya bukan distribusi probabilitas.
• Kemungkinannya bukan massa probabilitas.
• Kemungkinannya adalah, dalam bahasa Inggris : "Sebuah produk dari distribusi probabilitas, (kasus kontinu), atau produk dari probabilitas massa, (kasus diskrit), di mana , dan parameter oleh . " Dalam matematika , kita kemudian menuliskannya sebagai berikut: (kasus kontinu, di mana adalah PDF), dan sebagai (kasus diskrit, di mana adalah massa probabilitas). Yang bisa dibawa kemari adalah tidak ada titik di sini sama sekaliΘ = θ L ( Θ = θ ∣ X = x ) = f ( X = x ; Θ = θ ) f L ( Θ = θ $\mathbf{X} = x$$\mathbf{\Theta}= \theta$$L(\mathbf{\Theta}= \theta \mid \mathbf{X}=x) = f(\mathbf{X}=x ; \mathbf{\Theta}= \theta)$$f$
  $L(\mathbf{\Theta}= \theta \mid \mathbf{X}=x) = P(\mathbf{X}=x ; \mathbf{\Theta}= \theta)$$P$ adalah probabilitas bersyarat yang ikut bermain sama sekali.
• Dalam teorema Bayes, kita memiliki: . Bahasa sehari-hari, kita diberitahu bahwa " adalah kemungkinan", namun, ini tidak benar , karena mungkin merupakan variabel acak aktual. Oleh karena itu, apa yang dapat kita katakan dengan benar adalah bahwa istilah ini hanyalah "mirip" dengan suatu kemungkinan. (?) [Tentang ini saya tidak yakin.]$P(\mathbf{\Theta}= \theta \mid \mathbf{X}=x) = \frac{P(\mathbf{X}=x \mid \mathbf{\Theta}= \theta) \ P(\mathbf{\Theta}= \theta)}{P(\mathbf{X}=x)}$$P(\mathbf{X}=x \mid \mathbf{\Theta}= \theta)$$\mathbf{\Theta}$$P(\mathbf{X}=x \mid \mathbf{\Theta}= \theta)$

EDIT II:

Berdasarkan jawaban @amoebas, saya telah menarik komentar terakhirnya. Saya pikir itu cukup jelas, dan saya pikir itu membersihkan pertengkaran utama yang saya alami. (Komentar pada gambar).

EDIT III:

Saya menyampaikan komentar @amoebas ke kasus Bayesian sekarang juga:

Saya pikir ini sebagian besar tidak perlu membelah rambut.

Probabilitas kondisional dari diberikan didefinisikan untuk dua variabel acak dan mengambil nilai dan . Tetapi kita juga dapat berbicara tentang probabilitas dari diberikan mana bukan variabel acak tetapi parameter.x y X Y x y P ( x ∣ θ ) x θ $P(x\mid y)\equiv P(X=x \mid Y=y)$$x$$y$$X$$Y$$x$$y$$P(x\mid\theta)$$x$$\theta$$\theta$

Perhatikan bahwa dalam kedua kasus istilah yang sama "diberikan" dan notasi yang sama dapat digunakan. Tidak perlu menemukan notasi yang berbeda. Selain itu, apa yang disebut "parameter" dan apa yang disebut "variabel acak" dapat bergantung pada filosofi Anda, tetapi matematika tidak berubah.$P(\cdot\mid\cdot)$

Kutipan pertama dari Wikipedia menyatakan bahwa menurut definisi. Di sini diasumsikan bahwa adalah parameter. Kutipan kedua mengatakan bahwa adalah tidak probabilitas bersyarat. Ini berarti bahwa itu bukan probabilitas bersyarat dari diberikan ; dan memang tidak bisa, karena diasumsikan sebagai parameter di sini.θ L ( θ ∣ x ) θ x $\mathcal{L}(\theta \mid x) = P(x \mid \theta)$$\theta$$\mathcal{L}(\theta \mid x)$$\theta$$x$$\theta$

Dalam konteks teorema Bayes baik dan adalah variabel acak. Tetapi kita masih dapat memanggil "kemungkinan" (dari ), dan sekarang ini juga merupakan probabilitas kondisional yang bonafid (dari ). Terminologi ini merupakan standar dalam statistik Bayesian. Tidak ada yang mengatakan itu adalah sesuatu yang "mirip" dengan kemungkinannya; orang hanya menyebutnya kemungkinan.abP(b∣a)a

Catatan 1: Dalam paragraf terakhir, jelas merupakan probabilitas bersyarat dari . Sebagai kemungkinan dilihat sebagai fungsi dari ; tetapi tidak distribusi probabilitas (atau probabilitas bersyarat) dari ! Integralnya atas tidak harus sama dengan . (Padahal integral dari tidak.)b L ( a | b ) a a a 1 $P(b\mid a)$$b$$\mathcal L(a\mid b)$$a$$a$$a$$1$$b$

Catatan 2: Kadang-kadang kemungkinan didefinisikan hingga konstanta proporsional sewenang-wenang, seperti yang ditekankan oleh @MichaelLew (karena sebagian besar waktu orang tertarik pada rasio kemungkinan ). Ini bisa bermanfaat, tetapi tidak selalu dilakukan dan tidak penting.

Lihat juga Apa perbedaan antara "kemungkinan" dan "probabilitas"? dan khususnya jawaban @ whuber di sana.

Saya sepenuhnya setuju dengan jawaban @ Tim di utas ini juga (+1).

Anda sudah mendapat dua jawaban yang bagus, tetapi karena masih belum jelas bagi Anda, izinkan saya memberikan satu. Kemungkinan didefinisikan sebagai

sehingga kita memiliki kemungkinan dari beberapa nilai parameter diberikan data X . Hal ini sama dengan produk dari probabilitas massa (kasus diskrit), atau kepadatan (kasus kontinu) fungsi f dari X parametrized oleh θ . Kemungkinan adalah fungsi dari parameter yang diberikan data. Perhatikan bahwa θ adalah parameter yang kami optimalkan, bukan variabel acak, sehingga tidak memiliki probabilitas yang ditetapkan untuknya. Inilah sebabnya mengapa Wikipedia menyatakan bahwa menggunakan notasi probabilitas bersyarat mungkin ambigu, karena kita tidak mengkondisikan pada variabel acak apa pun. Di sisi lain, dalam pengaturan Bayesian θ adalah$\theta$ $X$$f$$X$$\theta$$\theta$$\theta$ variabel acak dan memang memiliki distribusi, sehingga kita dapat bekerja dengannya seperti dengan variabel acak lainnya dan kita dapat menggunakan teorema Bayes untuk menghitung probabilitas posterior. Kemungkinan Bayesian masih kemungkinan karena memberi tahu kita tentang kemungkinan data yang diberikan parameter, satu-satunya perbedaan adalah bahwa parameter tersebut dianggap sebagai variabel acak.

Jika Anda tahu pemrograman, Anda bisa memikirkan fungsi kemungkinan sebagai fungsi kelebihan beban dalam pemrograman. Beberapa bahasa pemrograman memungkinkan Anda untuk memiliki fungsi yang bekerja secara berbeda ketika dipanggil menggunakan tipe parameter yang berbeda. Jika Anda memikirkan kemungkinan seperti ini, maka secara default jika menganggap beberapa nilai parameter dan mengembalikan kemungkinan data yang diberikan parameter ini. Di sisi lain, Anda dapat menggunakan fungsi tersebut dalam pengaturan Bayesian, di mana parameter adalah variabel acak, ini pada dasarnya menghasilkan output yang sama, tetapi itu dapat dipahami sebagai probabilitas bersyarat karena kita mengkondisikan pada variabel acak. Dalam kedua kasus fungsi berfungsi sama, hanya Anda menggunakannya dan memahaminya sedikit berbeda.

// likelihood "as" overloaded function
Default Likelihood(Numeric theta, Data X) {
    return f(X, theta); // returns likelihood, not probability
}

Bayesian Likelihood(RandomVariable theta, Data X) {
    return f(X, theta); // since theta is r.v., the output can be
                        // understood as conditional probability
}

Selain itu, Anda lebih suka tidak akan menemukan Bayesians yang menulis teorema Bayes sebagai

... ini akan sangat membingungkan . Pertama, Anda harus di kedua sisi persamaan dan itu tidak masuk akal. Kedua, kami memiliki probabilitas posterior untuk mengetahui tentang probabilitas θ data yang diberikan (yaitu hal yang ingin Anda ketahui dalam kerangka likelihoodist, tetapi Anda tidak tahu ketika θ bukan variabel acak). Ketiga, karena θ adalah variabel acak, kami memiliki dan menuliskannya sebagai probabilitas bersyarat. The $\theta|X$$\theta$$\theta$$\theta$$L$-notasi umumnya disediakan untuk pengaturan likelihoodist. Kemungkinan nama digunakan oleh konvensi dalam kedua pendekatan untuk menunjukkan hal yang serupa: bagaimana probabilitas mengamati perubahan data tersebut mengingat model dan parameter Anda.

Ada beberapa aspek dari deskripsi umum tentang kemungkinan yang tidak tepat atau menghilangkan detail dengan cara yang menimbulkan kebingungan. Entri Wikipedia adalah contoh yang bagus.

Pertama, kemungkinan tidak dapat secara umum sama dengan probabilitas data yang diberikan nilai parameter, karena kemungkinan hanya didefinisikan hingga konstanta proporsionalitas. Fisher secara eksplisit tentang hal itu ketika ia pertama kali memformalkan kemungkinan (Fisher, 1922). Alasan untuk itu tampaknya adalah fakta bahwa tidak ada batasan pada integral (atau penjumlahan) dari fungsi kemungkinan, dan kemungkinan mengamati data dalam model statistik yang diberikan nilai parameter apa pun sangat dipengaruhi oleh ketepatan nilai data dan rincian spesifikasi nilai parameter.$x$

Kedua, lebih membantu untuk memikirkan fungsi kemungkinan daripada kemungkinan individu. Fungsi likelihood adalah fungsi dari nilai parameter model, seperti terlihat dari grafik fungsi likelihood. Grafik seperti itu juga memudahkan untuk melihat bahwa kemungkinan memungkinkan pemeringkatan dari berbagai nilai parameter sesuai dengan seberapa baik model memprediksi data ketika diatur ke nilai parameter tersebut. Eksplorasi fungsi kemungkinan membuat peran data dan nilai-nilai parameter jauh lebih jelas, menurut pendapat saya, daripada cogitation dari berbagai formula yang diberikan dalam pertanyaan asli.

Penggunaan rasio pasangan kemungkinan dalam fungsi kemungkinan sebagai tingkat dukungan relatif yang ditawarkan oleh data yang diamati untuk nilai parameter (dalam model) mengatasi masalah konstanta proporsionalitas yang tidak diketahui karena konstanta tersebut membatalkan dalam rasio. Penting untuk dicatat bahwa konstanta tidak harus membatalkan dalam rasio kemungkinan yang berasal dari fungsi kemungkinan terpisah (yaitu dari model statistik yang berbeda).

Akhirnya, penting untuk menjadi eksplisit tentang peran model statistik karena kemungkinan ditentukan oleh model statistik serta data. Jika Anda memilih model yang berbeda, Anda mendapatkan fungsi kemungkinan yang berbeda, dan Anda bisa mendapatkan konstanta proporsionalitas yang tidak diketahui.

Jadi, untuk menjawab pertanyaan awal, kemungkinan bukan probabilitas apa pun. Mereka tidak mematuhi aksioma probabilitas Kolmogorov, dan mereka memainkan peran yang berbeda dalam mendukung statistik kesimpulan dari peran yang dimainkan oleh berbagai jenis probabilitas.

1. Fisher (1922) Tentang dasar matematika statistik http://rsta.royalsocietypublishing.org/content/222/594-604/309

$L(\theta)$$\theta$$\theta$$\theta$

"Saya membaca ini sebagai:" Kemungkinan parameter sama dengan theta, mengingat data X = x, (sisi kiri), sama dengan probabilitas data X sama dengan x, mengingat bahwa parameternya sama dengan theta ". (Bold adalah milikku untuk penekanan)."

$P(x|\theta)$$\mathcal{L}(\theta|x)$

$\theta$$\theta=\theta$$\theta$