Arti dari notasi probabilitas dan

27

Apa perbedaan makna antara notasi dan yang umum digunakan di banyak buku dan makalah?P(z;d,w)P(z|d,w)

Pelajar
sumber
13
f (x; θ) sama dengan f (x | θ), hanya berarti θ adalah parameter tetap dan fungsi f adalah fungsi x. f (x, Θ), OTOH, adalah elemen keluarga (set) fungsi, di mana elemen diindeks oleh Θ. Perbedaan yang halus, mungkin, tetapi yang penting, esp. ketika tiba saatnya untuk memperkirakan parameter yang tidak diketahui θ berdasarkan data yang diketahui x; pada saat itu, θ bervariasi dan x diperbaiki, menghasilkan "fungsi kemungkinan". Penggunaan "|" lebih umum di kalangan ahli statistik, ";" di antara ahli matematika.
jbowman
Ya jbowman benar. Kami terkadang menyebutnya kepadatan X yang diberikan Θ.
Michael R. Chernick
@jbowman mengapa tidak memposting itu sebagai jawaban? Satu-satunya pertanyaan saya adalah - mengapa mereka menggunakan keduanya, tetapi saya berasumsi bahwa itu ada hubungannya dengan konteks ("|" digunakan dengan "P" dan ";" dengan " "). f
Abe
Pemikiran yang bagus, Abe; mungkin itu. lebih umum, saya kira. f
jbowman

Jawaban:

12

Saya percaya bahwa asal mula dari ini adalah paradigma kemungkinan (meskipun saya belum memeriksa kebenaran historis yang sebenarnya di bawah ini, ini adalah cara yang masuk akal untuk memahami bagaimana hal itu terjadi).

Katakanlah dalam pengaturan regresi, Anda akan memiliki distribusi: p (Y | x, beta) Yang berarti: distribusi Y jika Anda tahu (tergantung pada) nilai x dan beta.

Jika Anda ingin memperkirakan beta, Anda ingin memaksimalkan kemungkinan: L (beta; y, x) = p (Y | x, beta) Pada dasarnya, Anda sekarang melihat ekspresi p (Y | x, beta) sebagai fungsi beta, tetapi selain itu, tidak ada perbedaan (untuk ekspresi matematika yang benar yang dapat Anda peroleh dengan benar, ini adalah suatu keharusan --- meskipun dalam praktiknya tidak ada yang mengganggu).

Kemudian, dalam pengaturan bayesian, perbedaan antara parameter dan variabel lainnya segera memudar, sehingga Anda mulai menggunakan kedua notasi secara intermixedly.

Jadi, pada intinya: tidak ada perbedaan nyata: keduanya menunjukkan distribusi kondisional dari benda di sebelah kiri, bersyarat pada benda di sebelah kanan.

Nick Sabbe
sumber
23

adalah kerapatan variabel acak X pada titik x , dengan θ menjadi parameter distribusi. f ( x , θ ) adalah kerapatan gabungan X dan Θ pada titik ( x , θ ) dan hanya masuk akal jika Θ adalah variabel acak. f ( x | θ ) adalah distribusi bersyarat dari X yang diberikan Θ , dan sekali lagi, hanya masuk akal jikaf(x;θ)Xxθf(x,θ)XΘ(x,θ)Θf(x|θ)XΘ adalah variabel acak. Ini akan menjadi lebih jelas ketika Anda masuk lebih jauh ke dalam buku dan melihat analisis Bayesian.Θ

PeterR
sumber
Uhhhh ... adalah distribusi bersyarat dari x yang diberikan θ masuk akal bahkan jika θ bukan variabel acak. Ini cukup banyak notasi standar dalam statistik klasik, di mana θ bukan variabel acak. f(x|θ)xθθθ
jbowman
Uhhhh .... jika Anda mengartikannya berarti bahwa P [Θ = θ] = 1 (kiri Θ adalah variabel acak, kanan θ adalah konstan) maka saya setuju. Kalau tidak, saya tidak ... untuk apa arti P [Θ = θ] dalam penyebut definisi distribusi bersyarat?
PeterR
Penyebut? Saya dapat menulis mana f adalah distribusi Normal tanpa mengacu pada Peraturan Bayes. μ dan σ diperbaiki. Yang lain juga, misalnya, ll.mit.edu/mission/communications/ist/publications/… . xf(x|μ,σ)fμσ
jbowman
jbowman, jadi apa definisi dari f Anda (x | μ, σ) sebagai kepadatan bersyarat ketika μ dan σ adalah bilangan tetap (yaitu bukan variabel acak)?
PeterR
1
Kata "kondisional", yang terkait dengan notasi f (X | Y), didefinisikan sebagai "kondisional pada beberapa peristiwa acak yang terjadi". Jika Anda menggunakannya untuk mengartikan sesuatu yang lain, seperti baru saja "diberikan", seperti pada "f (x) diberikan (nilai spesifik) μ dan σ", maka itulah yang notasi f (x; μ, σ) adalah untuk. Karena OP bertanya tentang apa arti notasi, kita harus tepat tentang notasi dalam jawaban.
PeterR
18

f(x;θ) sama denganf(x|θ) , hanya berartiθ adalah parameter tetap dan fungsif adalah fungsix . f(x,Θ) , OTOH, adalah elemen keluarga (atau set) fungsi, di mana elemen diindeks olehΘ . Perbedaan yang halus, mungkin, tetapi yang penting, esp. ketika tiba saatnya untuk memperkirakan parameter yang tidak diketahuiθ berdasarkan data yang diketahuix ; pada saat itu,θ bervariasi danxdiperbaiki, menghasilkan "fungsi kemungkinan". Penggunaan lebih umum di kalangan ahli statistik, sementara ;di antara ahli matematika.

Jbowman
sumber
1
Bagaimana diucapkan secara verbal? Apakah Anda mengatakan "f of x given θ"? f(x;θ)
stackoverflowuser2010
@ stackoverflowuser2010 - ya, persis begitu.
jbowman
2
Saya menemukan dalam beberapa video Coursera bahwa profesor Stanford Andrew Ng menyatakan titik koma sebagai "parameterized by." Lihat: class.coursera.org/ml-005/lecture/34 . Jadi contoh akan diucapkan sebagai "f of x parameterized by theta".
stackoverflowuser2010
5
Mengatakan "diberikan" atau "kondisional" sangat berbeda (secara umum) dari "parameterisasi." Aku benci jika seseorang melihat ini dan berpikir keduanya setara. Mengatakan "parameter" hanya tepat ketika jumlah yang dikondisikan adalah parameter yang mengindeks pdf dari variabel dalam istilah pertama. Untuk dua variabel (misalnya, f (x; y)), menggunakan istilah itu akan salah.
ATJ
2
@ MikeWilliamson - Tentu, pilih notasi di mana Anda tahu apa artinya semuanya dan tetap dengan itu! Dengan begitu ketika Anda kembali ke sesuatu yang Anda lakukan sebelumnya, seperti 4 jam sebelumnya dalam pengalaman saya, Anda tidak perlu mencari tahu apa yang Anda maksudkan ketika Anda menggunakan "|" itu. Saya setuju, itu menjengkelkan, tetapi setelah beberapa saat Anda hanya mengamati penggunaan pertama notasi dan mengingatnya untuk sisa kertas / buku; perbedaan biasanya bukan yang penting.
jbowman
9

Meskipun tidak selalu seperti ini, hari ini umumnya digunakan ketika d , w bukan variabel acak (yang tidak mengatakan bahwa mereka dikenal, tentu saja). P ( z | d , w ) menunjukkan pengkondisian pada nilai d , w . Pengkondisian adalah operasi pada variabel acak dan dengan demikian menggunakan notasi ini ketika d , w bukan variabel acak yang membingungkan (dan tragisnya umum).P(z;d,w)d,wP(z|d,w)d,wd,w

Seperti yang ditunjukkan oleh @Nick Sabbe adalah notasi umum untuk distribusi sampling dari data yang diamati y . Beberapa frequentist akan menggunakan notasi ini tetapi bersikeras bahwa Θ bukan variabel acak, yang merupakan IMO penyalahgunaan. Tetapi mereka tidak memiliki monopoli di sana; Saya telah melihat orang Bayesian melakukannya juga, memasang hiperparameter tetap pada akhir kondisi.p(y|X,Θ)yΘ

JMS
sumber
2
Kembali paragraf ke-2 Anda, perlu ditunjukkan bahwa dalam situasi statistik yang khas (katakanlah, pas model regresi), juga tidak dianggap sebagai variabel acak, tetapi seperangkat konstanta yang diketahui. X
gung - Reinstate Monica