Apa yang dimaksud "kemungkinan hanya didefinisikan hingga konstanta proporsionalitas multiplikasi" dalam praktiknya?

Saya membaca makalah di mana penulis memimpin dari diskusi estimasi kemungkinan maksimum untuk Teorema Bayes, seolah-olah sebagai pengantar untuk pemula.

Sebagai contoh kemungkinan, mereka mulai dengan distribusi binomial:

$$p(x|n,\theta) = \binom{n}{x}\theta^x(1-\theta)^{n-x}$$

dan kemudian login kedua sisi

$$\ell(\theta|x, n) = x \ln (\theta) + (n-x)\ln (1-\theta)$$

dengan alasan bahwa:

"Karena kemungkinan hanya didefinisikan hingga konstanta proporsional multiplikatif (atau konstanta aditif untuk kemungkinan log), kami dapat mengubah skala ... dengan menjatuhkan koefisien binomial dan menuliskan kemungkinan log sebagai ganti kemungkinan"

Matematika masuk akal, tetapi saya tidak dapat memahami apa yang dimaksud dengan "kemungkinan hanya didefinisikan hingga konstanta proporsionalitas multiplikasi" dan bagaimana ini memungkinkan menjatuhkan koefisien binomial dan beralih dari $p(x|n,\theta)$ ke $\ell(\theta|x,n)$ .

Terminologi serupa telah muncul dalam pertanyaan-pertanyaan lain (di sini dan di sini ), tetapi masih belum jelas apa, secara praktis, kemungkinan yang didefinisikan atau membawa informasi ke sarana konstanta multiplikatif. Apakah mungkin menjelaskan hal ini dalam istilah awam?

Intinya adalah bahwa kadang-kadang, model yang berbeda (untuk data yang sama) dapat mengarah pada fungsi kemungkinan yang berbeda dengan konstanta multiplikasi, tetapi konten informasi harus jelas sama. Sebuah contoh:

Kami memodelkan eksperimen Bernoulli independen, yang mengarah ke data , masing-masing dengan distribusi Bernoulli dengan (probabilitas) parameter . Ini mengarah ke fungsi likelihood Atau kita dapat meringkas data dengan variabel terdistribusi secara , yang memiliki distribusi binomial, yang mengarah ke fungsi likelihood yang, sebagai fungsi dari parameter tidak diketahui , sebanding dengan fungsi likelihood sebelumnya . Dua fungsi kemungkinan jelas berisi informasi yang sama, dan harus mengarah pada kesimpulan yang sama!$n$$X_1, \dots, X_n$$p$

$$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}$$ $Y=X_1+X_2+\dotsm+X_n$ $$\binom{n}{y} p^y (1-p)^{n-y}$$ $p$

Dan memang, menurut definisi, mereka dianggap fungsi kemungkinan yang sama.

Sudut pandang lain: amati bahwa ketika fungsi kemungkinan digunakan dalam teorema Bayes, seperti yang dibutuhkan untuk analisis bayesian, konstanta multiplikasi seperti itu dengan mudah dibatalkan! jadi mereka jelas tidak relevan dengan inferensi bayesian. Demikian juga, itu akan dibatalkan saat menghitung rasio kemungkinan, seperti yang digunakan dalam tes hipotesis optimal (Neyman-Pearson lemma.) Dan itu tidak akan mempengaruhi nilai penduga kemungkinan maksimum. Jadi kita dapat melihat bahwa dalam banyak kesimpulan sering tidak dapat berperan.

Kita masih bisa berdebat dari sudut pandang lain. Fungsi probabilitas Bernoulli (selanjutnya kami menggunakan istilah "kepadatan") di atas adalah benar-benar kepadatan sehubungan dengan ukuran penghitungan, yaitu, ukuran pada bilangan bulat non-negatif dengan massa satu untuk setiap bilangan bulat non-negatif. Tapi kita bisa mendefinisikan kepadatan sehubungan dengan beberapa ukuran yang mendominasi lainnya. Dalam contoh ini ini akan tampak (dan) buatan, tetapi dalam ruang yang lebih besar (ruang fungsi) itu sangat mendasar! Mari kita, untuk tujuan ilustrasi, menggunakan distribusi geometri spesifik, ditulis , dengan , , dan begitu seterusnya. Kemudian kepadatan distribusi Bernoulli sehubungan dengan$\lambda$$\lambda(0)=1/2$$\lambda(1)=1/4$$\lambda(2)=1/8$$\lambda$f λ ( x ) = p x ( 1 - p ) 1 - x ⋅ 2 x + 1 P ( X = x ) = f λ ( x ) ⋅ λdiberikan oleh berarti bahwa Dengan fungsi baru, mendominasi, ukur ini menjadi (dengan notasi dari atas) perhatikan faktor tambahan . Jadi ketika mengubah ukuran mendominasi digunakan dalam definisi fungsi kemungkinan, ada muncul sebuah konstanta perkalian baru, yang tidak tergantung pada parameter yang tidak diketahui

$$f_{\lambda}(x) = p^x (1-p)^{1-x}\cdot 2^{x+1}$$ $$P(X=x)= f_\lambda(x) \cdot \lambda(x)$$ $$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} 2^{x_i+1} = p^y (1-p)^{n-y} 2^{y+n}$$ $2^{y+n}$$p$, dan jelas tidak relevan. Itu adalah cara lain untuk melihat bagaimana konstanta multiplikasi harus tidak relevan. Argumen ini dapat digeneralisasi menggunakan turunan Radon-Nikodym (seperti argumen di atas adalah contoh.)

Ini pada dasarnya berarti bahwa hanya nilai relatif dari masalah PDF. Misalnya, standar normal (Gaussian) PDF adalah: , buku Anda mengatakan bahwa mereka dapat menggunakan sebagai gantinya, karena mereka tidak peduli dengan skala, yaitu .$f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$$g(x)=e^{-x^2/2}$$c=\frac{1}{\sqrt{2\pi}}$

Ini terjadi karena mereka memaksimalkan fungsi kemungkinan, dan dan akan memiliki maksimum yang sama. Karenanya, maksimum akan sama dengan . Jadi, mereka tidak peduli tentang skalanya.$c\cdot g(x)$$g(x)$$e^{-x^2/2}$$f(x)$

Saya tidak dapat menjelaskan arti kutipan, tetapi untuk estimasi kemungkinan maksimum , tidak masalah apakah kami memilih untuk menemukan maksimum fungsi kemungkinan $L(\mathbf x; \theta)$ (dianggap sebagai fungsi atau maksimum mana$\theta$$aL(\mathbf x; \theta)$ adalah beberapa konstan. Ini karena kita tidak tertarik pada nilai maksimum L ( x ; θ ) melainkan nilai θ ML di mana maksimum ini terjadi, dan keduanya L ( x ; θ ) dan$a$$L(\mathbf x; \theta)$$\theta_{\text{ML}}$$L(\mathbf x; \theta)$ mencapai nilai maksimum pada θ ML yang sama . Jadi, konstanta multiplikasi dapat diabaikan. Demikian pula, kita dapat memilih untuk mempertimbangkan fungsi monoton g ( ⋅ ) (seperti logaritma) dari fungsi kemungkinan L ( x ; θ ) , menentukan maksimum g ( L ( x ; θ ) ) , dan menyimpulkan nilai dari θ ML dari ini. Untuk logaritma, konstanta pengali $aL(\mathbf x; \theta)$$\theta_{\text{ML}}$$g(\cdot)$$L(\mathbf x; \theta)$$g(L(\mathbf x;\theta))$$\theta_{\text{ML}}$$a$menjadi konstanta aditif dan ini juga dapat diabaikan dalam proses menemukan lokasi maksimum: ln ( a ) + ln ( L ( x ; θ ) dimaksimalkan pada titik yang sama dengan ln ( L ( x) ; θ ) .$\ln(a)$$\ln(a)+\ln(L(\mathbf x; \theta)$$\ln(L(\mathbf x; \theta)$

Beralih ke estimasi maksimum probabilitas posteriori (MAP), dianggap sebagai realisasi dari variabel acak Θ dengan fungsi kepadatan priori f Θ ( θ ) , data x dianggap sebagai realisasi dari variabel acak X , dan kemungkinannya fungsi dianggap sebagai nilai dari kepadatan bersyarat f X ∣ Θ ( x ∣ Θ = θ ) dari X yang dikondisikan pada Θ = $\theta$$\Theta$$f_{\Theta}(\theta)$$\mathbf x$$\mathbf X$$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$\mathbf X$$\Theta = \theta$; kata fungsi kepadatan bersyarat dievaluasi pada . The a posteriori kepadatan Θ adalah f Θ | X ( θ | x ) = f X | Θ ( x | Θ = θ ) f Θ ( θ $\mathbf x$$\Theta$ di mana kita mengenali pembilang sebagaikepadatan bersamafX,Θ(x,θ)dari data dan parameter yang diestimasi. TitikθMAPdi mana fq|X(θ|x)mencapai nilai maksimumnya adalah estimasi MAP dariθ, dan, dengan menggunakan argumen yang sama seperti dalam ayat ini, kita melihat bahwa kita dapat mengabaikan[fX(x)]-1di sisi kanan

$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x) = \frac{f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)f_\Theta(\theta)}{f_{\mathbf X}(\mathbf x)} \tag{1}$$ $f_{\mathbf X, \Theta}(\mathbf x, \theta)$$\theta_{\text{MAP}}$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x)$$\theta$$[f_{\mathbf X}(\mathbf x)]^{-1}$ sebagai konstanta multiplikasi sama seperti kita dapat mengabaikan konstanta multiplikasi dikedua f X ∣ Θ ( x ∣ Θ = θ ) dan di f Θ ( θ ) . Demikian pula ketika kemungkinan log digunakan, kita bisa mengabaikan konstanta aditif.$(1)$ $f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$f_\Theta(\theta)$

$f(x)$$kf(x)$

$\text {argmax}$

Mungkin ada keadaan yang tidak biasa ketika Anda harus memaksimalkan kemungkinan tunduk pada langit-langit - dan kemudian Anda harus "ingat" untuk memasukkan konstanta dalam perhitungan nilainya.

Selain itu, Anda dapat melakukan tes pemilihan model untuk model yang tidak bersarang, menggunakan nilai kemungkinan dalam proses -dan karena model tidak bersarang, dua kemungkinan akan memiliki konstanta yang berbeda.

Terlepas dari ini, kalimatnya

"Karena kemungkinan hanya didefinisikan hingga konstanta proporsionalitas multiplikatif (atau konstanta aditif untuk kemungkinan log)"

adalah salah , karena kemungkinan adalah pertama suatu fungsi kepadatan probabilitas gabungan , bukan hanya "apa" fungsi tujuan untuk dimaksimalkan.