Memperkirakan parameter distribusi yang seragam: sebelumnya tidak patut?

Kami memiliki sampel N, $X_i$ , dari distribusi seragam mana tidak diketahui. Perkirakan dari data. $[0,\theta]$ $\theta$ $\theta$

Jadi, aturan Bayes ...

$f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})}$

dan kemungkinannya adalah:

$f({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta}$ (edit: ketika untuk semua , dan 0 sebaliknya - terima kasih whuber) $0 \le X_i \le \theta$ $i$

tetapi tanpa informasi lain tentang , sepertinya prior harus sebanding dengan (yaitu seragam) atau ke (prior Jeffreys?) pada tetapi kemudian integral saya tidak akan bertemu, dan saya tidak yakin bagaimana untuk melanjutkan. Ada ide? $\theta$ $1$ $\frac{1}{L}$ $[0,\infty]$

bayesian estimation uniform uninformative-prior Akan
sumber

Kemungkinan Anda salah: itu akan menjadi nol setiap kali kurang dari terbesar .

θ

$\theta$

X_{i}

$X_i$

Whuber

Bisakah Anda menunjukkan integral apa yang Anda ambil?

Ya, jadi, saya kira saya tidak tahu bagaimana menghadapi yang tidak tepat sebelumnya. Misalnya, saya ingin menulis

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

Will

Untuk prior yang tidak tepat, = = dan untuk Anda juga memperolehKarena hampir pasti, sudah pasti integral akan bertemu.

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

\int_{max (X_{i})}^{\infty} θ^{- N} d θ

$\int_{\max(X_i)}^\infty \theta^{-N}d\theta$

max (X_{i})^{1 - N} / (N - 1)

$\max(X_i)^{1-N}/(N-1)$

f (θ) \propto 1 / θ

$f(\theta)\propto 1/\theta$

max (X_{i})^{- N} / N .

$\max(X_i)^{-N}/N.$

max X_{i} > 0

$\max{X_i}\gt 0$

whuber

Posterior referensi Bernardo adalah Pareto - lihat katalog prior noninformative .

Stéphane Laurent

Jawaban:

Ini telah menghasilkan beberapa debat yang menarik, tetapi perhatikan bahwa itu benar-benar tidak membuat banyak perbedaan dengan pertanyaan yang menarik. Secara pribadi saya pikir itu karena adalah parameter skala, argumen grup transformasi sesuai, yang mengarah ke sebelum $\theta$

\begin{matrix} hal (θ | saya) = \frac{θ^{- 1}}{catatan (\frac{U}{L.})} \propto θ^{- 1} & L. < θ < U \end{matrix}

$\begin{array}& p(\theta|I)=\frac{\theta^{-1}}{\log\left(\frac{U}{L}\right)}\propto\theta^{-1} & L<\theta<U\end{array}$

Distribusi ini memiliki bentuk yang sama di bawah penyelamatan masalah (kemungkinan juga tetap "invarian" di bawah penyelamatan). Kernel dari sebelumnya ini, dapat diturunkan dengan menyelesaikan persamaan fungsional . Nilai bergantung pada masalah, dan benar-benar hanya masalah jika ukuran sampel sangat kecil (seperti 1 atau 2). Posterior adalah pareto terpotong, diberikan oleh: $f(y)=y^{-1}$ $af(ay)=f(y)$ $L,U$

\begin{matrix} hal (θ | D saya) = \frac{N θ^{- N - 1}}{({L.}^{*})^{- N} - U^{- N}} & {L.}^{*} < θ < U & dimana & {L.}^{*} = m Sebuah x (L., X_{(N)}) \end{matrix}

$\begin{array}\\ p(\theta|DI)=\frac{N\theta^{-N-1}}{ (L^{*})^{-N}-U^{-N}} & L^{*}<\theta<U & \text{where} & L^{*}=max(L,X_{(N)}) \end{array}$ Di mana adalah Nth statistik pesanan, atau nilai maksimum sampel. Kita mendapatkan rata-rata posterior Jika kita atur dan sehingga kita mendapatkan eksresi lebih sederhana .

X_{(N)}

$X_{(N)}$

E (θ | D I) = \frac{N ((L^{*})^{1 - N} - U^{1 - N})}{(N - 1) ((L^{*})^{- N} - U^{- N})} = \frac{N}{N - 1} L^{*} (\frac{1 - {[\frac{L^{*}}{U}]}^{N - 1}}{1 - {[\frac{L^{*}}{U}]}^{N}})

$E(\theta|DI)= \frac{ N((L^{*})^{1-N}-U^{1-N}) }{ (N-1)((L^{*})^{-N}-U^{-N}) }=\frac{N}{N-1}L^{*}\left(\frac{ 1-\left[\frac{L^{*}}{U}\right]^{N-1} }{ 1-\left[\frac{L^{*}}{U}\right]^{N} }\right)$

U \to \infty

$U\to\infty$

L \to 0

$L\to 0$

E (θ | D I) = \frac{N}{N - 1} X_{(N)}

$E(\theta|DI)=\frac{N}{N-1}X_{(N)}$

Tapi sekarang anggaplah kita menggunakan prior yang lebih umum, yang diberikan oleh (perhatikan bahwa kita menjaga batas untuk memastikan semuanya benar - tidak ada matematika tunggal kemudian ). Posterior kemudian sama seperti di atas, tetapi dengan diganti dengan - asalkan . Mengulangi perhitungan di atas, kami rata-rata posterior disederhanakan $p(\theta|cI)\propto\theta^{-c-1}$ $L,U$ $N$ $c+N$ $c+N\geq 0$

E (θ | D saya) = \frac{N + c}{N + c - 1} X_{(N)}

$E(\theta|DI)=\frac{N+c}{N+c-1}X_{(N)}$

Jadi seragam sebelumnya ( ) akan memberikan perkiraan asalkan (rata-rata tidak terbatas untuk ). Ini menunjukkan bahwa perdebatan di sini agak seperti apakah menggunakan atau sebagai pembagi dalam estimasi varians. $c=-1$ $\frac{N-1}{N-2}X_{(N)}$ $N\geq 2$ $N=2$ $N$ $N-1$

Salah satu argumen yang menentang penggunaan seragam yang tidak tepat sebelum dalam kasus ini adalah bahwa posterior tidak tepat ketika , karena sebanding dengan . Tapi ini hanya masalah jika atau sangat kecil. $N=1$ $\theta^{-1}$ $N=1$

probabilityislogic
sumber

Karena tujuan di sini mungkin untuk mendapatkan beberapa estimasi valid dan berguna , distribusi sebelumnya harus konsisten dengan spesifikasi distribusi populasi dari mana sampel berasal. Ini TIDAK berarti bahwa kami "menghitung" sebelum menggunakan sampel itu sendiri - ini akan membatalkan validitas seluruh prosedur. Kita tahu bahwa populasi dari mana sampel berasal adalah populasi dari variabel acak seragam iid masing-masing berkisar pada . Ini adalah asumsi yang dipertahankan dan merupakan bagian dari informasi sebelumnya yang kami miliki (dan tidak ada hubungannya dengan sampel , yaitu dengan realisasi spesifik dari subset dari variabel acak ini). $\theta$ $[0,\theta]$

Sekarang asumsikan bahwa populasi ini terdiri dari variabel acak, (sedangkan sampel kami terdiri dari realisasi dari variabel acak). Asumsi yang dipertahankan memberitahu kita bahwa $m$ $n<m$ $n$

max_{i = 1, . . ., n} {X_{i}} \leq max_{j = 1, . . ., m} {X_{j}} \leq θ

$\max_{i=1,...,n}\{X_i\}\le \max_{j=1,...,m}\{X_j\} \le \theta$

untuk kekompakan . Kemudian kita memiliki yang juga dapat ditulis $\max_{i=1,...,n}\{X_i\} \equiv X^*$ $\theta \ge X^*$

θ = c X^{*} c \geq 1

$\theta = cX^*\qquad c\ge 1$

Fungsi densitas dari of iid Uniform rv berkisar pada adalah $\max$ $N$ $[0,\theta]$

f_{X^{*}} (x^{*}) = N \frac{(x^{*})^{N - 1}}{θ^{N}}

$f_{X^*}(x^*) = N\frac {(x^*)^{N-1}}{\theta^N}$

untuk dukungan , dan nol di tempat lain. Kemudian dengan menggunakan dan menerapkan rumus perubahan variabel kami memperoleh distribusi sebelumnya untuk yang konsisten dengan asumsi yang dipertahankan: $[0,\theta]$ $\theta = cX^*$ $\theta$

f_{p} (θ) = N \frac{(\frac{θ}{c})^{N - 1}}{θ^{N}} \frac{1}{c} = \frac{N}{c^{N}} θ^{- 1} θ \in [x^{*}, \infty]

$f_p(\theta) = N\frac {(\frac{\theta}{c})^{N-1}}{\theta^N}\frac 1c = \frac {N}{c^N} \theta^{-1}\qquad \theta \in [x^*, \infty]$

yang mungkin tidak tepat jika kita tidak menentukan konstanta sesuai. Tetapi minat kami terletak pada memiliki posterior yang tepat untuk , dan juga, kami tidak ingin membatasi nilai-nilai yang mungkin dari (di luar batasan yang tersirat oleh asumsi yang dipertahankan). Jadi kita meninggalkan tidak ditentukan. Kemudian tulis posteriornya $c$ $\theta$ $\theta$ $c$
$\mathbf X = \{x_1,..,x_n\}$

f (θ ∣ X) \propto θ^{- N} \frac{N}{c^{N}} θ^{- 1} \Rightarrow f (θ ∣ X) = SEBUAH \frac{N}{c^{N}} θ^{- (N + 1)}

$f(\theta \mid \mathbf X)\; \propto\; \theta^{-N}\frac {N}{c^N} \theta^{-1} \Rightarrow f(\theta \mid \mathbf X) = A\frac {N}{c^N} \theta^{-(N+1)}$

untuk beberapa konstanta normalisasi A. Kami ingin

\int_{S_{θ}} f (θ ∣ X) d θ = 1 \Rightarrow \int_{x^{*}}^{\infty} SEBUAH \frac{N}{c^{N}} θ^{- (N + 1)} d θ = 1

$\int_{S_{\theta}}f(\theta \mid \mathbf X)d\theta =1 \Rightarrow \int_{x^*}^{\infty}A\frac {N}{c^N} \theta^{-(N+1)}d\theta =1$

\Rightarrow SEBUAH \frac{N}{c^{N}} \frac{1}{- N} θ^{- N} |_{x^{*}}^{\infty} = 1 \Rightarrow SEBUAH = (c x^{*})^{N}

$\Rightarrow A\frac {N}{c^N}\frac {1}{-N}\theta^{-N}\Big |_{x^*}^{\infty} = 1 \Rightarrow A = (cx^*)^N$

Memasukkan ke dalam posterior

f (θ ∣ X) = (c x^{*})^{N} \frac{N}{c^{N}} θ^{- (N + 1)} = N (x^{*})^{N} θ^{- (N + 1)}

$f(\theta \mid \mathbf X) = (cx^*)^N\frac {N}{c^N} \theta^{-(N+1)} = N(x^*)^N\theta^{-(N+1)}$

Perhatikan bahwa konstanta tidak ditentukan dari distribusi sebelumnya telah dengan mudah dibatalkan. $c$

Posterior merangkum semua informasi yang dapat diberikan sampel spesifik tentang nilai . Jika kita ingin mendapatkan nilai spesifik untuk kita dapat dengan mudah menghitung nilai yang diharapkan dari posterior, $\theta$ $\theta$

E (θ ∣ X) = \int_{x^{*}}^{\infty} θ N (x^{*})^{N} θ^{- (N + 1)} d θ = - \frac{N}{N - 1} (x^{*})^{N} θ^{- N + 1} |_{x^{*}}^{\infty} = \frac{N}{N - 1} x^{*}

$E(\theta\mid \mathbf X) = \int_{x^*}^{\infty}\theta N(x^*)^N\theta^{-(N+1)}d\theta = -\frac{N}{N-1}(x^*)^N\theta^{-N+1}\Big |_{x^*}^{\infty} = \frac{N}{N-1}x^*$

Apakah ada intuisi dalam hasil ini? Nah, ketika jumlah meningkat, semakin besar kemungkinan bahwa realisasi maksimum di antara mereka akan semakin dekat dengan batas atas mereka, - yang persis seperti nilai rata-rata posterior mencerminkan: jika, katakanlah , , tetapi jika . Ini menunjukkan bahwa taktik kami mengenai pemilihan sebelumnya adalah masuk akal dan konsisten dengan masalah yang ada, tetapi belum tentu "optimal" dalam arti tertentu. $X$ $\theta$ $\theta$ $N=2 \Rightarrow E(\theta\mid \mathbf X) = 2x^*$ $N=10 \Rightarrow E(\theta\mid \mathbf X) = \frac{10}{9}x^*$

Alecos Papadopoulos
sumber

Mendasarkan sebelumnya pada data terdengar mencurigakan bagi saya. Bagaimana Anda membenarkan pendekatan ini?

whuber

Saya tidak menentang fakta bahwa prior Anda bukan "yang terbaik". Di mana aku mengatakan sesuatu seperti itu? Saya hanya mencoba memahami pendekatan Anda. Saya belum memahami kesetaraan ini. Jika konstan dalam kesetaraan , apakah itu berarti dan keduanya nonrandom? Omong-omong, Anda tidak menggunakan fakta bahwa dalam derivasi dari sebelumnya, bukan? (cc @whuber)

c

$c$

θ = c X^{*}

$\theta=cX^*$

X^{*}

$X^*$

θ

$\theta$

c \geq 1

$c \geq 1$

Stéphane Laurent

Dan dukungan Anda sebelumnya tergantung pada data? ( )

θ \in [x^{*}, \infty [

$\theta \in [x^*, \infty[$

Stéphane Laurent

Tergantung sebelumnya (bahkan jika ini hanya melalui dukungan) pada data terdengar salah: Anda tidak dapat mengetahui maksimum sampel sebelum sampel telah dihasilkan . Selain itu, Anda mengklaim bahwa adalah kesetaraan yang hampir pasti, dengan kedua dan acak (dengan demikian ada korelasi ). Tetapi ini menyiratkan bahwa distribusi posterior (yang merupakan distribusi bersyarat dari diberikan sampel) adalah massa Dirac di . Dan ini bertentangan dengan derivasi Anda dari distribusi posterior. ... (tidak ada karakter yang tersisa ...)

θ = c X^{*}

$\theta = cX^*$

θ

$\theta$

X^{*}

$X^*$

1

$1$

θ

$\theta$

θ

$\theta$

c x^{*}

$cx^*$

Stéphane Laurent

Distribusi posterior adalah Dirac pada berarti bahwa adalah . Teorema Bayes bukanlah penyebabnya. Anda menghancurkan segalanya dengan mengasumsikan . Ini menyiratkan , sehingga distribusi bersyarat dari diberikan adalah massa Dirac di , sedangkan asumsi aslinya adalah bahwa distribusi ini adalah distribusi seragam pada .

θ

$\theta$

c x^{*}

$cx^*$

θ

$\theta$

c x^{*}

$cx^*$

θ = c X^{*}

$\theta = cX^*$

X^{*} = θ / c

$X^*=\theta/c$

X^{*}

$X^*$

θ

$\theta$

θ / c

$\theta/c$

(0, θ)

$(0,\theta)$

Stéphane Laurent

Teorema Distribusi Sebelum Seragam (case interval):

"Jika totalitas informasi Anda tentang eksternal ke data ditangkap oleh proposisi tunggal maka satu-satunya spesifikasi sebelumnya yang mungkin secara logis-konsisten-internal Anda adalah $\theta$ $D$

B = {{Nilai yang mungkin untuk θ} = {intervalnya (Sebuah, b)}, Sebuah < b}

$B=\{\{\text{Possible values for } \theta\}=\{\text{the interval } (a,b)\},a<b\}$

f (θ) = Seragam (Sebuah, b)

$f(\theta)=\text{Uniform}(a,b)$

Dengan demikian, Anda spesifikasi sebelumnya harus sesuai dengan prior Jeffrey jika Anda benar-benar percaya pada teorema di atas. "

Bukan bagian dari Teorema Distribusi Seragam Sebelumnya:

Atau Anda dapat menentukan distribusi sebelumnya sebagai distribusi Pareto, yang merupakan distribusi konjugat untuk seragam, mengetahui bahwa Anda distribusi posterior harus menjadi distribusi seragam lain dengan konjugasi. Namun, jika Anda menggunakan distribusi Pareto, maka Anda perlu menentukan parameter distribusi Pareto dalam beberapa cara. $f(\theta)$

sumber

Pertama Anda mengatakan jawaban "hanya mungkin konsisten secara internal" adalah distribusi yang seragam dan kemudian Anda melanjutkan untuk mengusulkan alternatif. Kedengarannya tidak masuk akal dan tidak konsisten bagi saya :-).

Whuber

Saya tidak bisa setuju. Sebagai contoh, juga himpunanKetika PDF dari adalah untuk . Tetapi menurut "teorema," yang pdf-nya dalam interval itu. Singkatnya, meskipun proposisi tidak bergantung pada bagaimana masalah parameternya, kesimpulan "teorema" bergantung pada parameterisasi, di mana ia ambigu.

B

$B$

{θ | θ^{3} \in (a^{3}, b^{3})} .

$\{\theta | \theta^3\in(a^3, b^3)\}.$

Θ \sim Uniform (a, b),

$\Theta\sim\text{Uniform}(a,b),$

Ψ = Θ^{3}

$\Psi=\Theta^3$

1 / (3 ψ^{2 / 3} (b - a))

$1/(3\psi^{2/3}(b-a))$

a^{3} < ψ < b^{3}

$a^3\lt \psi\lt b^3$

Ψ \sim Uniform (a^{3}, b^{3})

$\Psi\sim\text{Uniform}(a^3,b^3)$

1 / (b^{3} - a^{3})

$1/(b^3-a^3)$

whuber

BabakP: Bagaimana orang bisa mengatakan ini adalah teorema ? Teorema adalah klaim matematis dengan bukti matematis. "Teorema" ini akan lebih tepat disebut sebagai "prinsip", tetapi tidak masuk akal karena bertentangan, seperti yang ditunjukkan oleh @whuber.

Stéphane Laurent

Terima kasih untuk referensi BabakP. Saya ingin menunjukkan bahwa "sketsa bukti" itu palsu. Draper membagi interval menjadi jumlah terbatas dengan nilai spasi yang sama dan "lolos ke batas". Siapa pun dapat membagi interval menjadi nilai-nilai yang berjarak untuk memperkirakan kepadatan apa pun yang mereka sukai dan dengan cara yang sama melewati batas, menghasilkan sewenang-wenang yang sempurna "hanya mungkin spesifikasi sebelumnya yang secara logis konsisten secara internal." Hal-hal semacam ini - yaitu, menggunakan matematika buruk dalam upaya untuk menunjukkan bahwa non-Bayesian adalah tidak logis - memberikan analisis Bayesian nama yang buruk (tidak layak). (cc @ Stéphane.)

whuber

@ Stéphane Tolong maafkan ketidakpekaan saya ( insensibilité ) - Saya mengagumi keahlian Anda berinteraksi di sini dalam bahasa kedua dan tidak sengaja menggunakan istilah yang tidak jelas! Bogus adalah kata sifat yang berasal dari istilah slang AS berusia 200 tahun yang merujuk pada mesin untuk memalsukan uang. Dalam hal ini adalah mesin matematika untuk teorema pemalsuan :-).

whuber