Penaksir yang tidak sesuai untuk eksponensial ukuran satu set?

Misalkan kita memiliki set (terukur dan berperilaku baik) set , di mana kompak. Selain itu, misalkan kita dapat mengambil sampel dari distribusi seragam di atas wrt ukuran Lebesgue dan kita tahu ukuran . Misalnya, mungkin adalah kotak yang mengandung . $S\subseteq B\subset\mathbb R^n$ $B$ $B$ $\lambda(\cdot)$ $\lambda(B)$ $B$ $[-c,c]^n$ $S$

Untuk tetap , apakah ada cara sederhana yang tidak bias untuk memperkirakan dengan titik pengambilan sampel yang seragam dalam dan memeriksa apakah mereka berada di dalam atau di luar ? $\alpha\in\mathbb R$ $e^{-\alpha \lambda(S)}$ $B$ $S$

Sebagai contoh dari sesuatu yang tidak berfungsi, misalkan kita mengambil sampel poin . Kemudian kita dapat menggunakan estimasi Monte Carlo Tapi, sementara adalah penaksir tidak bias dari , saya tidak berpikir itu adalah kasus bahwa adalah penaksir yang tidak bias dari . Apakah ada cara untuk memodifikasi algoritma ini? $k$ $p_1,\ldots,p_k\sim\textrm{Uniform}(B)$

λ (S) \approx \hat{λ} := \frac{# {p_{i} \in S}}{k} λ (B) .

$\lambda(S)\approx \hat\lambda:= \frac{\#\{p_i\in S\}}{k}\lambda(B).$

\hat{λ}

$\hat\lambda$

λ (S)

$\lambda(S)$

e^{- α \hat{λ}}

$e^{-\alpha\hat\lambda}$

e^{- α λ (S)}

$e^{-\alpha\lambda(S)}$

probability monte-carlo unbiased-estimator measure-theory Justin Solomon
sumber

Jawaban:

Misalkan Anda memiliki sumber daya berikut yang tersedia untuk Anda:

Anda memiliki akses ke estimator . $\hat{\lambda}$
$\hat{\lambda}$ tidak bias untuk . $\lambda ( S )$
$\hat{\lambda}$ hampir pasti dibatasi di atas oleh . $C$
Anda tahu konstanta , dan $C$
Anda dapat membentuk realisasi independen dari sebanyak yang Anda inginkan. $\hat{\lambda}$

Sekarang, perhatikan bahwa untuk setiap , penangguhan berikut (oleh ekspansi Taylor dari ): $u > 0$ $\exp x$

\begin{aligned} e^{- α λ (S)} & = e^{- α C} \cdot e^{α (C - λ (S))} \\ = e^{- α C} \cdot \sum_{k ⩾ 0} \frac{{(α [C - λ (S)])}^{k}}{k!} \\ = e^{- α C} \cdot e^{u} \cdot \sum_{k ⩾ 0} \frac{e^{- u} \cdot {(α [C - λ (S)])}^{k}}{k!} \\ = e^{u - α C} \cdot \sum_{k ⩾ 0} \frac{u^{k} e^{- u}}{k!} {(\frac{α [C - λ (S)]}{u})}^{k} \end{aligned}

$\begin{align} e^{-\alpha \lambda ( S ) } &= e^{-\alpha C} \cdot e^{\alpha \left( C - \lambda ( S ) \right)} \\ &= e^{- \alpha C} \cdot \sum_{k \geqslant 0} \frac{ \left( \alpha \left[ C - \lambda ( S ) \right] \right)^k}{ k! } \\ &= e^{- \alpha C} \cdot e^u \cdot \sum_{k \geqslant 0} \frac{ e^{-u} \cdot \left( \alpha \left[ C - \lambda ( S ) \right] \right)^k}{ k! } \\ &= e^{u -\alpha C} \cdot \sum_{k \geqslant 0} \frac{ u^k e^{-u} }{ k! } \left(\frac{ \alpha \left[ C - \lambda ( S ) \right]}{u} \right)^k \end{align}$

Sekarang, lakukan hal berikut:

Contoh . $K \sim \text{Poisson} ( u )$
Bentuk sebagai penaksir iid yang tidak bias dari . $\hat{\lambda}_1, \cdots, \hat{\lambda}_K$ $\lambda(S)$
Kembalikan estimator

\hat{Λ} = e^{u - α C} \cdot {(\frac{α}{u})}^{K} \cdot \prod_{i = 1}^{K} {C - {\hat{λ}}_{i}} .

$\hat{\Lambda} = e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \cdot \prod_{i = 1}^K \left\{ C - \hat{\lambda}_i \right\}.$

$\hat{\Lambda}$ kemudian merupakan penaksir non-negatif, tidak bias . Hal ini karena $\lambda(S)$

\begin{aligned} E [\hat{Λ} | K] & = e^{u - α C} \cdot {(\frac{α}{u})}^{K} E [\prod_{i = 1}^{K} {C - {\hat{λ}}_{i}} | K] \\ = e^{u - α C} \cdot {(\frac{α}{u})}^{K} \prod_{i = 1}^{K} E [C - {\hat{λ}}_{i}] \\ = e^{u - α C} \cdot {(\frac{α}{u})}^{K} \prod_{i = 1}^{K} [C - λ (S)] \\ = e^{u - α C} \cdot {(\frac{α}{u})}^{K} {[C - λ (S)]}^{K} \end{aligned}

$\begin{align} \mathbf{E} \left[ \hat{\Lambda} | K \right] &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \mathbf{E} \left[ \prod_{i = 1}^K \left\{ C - \hat{\lambda}_i \right\} | K \right] \\ &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \prod_{i = 1}^K \mathbf{E} \left[ C - \hat{\lambda}_i \right] \\ &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \prod_{i = 1}^K \left[ C - \lambda ( S ) \right] \\ &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \left[ C - \lambda ( S ) \right]^K \end{align}$

dan dengan demikian

\begin{aligned} E [\hat{Λ}] & = E_{K} [E [\hat{Λ} | K]] \\ = E_{K} [e^{u - α C} \cdot {(\frac{α}{u})}^{K} {[C - λ (S)]}^{K}] \\ = e^{u - α C} \cdot \sum_{k ⩾ 0} P (K = k) {(\frac{α}{u})}^{K} {[C - λ (S)]}^{K} \\ = e^{u - α C} \cdot \sum_{k ⩾ 0} \frac{u^{k} e^{- u}}{k!} {(\frac{α [C - λ (S)]}{u})}^{k} \\ = e^{- α λ (S)} \end{aligned}

$\begin{align} \mathbf{E} \left[ \hat{\Lambda} \right] &= \mathbf{E}_K \left[ \mathbf{E} \left[ \hat{\Lambda} | K \right] \right] \\ &= \mathbf{E}_K \left[ e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \left[ C - \lambda ( S ) \right]^K \right] \\ &= e^{u -\alpha C} \cdot \sum_{k \geqslant 0} \mathbf{P} ( K = k ) \left(\frac{ \alpha }{u} \right)^K \left[ C - \lambda ( S ) \right]^K \\ &= e^{u -\alpha C} \cdot \sum_{k \geqslant 0} \frac{ u^k e^{-u} }{ k! } \left(\frac{ \alpha \left[ C - \lambda ( S ) \right]}{u} \right)^k \\ &= e^{-\alpha \lambda ( S ) } \end{align}$

dengan perhitungan sebelumnya.

πr8
sumber

Menarik! Bukankah estimator untuk dijelaskan dalam pertanyaan berfungsi di sini, karena dibatasi oleh ? Juga kenapa ini tidak bertentangan dengan jawaban @whuber di bawah ini? Apakah ada argumen yang mudah mengapa ini tidak bias? Maaf untuk banyak pertanyaan, teori probabilitas saya lemah :-)

\hat{λ}

$\hat\lambda$

λ (B) < \infty

$\lambda(B)<\infty$

Justin Solomon

Penaksir yang Anda gambarkan berfungsi, karena Anda tahu . Saya pikir ini tidak bertentangan dengan jawaban yang lain karena asumsi ; diberikan akses terbatas ke estimator yang tidak bias, saya tidak berpikir konstruksi ini akan berhasil. Ketidakberpihakan datang dengan membandingkan ekspektasi dengan seri daya di atas; Saya akan menjelaskannya dalam jawaban.

λ (B)

$\lambda (B)$

5

$5$

\hat{Λ}

$\hat{\Lambda}$

8r8

Apakah Anda yakin dapat menukar produk dan harapan di baris kedua bukti ketidakberpihakan?

jbowman

Sepertinya tidak apa-apa karena mereka dihitung iid, kan?

Justin Solomon

+1 Saya pikir ini adalah contoh yang menarik dan instruksional. Itu berhasil dengan tidak membuat asumsi yang tersirat pada jawaban saya: bahwa ukuran sampel ditentukan atau paling tidak dibatasi.

Whuber

Jawabannya ada di negatif.

Statistik yang cukup untuk sampel yang seragam adalah jumlah dari titik yang diamati terletak pada Jumlah ini memiliki distribusi Binomial . Tulis dan $X$ $S.$ $(n,\lambda(S)/\lambda(B))$ $p=\lambda(S)/\lambda(B)$ $\alpha^\prime = \alpha\lambda(B).$

Untuk ukuran sampel misalkan menjadi taksiran (tidak acak) dari Harapannya adalah $n,$ $t_n$ $\exp(-\alpha \lambda(S)) = \exp(-(\alpha\lambda(B)) p) = \exp(-\alpha^\prime p).$

E [t_{n} (X)] = \sum_{x = 0}^{n} (\binom{n}{x}) p^{x} (1 - p)^{n - x} t_{n} (x),

$E[t_n(X)] = \sum_{x=0}^n \binom{n}{x}p^x (1-p)^{n-x}\, t_n(x),$

yang sama dengan polinomial derajat paling banyak dalam Tetapi jika eksponensial tidak dapat dinyatakan sebagai polinomial dalam (Satu bukti: ambil turunan Hasil untuk ekspektasi akan menjadi nol tetapi turunan dari eksponensial, yang dengan sendirinya merupakan eksponensial dalam tidak boleh nol.) $n$ $p.$ $\alpha^\prime p \ne 0,$ $\exp(-\alpha^\prime p)$ $p.$ $n+1$ $p,$

Demonstrasi untuk penaksir acak hampir sama: setelah mengambil harapan, kami kembali mendapatkan polinomial dalam $p.$

Akibatnya, tidak ada penduga yang tidak bias.

whuber
sumber

Ah, itu downer! Terima kasih atas buktinya. Tapi, deret Taylor untuk konvergen cukup cepat --- mungkin ada estimator yang "tidak bias" di luar sana? Tidak yakin apa artinya itu (saya bukan ahli statistik :-))

\exp (t)

$\exp(t)$

Justin Solomon

Seberapa cepat, tepatnya? Jawabannya tergantung pada nilai - dan di situlah letak masalah Anda, karena Anda tidak tahu apa nilainya. Anda hanya tahu bahwa itu terletak antara dan Anda bisa menggunakannya untuk membuat batasan pada bias jika Anda mau.

α^{'} p

$\alpha^\prime p$

0

$0$

α .

$\alpha.$

Whuber

Dalam aplikasi saya saya berharap untuk menempati sebagian besar . Saya ingin menggunakan nilai ini dalam rasio penerimaan Metropolis-Hastings semu-marginal, tidak yakin apakah metode itu dapat menangani tingkat bias yang bahkan dapat dikontrol ...

S

$S$

B

$B$

Justin Solomon

BTW Saya sangat menghargai pemikiran Anda atas jawaban lain untuk pertanyaan ini!

Justin Solomon