Meningkatkan penduga minimum

Misalkan saya memiliki parameter positif untuk mengestimasi dan estimasi yang sesuai yang dihasilkan oleh estimator , yaitu , dan seterusnya.$n$$\mu_1,\mu_2,...,\mu_n$$n$$\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$$\mathrm E[\hat{\mu_1}]=\mu_1$$\mathrm E[\hat{\mu_2}]=\mu_2$

Saya ingin memperkirakan menggunakan perkiraan yang ada. Jelas penaksir naif bias lebih rendah sebagai $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

Misalkan saya juga memiliki matriks kovarians dari penaksir yang sesuai . Apakah mungkin untuk mendapatkan estimasi minimum yang tidak bias (atau kurang bias) menggunakan estimasi yang diberikan dan matriks kovarians?$\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

Saya tidak memiliki jawaban yang jelas tentang keberadaan estimator yang tidak bias. Namun, dalam hal kesalahan estimasi, memperkirakan adalah masalah yang secara intrinsik sulit secara umum.$\min(\mu_1, \dots, \mu_n)$

Misalnya, izinkan , dan . Biarkan menjadi kuantitas target dan adalah perkiraan . Jika kita menggunakan estimator "naif" mana , kemudian, kesalahan estimasi dibatasi oleh hingga konstan. (Perhatikan bahwa kesalahan estimasi untuk setiap adalah ). Tentu saja, jikaμ = ( μ 1 , ... , μ n ) θ = min i μ i θ θ θ = min i ( ˉ Y i ) ¯ Y i = $Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$$\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$L2E[ θ -θ]2⪅σ2log$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$ μiσ

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ $\mu_i$ μiσσ$\frac{\sigma^2}{N}$$\mu_i$Jauh dari satu sama lain dan sangat kecil, kesalahan estimasi harus dikurangi menjadi . Namun, dalam kasus terburuk, tidak ada perkiraan bekerja lebih baik daripada estimator naif. Anda dapat menunjukkan dengan tepat bahwa mana infimum mengambil alih semua kemungkinan yang mungkin dari berdasarkan sampel dan supremum mengambil alih semua konfigurasi yang mungkin dari .$\sigma$ θinf θ sup μ 1 ,..., μ n E[ θ -θ]2⪆σ2log$\frac{\sigma^2}{N}$$\theta$ θY1,…,YNμ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

Oleh karena itu estimator naif adalah minimax optimal hingga konstan, dan tidak ada estimasi yang lebih baik dari dalam hal ini.$\theta$

EDIT: Berikut ini menjawab pertanyaan yang berbeda dari apa yang diminta - itu dibingkai seolah-olah dianggap acak, tetapi tidak berfungsi ketika dianggap tetap, yang mungkin apa OP ada dalam pikiran. Jika diperbaiki, saya tidak memiliki jawaban yang lebih baik daripadaμ μ min ( μ 1 , . . . , μ n$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

Jika kami hanya mempertimbangkan taksiran untuk mean dan kovarian, kami dapat memperlakukan sebagai sampel tunggal dari distribusi normal multivarian. Cara sederhana untuk mendapatkan estimasi minimum adalah dengan mengambil sejumlah besar sampel dari , menghitung minimum setiap sampel dan kemudian mengambil rata-rata dari minimum tersebut.M V N ( μ , Σ $(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

Prosedur di atas dan batasannya dapat dipahami dalam istilah Bayesian - mengambil notasi dari Wikipedia di MVN , jika adalah kovarians yang diketahui dari estimator dan kami memiliki satu pengamatan, distribusi posterior bersama adalah mana dan muncul dari tempat sebelumnya, sebelum mengamati data yang kita ambil sebelumnya ). Karena Anda mungkin tidak mau menempatkan prior pada , kita dapat mengambil batas sebagai , menghasilkan flat sebelumnya dan posterior menjadiμ ~ M V N ( μ + m λ $\Sigma$$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$. Namun, mengingat flat sebelumnya kita secara implisit membuat asumsi bahwa elemen berbeda (jika semua bilangan real sama-sama mungkin, mendapatkan nilai yang sama sangat tidak mungkin).$\mu$

Sebuah cepat simulasi menunjukkan bahwa estimasi dengan prosedur ini sedikit perkiraan yang terlalu tinggi ketika unsur-unsur dari berbeda banyak dan meremehkan ketika unsur-unsur yang serupa. Seseorang dapat berargumen bahwa tanpa pengetahuan sebelumnya ini adalah perilaku yang benar. Jika Anda bersedia menyatakan setidaknya beberapa informasi sebelumnya (mis. ), hasilnya bisa menjadi sedikit lebih baik untuk kasus penggunaan Anda.$min(\mu)$$\mu$$min(\mu)$$m = 0.1$

Jika Anda bersedia untuk mengambil lebih banyak struktur, Anda mungkin dapat memilih distribusi yang lebih baik daripada multivariete normal. Juga mungkin masuk akal untuk menggunakan Stan atau sampler MCMC lainnya agar sesuai dengan estimasi . Ini akan memberi Anda satu set sampel yang mencerminkan ketidakpastian dalam estimator itu sendiri, termasuk struktur kovariansnya (mungkin lebih kaya daripada yang dapat disediakan MVN). Sekali lagi Anda dapat menghitung minimum untuk setiap sampel untuk mendapatkan distribusi posterior lebih dari minimum, dan mengambil rata-rata distribusi ini jika Anda memerlukan estimasi titik.$\mu$$(\mu_1, ..., \mu_n)$