Intuisi di balik mengapa paradoks Stein hanya berlaku dalam dimensi

Contoh Stein menunjukkan bahwa estimasi kemungkinan maksimum $n$ variabel terdistribusi normal dengan rata-rata $\mu_1,\ldots,\mu_n$ dan varians $1$ tidak dapat diterima (di bawah fungsi kuadrat kerugian) iff $n\ge 3$ . Untuk bukti yang rapi, lihat bab pertama Inferensi Skala Besar: Metode Empiris Bayes untuk Estimasi, Pengujian, dan Prediksi oleh Bradley Effron.

$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

Pertanyaan saya agak: Apa properti dari ruang dimensional (untuk ) yang tidak yang memfasilitasi contoh Stein? Kemungkinan jawaban bisa tentang kelengkungan bola, atau sesuatu yang sama sekali berbeda.$n$$n\ge 3$$\mathbb{R}^2$$n$

Dengan kata lain, mengapa MLE diterima di ?$\mathbb{R}^2$

Sunting 1: Menanggapi kekhawatiran @mpiktas tentang 1,31 mengikuti dari 1,30:

Sunting 2 : Dalam makalah ini , Stein membuktikan bahwa MLE dapat diterima untuk .$N=2$

Dikotomi antara kasus dan untuk penerimaan MLE dari rata-rata variabel acak normal multivariat dimensional pasti mengejutkan.$d < 3$$d \geq 3$$d$

Ada contoh lain yang sangat terkenal dalam probabilitas dan statistik di mana ada dikotomi antara kasus dan . Ini adalah pengulangan dari jalan acak sederhana pada kisi . Yaitu, jalan acak sederhana dimensional berulang dalam 1 atau 2 dimensi, tetapi bersifat sementara dalam dimensi. Analog waktu kontinu (dalam bentuk gerak Brown) juga berlaku.$d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

Ternyata keduanya terkait erat.

Larry Brown membuktikan bahwa kedua pertanyaan itu pada dasarnya setara. Artinya, yang terbaik invarian estimator dari berdimensi multivariat vektor rata-rata normal adalah diterima jika dan hanya jika berdimensi gerak Brown berulang.$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

Bahkan, hasilnya jauh lebih baik. Untuk setiap penaksir yang masuk akal (yaitu, generalisasi Bayes) dengan risiko terikat (digeneralisasi) , ada risiko difusi dimensi (!) Yang eksplisit (!) Yang sesuai sehingga estimator dapat diterima jika dan hanya jika difusinya berulang.$\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

Mean lokal difusi ini pada dasarnya adalah perbedaan antara dua penduga, yaitu, dan kovarians difusi adalah . Dari ini, mudah untuk melihat bahwa untuk kasus MLE , kami memulihkan (mengubah skala) gerakan Brown.$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

Jadi, dalam beberapa hal, kita dapat melihat pertanyaan penerimaan melalui lensa proses stokastik dan menggunakan sifat difusi yang dipelajari dengan baik untuk sampai pada kesimpulan yang diinginkan.

Referensi

1. L. Brown (1971). Estimator yang dapat diterima, difusi berulang, dan masalah nilai batas tidak larut . Ann. Matematika Stat. , vol. 42, tidak. 3, hlm. 855–903.
2. RN Bhattacharya (1978). Kriteria untuk pengulangan dan keberadaan langkah-langkah invarian untuk difusi multidimensi . Ann. Masalah. , vol. 6, tidak. 4, 541–553.

@ cardinal memberikan jawaban yang bagus (+1), tetapi seluruh masalah tetap misterius kecuali ada yang akrab dengan buktinya (dan saya tidak). Jadi saya pikir pertanyaannya tetap tentang apa alasan intuitif bahwa paradoks Stein tidak muncul di dan .$\mathbb R$$\mathbb R^2$

Saya menemukan sangat membantu perspektif regresi yang ditawarkan dalam Stephen Stigler, 1990, A Galtonian Perspective on Shrinkage Estimators . Pertimbangkan pengukuran independen , masing-masing mengukur beberapa yang mendasarinya (tidak teramati) dan disampel dari . Jika kami entah bagaimana mengetahui , kami dapat membuat pasangan:$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

Garis diagonal sesuai dengan nol noise dan estimasi sempurna; pada kenyataannya noise tidak nol dan sehingga titik-titik tersebut dipindahkan dari garis diagonal dalam arah horizontal . Sejalan dengan itu, dapat dilihat sebagai garis regresi on . Kami, bagaimanapun, tahu dan ingin memperkirakan , jadi kami harus mempertimbangkan garis regresi pada - yang akan memiliki kemiringan yang berbeda, bias secara horizontal , seperti yang ditunjukkan pada gambar (garis putus-putus).$\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

Mengutip dari makalah Stigler:

Perspektif Galton tentang paradoks Stein membuatnya hampir transparan. Estimator "biasa" diturunkan dari garis regresi teoretis on . Baris itu akan berguna jika tujuan kita adalah untuk memprediksi dari , tetapi masalah kita adalah kebalikannya, yaitu untuk memprediksi dari menggunakan jumlah kesalahan kuadrat sebagai kriteria. Untuk kriteria tersebut, estimator linier optimal diberikan oleh garis regresi kuadrat terkecil dari pada$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$, dan penduga James-Stein dan Efron-Morris sendiri adalah penduga dari penduga linier optimal. Estimator "biasa" diturunkan dari garis regresi yang salah, estimator James-Stein dan Efron-Morris diturunkan dari perkiraan ke garis regresi yang benar.

Dan sekarang datang sedikit penting (penekanan ditambahkan):

Kita bahkan dapat melihat mengapa diperlukan: jika atau , garis kuadrat terkecil pada harus melewati titik , dan karenanya untuk atau , dua garis regresi ( pada dan pada ) harus disepakati pada setiap .$k\ge 3$$k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

Saya pikir ini membuatnya sangat jelas apa yang spesial tentang dan .$k=1$$k=2$