Mengapa estimator James-Stein disebut sebagai estimator “penyusutan”?

Saya telah membaca tentang estimator James-Stein. Ini didefinisikan, dalam catatan ini , sebagai

$$\hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X$$

Saya telah membaca buktinya tetapi saya tidak mengerti pernyataan berikut:

Secara geometris, estimator James-Stein menyusut setiap komponen menuju titik asal ...$X$

Apa arti "menyusutkan setiap komponen $X$ ke titik asal"? Saya sedang memikirkan sesuatu seperti

$$\|\hat{\theta} - 0\|^2 < \|X - 0\|^2,$$ yang benar dalam kasus ini selama $(p+2) < \|X\|^2$ , karena $$\|\hat{\theta}\| = \frac{\|X\|^2 - (p+2)}{\|X\|^2} \|X\|.$$

Apakah ini yang orang maksud ketika mereka mengatakan "menyusut ke nol" karena dalam pengertian norma $L^2$ , estimator JS lebih dekat ke nol daripada $X$ ?

Pembaruan pada 22/09/2017 : Hari ini saya menyadari bahwa mungkin saya terlalu rumit. Sepertinya orang benar-benar bermaksud bahwa sekali Anda mengalikan dengan sesuatu yang lebih kecil dari , yaitu, istilah , setiap komponen akan lebih kecil dari biasanya.$X$$1$$\frac{\|X\|^2 - (p + 2)}{\|X\|^2}$$X$

Sebuah gambar terkadang bernilai ribuan kata, jadi izinkan saya berbagi satu dengan Anda. Di bawah ini Anda dapat melihat ilustrasi yang berasal dari kertas kerja Bradley Efron (1977) paradoks Stein dalam statistik . Seperti yang Anda lihat, apa yang dilakukan estimator Stein adalah memindahkan setiap nilai lebih dekat ke rata-rata besar. Itu membuat nilai lebih besar dari rata-rata besar lebih kecil, dan nilai lebih kecil dari rata-rata besar, lebih besar. Penyusutan yang kami maksud adalah memindahkan nilai ke rata-rata , atau menuju nol dalam beberapa kasus - seperti regresi yang diatur - yang menyusutkan parameter ke nol.

Tentu saja, ini bukan hanya tentang penyusutan itu sendiri, tetapi apa yang telah dibuktikan oleh Stein (1956) dan James dan Stein (1961) , adalah bahwa estimator Stein mendominasi estimator kemungkinan maksimum dalam hal total squared error,

$$E_\mu(\| \boldsymbol{\hat\mu}^{JS} - \boldsymbol{\mu} \|^2) < E_\mu(\| \boldsymbol{\hat\mu}^{MLE} - \boldsymbol{\mu} \|^2)$$

di mana , adalah estimator Stein dan , di mana kedua penduga diperkirakan pada sampel . Buktinya diberikan di koran asli dan lampiran dari makalah yang Anda rujuk. Dalam bahasa Inggris biasa, apa yang telah mereka tunjukkan adalah bahwa jika Anda secara bersamaan membuat tebakan, maka dalam hal kesalahan kuadrat total, Anda akan melakukan yang lebih baik dengan mengecilkannya, dibandingkan dengan menempel pada tebakan awal Anda.$\boldsymbol{\mu} = (\mu_1,\mu_2,\dots,\mu_p)'$$\hat\mu^{JS}_i$$\hat\mu^{MLE}_i = x_i$$x_1,x_2,\dots,x_p$$p > 2$

Akhirnya, estimator Stein tentu bukan satu-satunya estimator yang memberikan efek penyusutan. Untuk contoh lain, Anda dapat memeriksa entri blog ini , atau buku analisis data Bayesian yang dirujuk oleh Gelman et al. Anda juga dapat memeriksa utas tentang regresi yang diatur, misalnya Masalah apa yang diselesaikan metode penyusutan? , atau Kapan menggunakan metode regularisasi untuk regresi? , untuk aplikasi praktis lain dari efek ini.