Jika susut diterapkan dengan cara yang cerdas, apakah itu selalu bekerja lebih baik untuk penduga yang lebih efisien?

Misalkan saya memiliki dua estimator dan yang merupakan estimator konsisten dari parameter yang sama dan sedemikian rupa sehingga dengan dalam arti psd. Dengan demikian, asymptotically lebih efisien daripada . Kedua penaksir ini didasarkan pada fungsi kerugian yang berbeda. $\widehat{\beta}_1$ $\widehat{\beta}_2$ $\beta_0$

\sqrt{n} ({\hat{β}}_{1} - β_{0}) \overset{d}{\to} N (0, V_{1}), \sqrt{n} ({\hat{β}}_{2} - β_{0}) \overset{d}{\to} N (0, V_{2})

$\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)$

V_{1} \leq V_{2}

$V_1 \leq V_2$

{\hat{β}}_{1}

$\widehat{\beta}_1$

{\hat{β}}_{2}

$\widehat{\beta}_2$

Sekarang saya ingin mencari beberapa teknik penyusutan untuk meningkatkan properti sampel terbatas dari estimator saya.

Misalkan saya menemukan teknik penyusutan yang meningkatkan estimator dalam sampel hingga dan memberi saya nilai MSE sama dengan . Apakah ini menyiratkan bahwa saya dapat menemukan teknik penyusutan yang cocok untuk diterapkan pada yang akan memberi saya MSE tidak lebih besar dari ? $\widehat{\beta}_2$ $\widehat{\gamma}_2$ $\widehat{\beta}_1$ $\widehat{\gamma}_2$

Dengan kata lain, jika susut diterapkan secara cerdik, apakah ia selalu bekerja lebih baik untuk penduga yang lebih efisien?

regression ridge-regression shrinkage penalized Alik
sumber

Jawaban:

Izinkan saya menyarankan contoh tandingan yang sedikit membosankan. Mengatakan bahwa tidak hanya asimtotik lebih efisien daripada , tetapi juga mencapai yang Cramer Rao Bawah Bound. Sebuah teknik penyusutan pintar untuk akan dengan . The asymptotic variance dari $\hat{\beta}_1$ $\hat{\beta}_2$ $\hat{\beta}_2$

{\hat{β}}_{2}^{*} = w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}

$\hat{\beta}_2^\ast = w \hat{\beta}_2 + (1 - w) \hat{\beta}_1$

w \in (0, 1)

$w\in(0,1)$

{\hat{β}}_{2}^{*}

$\hat{\beta}_2^\ast$ adalah

mana persamaan terakhir menggunakan Lemma in

V^{*} = A v a r (w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}) = A v a r (w ({\hat{β}}_{2} - {\hat{β}}_{1}) + {\hat{β}}_{1}) = V_{1} + w^{2} (V_{2} - V_{1})

$V^\ast = \mathbb{Avar}(w \hat{\beta}_2 + (1 - w) \hat{\beta}_1) = \mathbb{Avar}(w (\hat{\beta}_2 - \hat{\beta}_1) + \hat{\beta}_1 ) = V_1 + w^2 (V_2 - V_1)$ Kertas Hausman . Kami memiliki

sehingga ada peningkatan risiko asimptotik (tidak ada istilah bias). Jadi kami menemukan teknik penyusutan yang memberikan beberapa asimtotik (dan sampel oleh karena itu mudah-mudahan terbatas) perbaikan atas

. Namun, tidak ada penyusutan estimator yang sama

yang mengikuti dari prosedur ini.

V_{2} - V^{*} = V_{2} (1 - w^{2}) - V_{1} (1 - w^{2}) \geq 0

$V_2 - V^\ast = V_2(1-w^2) - V_1(1-w^2) \geq 0$

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}^{*}

$\hat{\beta}_1^\ast$

Intinya di sini tentu saja adalah bahwa penyusutan dilakukan terhadap estimator yang efisien dan oleh karena itu tidak berlaku untuk estimator yang efisien itu sendiri. Ini kelihatannya cukup jelas pada level tinggi tetapi saya akan menebak bahwa dalam contoh spesifik ini tidak begitu jelas ( penaksir MLE dan Method of Moments untuk distribusi yang seragam dapat menjadi contoh?).

Matthias Schmidtblaicher
sumber

Terima kasih atas contoh yang menarik! (1) Namun, itu tidak jelas bagi saya bahwa ini harus dianggap sebagai contoh counter: itu baik asimtotik dan tidak menunjukkan bahwa

tidak dapat ditingkatkan untuk memiliki risiko yang sama atau lebih rendah. (Bahkan, Anda

secara otomatis telah, di terbaik, risiko yang sama seperti

.) Dalam rangka memberikan counterexample, risiko estimator dimodifikasi

akan harus kurang dari risiko

, dan itu tidak jelas bahwa ini adalah mungkin dengan skema ini.

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

user795305

Terima kasih dan poin diambil. Mari saya namun menunjukkan bahwa tempat di pertanyaan itu itu ditentukan bahwa MSE dari modifikasi

akan harus lebih rendah dari

. Jadi

adalah teknik penyusutan berlaku dalam konteks ini. Tetapi saya setuju bahwa ini hanya sebagian jawaban dan saya berharap untuk melihat apa yang orang lain katakan tentang pertanyaan ini.

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{2}^{⋆}

$\hat{\beta}^\star_2$

Matthias Schmidtblaicher

Dalam paragraf yang dimulai "Misalkan saya telah menemukan ...", OP tampaknya menentukan itu. Apakah saya salah paham? Dalam apa yang berikut, biarkan bintang melambangkan estimator dimodifikasi sehingga

untuk beberapa (mungkin susut) fungsi

. Misalkan kita menemukan

sehingga

{\hat{β}}_{j}^{*} = f_{j} ({\hat{β}}_{j})

$\hat\beta_j^* = f_j(\hat\beta_j)$

f_{j}

$f_j$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

r i s k ({\hat{β}}_{2}) \geq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_2) \ge risk(\hat\beta_2^*)$ . Dalam ayat direferensikan, OP bertanya apakah kita dapat menemukan beberapa

sehingga

f_{1}

$f_1$

r i s k ({\hat{β}}_{1}^{*}) \leq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_1^*) \le risk(\hat\beta_2^*)$

user795305

Saya melihat. Jika ini pertanyaannya,

hanyalah identitas dan jawabannya afirmatif dalam contoh. Saya membaca pertanyaan seperti "Jika kita dapat menemukan fungsi

sehingga

, apakah terdapat sebuah

sehingga

f_{1}

$f_1$

f (β, x)

$f(\beta, x)$

r i s k (f ({\hat{β}}_{2}, x)) < r i s k ({\hat{β}}_{2})

$risk(f(\hat{\beta}_2,x)) < risk(\hat{\beta}_2)$

g (β, x)

$g(\beta, x)$

r i s k (g ({\hat{β}}_{1}, x)) < r i s k ({\hat{β}}_{1})

$risk(g(\hat{\beta}_1,x)) < risk(\hat{\beta}_1)$

Matthias Schmidtblaicher

terima kasih telah berbagi kredit ini, meskipun saya tidak benar-benar menjawab pertanyaan Anda ...

Matthias Schmidtblaicher

-2

Ini adalah pertanyaan yang menarik di mana saya ingin menunjukkan beberapa highlight terlebih dahulu.

Dua estimator konsisten
lebih efisien daripadakarena mencapai kurang variasi $\hat{\beta}_1$ $\hat\beta_2$
Fungsi kerugian tidak sama
satu metode susut diterapkan untuk satu sehingga mengurangi variasi yang dengan sendirinya menghasilkan estimator yang lebih baik
Pertanyaan : Dengan kata lain, jika susut diterapkan secara cerdik, apakah ia selalu bekerja lebih baik untuk penduga yang lebih efisien?

Pada dasarnya, adalah mungkin untuk meningkatkan penduga dalam kerangka kerja tertentu, seperti kelas penduga yang tidak bias. Namun, seperti yang ditunjukkan oleh Anda, fungsi kerugian yang berbeda membuat situasi menjadi sulit karena satu fungsi kerugian dapat meminimalkan kerugian kuadratik dan yang lainnya meminimalkan entropi. Selain itu, menggunakan kata "selalu" sangat sulit karena jika satu penaksir adalah yang terbaik di kelas, Anda tidak dapat mengklaim penaksir yang lebih baik, secara logis.

Sebagai contoh sederhana (dalam rangka yang sama), biarkan dua penduga, yaitu (regresi dihukum dengan Bridge penalti norma) dan Lasso (norma pertama dihukum kemungkinan) dan satu set jarang parameter yaitu , model linear , normalitas istilah kesalahan, , dikenal , fungsi kehilangan kuadratik (kesalahan kuadrat terkecil), dan independensi kovariat dalam . Mari pilih untuk $l_p$ $\beta$ $y=x\beta+e$ $e\sim N(0,\sigma^2<\infty)$ $\sigma$ $x$ $l_p$ $p=3$ untuk estimator pertama dan untuk estimator kedua. Kemudian Anda dapat meningkatkan estimator dengan memilih yang menghasilkan estimator yang lebih baik dengan varian yang lebih rendah. Maka dalam contoh ini ada kemungkinan meningkatkan penduga. $p=2$ $p\rightarrow 1$

Jadi jawaban saya untuk pertanyaan Anda adalah ya, mengingat Anda mengasumsikan keluarga estimator yang sama dan fungsi kerugian yang sama serta asumsi.

TPArrow
sumber

p \to 1

$p \to 1$

p = 3

$p=3$

p = 2

$p=2$

ℓ_{p}

$\ell_p$

l_{p}

$l_p$

l_{1}

$l_1$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

ℓ_{p}

$\ell_p$

{\hat{α}}_{j}^{p} = \arg min_{α} ‖ α - {\hat{β}}_{j} ‖_{2}^{2} + λ ‖ α ‖_{p}

$\hat\alpha^p_j = \arg\min_\alpha \|\alpha-\hat\beta_j\|_2^2 + \lambda \|\alpha\|_p$

j \in {1, 2}

$j \in \{1,2\}$

p = 2, 3

$p=2,3$

user795305

terima kasih @ Ben, saya merasa kita tidak memiliki konsensus dalam definisi penyusutan. Anda menganggapnya sebagai proses pasca tapi saya sebagai pemrosesan inline. Saya pikir kita berdua benar karena pertanyaannya adalah tidak mempertimbangkan jenis penyusutan. PS: Saya kira maksud Saudara susut itu seperti hard-thresholding.

TPArrow

Penyusutan dapat dilakukan secara inline dan sebagai pasca-pemrosesan. Contoh yang Anda sebutkan dalam respons Anda adalah tentang "penyusutan sebaris", sedangkan pertanyaannya tentang "susut pemrosesan pasca". Perhatikan bahwa pertanyaan memberikan dua estimator dan , lalu meminta teknik penyusutan untuk diterapkan ke atau . Saya pikir mungkin bermanfaat untuk membaca kembali pertanyaan ini.

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

user795305