Pandangan terpadu tentang penyusutan: apa hubungan (jika ada) antara paradoks Stein, regresi ridge, dan efek acak dalam model campuran?

Perhatikan tiga fenomena berikut.

1. Paradoks Stein: diberikan beberapa data dari distribusi normal multivariat dalam $\mathbb R^n, \: n\ge 3$ , rata-rata sampel bukan penaksir yang sangat baik dari rata-rata sebenarnya. Seseorang dapat memperoleh estimasi dengan kesalahan kuadrat rata-rata yang lebih rendah jika seseorang mengecilkan semua koordinat sampel rata-rata menuju nol [atau menuju rata-rata mereka, atau benar-benar menuju nilai apa pun, jika saya mengerti dengan benar].

   NB: biasanya paradoks Stein dirumuskan dengan mempertimbangkan hanya satu titik data tunggal dari $\mathbb R^n$ ; tolong perbaiki saya jika ini penting dan formulasi saya di atas tidak benar.

2. Regresi Ridge: diberikan beberapa variabel dependen $\mathbf y$ dan beberapa variabel independen $\mathbf X$ , regresi standar $\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y$ cenderung sesuai dengan data dan mengarah pada kinerja out-of-sampel yang buruk. Seseorang sering dapat mengurangi overfitting dengan mengecilkan $\beta$ ke nol: $\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y$ .

3. Efek acak dalam model bertingkat / campuran: diberi beberapa variabel dependen $y$ (misalnya tinggi siswa) yang tergantung pada beberapa prediktor kategori (misalnya id sekolah dan jenis kelamin siswa), orang sering disarankan untuk memperlakukan beberapa prediktor sebagai 'acak', yaitu menganggap bahwa tinggi rata-rata siswa di setiap sekolah berasal dari beberapa distribusi normal yang mendasarinya. Ini menghasilkan menyusut estimasi tinggi rata-rata per sekolah terhadap rata-rata global.

Saya merasa bahwa semua ini adalah berbagai aspek dari fenomena "penyusutan" yang sama, tetapi saya tidak yakin dan tentu saja tidak memiliki intuisi yang baik tentang hal itu. Jadi pertanyaan utama saya adalah: apakah memang ada kesamaan yang mendalam antara ketiga hal ini, atau apakah itu hanya kemiripan yang dangkal? Apa tema umum di sini? Apa intuisi yang benar tentang itu?

Selain itu, berikut adalah beberapa potongan puzzle yang tidak cocok untuk saya:

• Dalam regresi ridge, $\beta$ tidak menyusut secara seragam; penyusutan ridge sebenarnya terkait dengan dekomposisi nilai singular $\mathbf X$ , dengan arah varians rendah semakin menyusut (lihat misalnya Elemen Pembelajaran Statistik 3.4.1). Tetapi estimator James-Stein hanya mengambil mean sampel dan mengalikannya dengan satu faktor penskalaan. Bagaimana itu cocok?

  Pembaruan: lihat Penaksir James-Stein dengan varians yang tidak sama dan misalnya di sini mengenai varian koefisien $\beta$ .

• Sampel rata-rata optimal dalam dimensi di bawah 3. Apakah itu berarti bahwa ketika hanya ada satu atau dua prediktor dalam model regresi, regresi ridge akan selalu lebih buruk daripada kuadrat terkecil biasa? Sebenarnya, kalau dipikir-pikir, saya tidak bisa membayangkan situasi di 1D (yaitu sederhana, regresi non-multiple) di mana penyusutan ridge akan bermanfaat ...

  Pembaruan: Tidak. Lihat Di bawah kondisi apa regresi ridge dapat memberikan peningkatan dibandingkan regresi kuadrat terkecil biasa?

• Di sisi lain, mean sampel selalu suboptimal dalam dimensi di atas 3. Apakah itu berarti bahwa dengan lebih dari 3 prediktor, regresi ridge selalu lebih baik daripada OLS, bahkan jika semua prediktor tidak berkorelasi (ortogonal)? Biasanya regresi ridge dimotivasi oleh multikolinieritas dan kebutuhan untuk "menstabilkan" istilah.$(\mathbf X^\top \mathbf X)^{-1}$

  Perbarui: Ya! Lihat utas yang sama seperti di atas.

• Sering ada beberapa diskusi panas tentang apakah berbagai faktor dalam ANOVA harus dimasukkan sebagai efek tetap atau acak. Bukankah kita, dengan logika yang sama, selalu memperlakukan faktor sebagai acak jika memiliki lebih dari dua level (atau jika ada lebih dari dua faktor? Sekarang saya bingung)?

  Memperbarui: ?

---

Pembaruan: Saya mendapat beberapa jawaban yang bagus, tetapi tidak ada yang memberikan gambaran besar, jadi saya akan membiarkan pertanyaan "terbuka". Saya bisa berjanji untuk memberikan hadiah setidaknya 100 poin untuk jawaban baru yang akan melampaui yang sudah ada. Saya kebanyakan mencari pandangan pemersatu yang bisa menjelaskan bagaimana fenomena umum susut memanifestasikan dirinya dalam berbagai konteks ini dan menunjukkan perbedaan utama di antara mereka.

Koneksi antara estimator James-Stein dan regresi ridge

Mari menjadi vektor dari pengamatan panjang , , estimator James-Stein adalah, Dalam hal regresi ridge, kita dapat memperkirakan melalui mana solusinya adalah Mudah untuk melihat bahwa kedua estimator itu dalam bentuk yang sama, tetapi kita perlu memperkirakannya$\mathbf y$$\boldsymbol \theta$$m$${\mathbf y} \sim N({\boldsymbol \theta}, \sigma^2 I)$

$$\widehat{\boldsymbol \theta}_{JS} = \left( 1 - \frac{(m-2) \sigma^2}{\|{\mathbf y}\|^2} \right) {\mathbf y}.$$ $\boldsymbol \theta$$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 ,$ $$\widehat{\boldsymbol \theta}_{\mathrm{ridge}} = \frac{1}{1+\lambda}\mathbf y.$$ $\sigma^2$ dalam estimator James-Stein, dan tentukan dalam regresi ridge melalui cross-validation.$\lambda$

Koneksi antara penaksir James-Stein dan model efek acak

Mari kita bahas model efek campuran / acak dalam genetika terlebih dahulu. Modelnya adalah Jika tidak ada efek tetap dan , model menjadi yang setara dengan pengaturan estimator James-Stein, dengan beberapa Ide Bayesian.

$$\mathbf {y}=\mathbf {X}\boldsymbol{\beta} + \boldsymbol{Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $\mathbf {Z}=I$ $$\mathbf {y}=\boldsymbol{\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I),$$

Koneksi antara model efek acak dan regresi ridge

Jika kita fokus pada model efek acak di atas, Estimasi ini setara untuk menyelesaikan masalah ketika . Buktinya dapat ditemukan di Bab 3 Pengenalan Pola dan pembelajaran mesin .

$$\mathbf {y}=\mathbf {Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\mathbf {Z\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2$$ $\lambda=\sigma^2/\sigma_{\theta}^2$

Koneksi antara model efek acak (multilevel) dan genetika

Dalam model efek acak di atas, dimensi adalah dan adalah . Jika kita membuat vektor sebagai dan mengulangi bersamaan, maka kita memiliki struktur hierarkis / berkerumun, cluster dan masing-masing dengan unit . Jika kita mundur diulangi , maka kita dapat memperoleh efek acak pada untuk masing-masing cluster, meskipun itu seperti regresi terbalik.$\mathbf y$$m\times 1,$$\mathbf Z$$m \times p$$\mathbf Z$$(mp)\times 1,$$\mathbf y$$p$$m$$\mathrm{vec}(\mathbf Z)$$\mathbf y$$Z$$y$

Pengakuan : tiga poin pertama sebagian besar dipelajari dari dua artikel berbahasa Mandarin ini, 1 , 2 .

Saya akan meninggalkannya sebagai latihan bagi masyarakat untuk menyempurnakan jawaban ini, tetapi secara umum alasan mengapa estimator penyusutan akan * mendominasi * estimator yang tidak bias dalam sampel terbatas adalah karena Bayes estimator tidak dapat didominasi , dan banyak penaksir penyusutan dapat diturunkan sebagai Bayes. $^1$$^2$$^3$$^4$

Semua ini berada di bawah naungan Teori Keputusan. Referensi lengkap, tetapi agak tidak ramah adalah "Teori estimasi titik" oleh Lehmann dan Casella. Mungkin orang lain bisa berpadu dengan referensi yang lebih ramah?

---

$^1$ Sebuah estimator dari parameter data yang didominasi oleh yang lain estimator jika untuk setiap Risiko (misalnya, rata-rata Square Error) dari sama atau lebih besar dari , dan mengalahkan untuk setidaknya satu . Dengan kata lain, Anda mendapatkan kinerja yang sama atau lebih baik untuk di mana saja di ruang parameter.$\delta_1(X)$$\theta \in \Omega$$X$$\delta_2(X)$$\theta \in \Omega$$\delta_1$$\delta_2$$\delta_2$$\delta_1$$\theta$$\delta_2$

$^2$ Estimator adalah Bayes (di bawah kuadrat-kesalahan kerugian) jika itu adalah harapan posterior dari , mengingat data, di bawah beberapa sebelumnya , misalnya, , di mana harapan diambil dengan posterior. Secara alami, berbagai prior menyebabkan risiko yang berbeda untuk himpunan bagian . Contoh mainan penting adalah prior yang menempatkan semua sebelumnya massa tentang titik . Kemudian Anda dapat menunjukkan bahwa estimator Bayes adalah fungsi konstan$\theta$$\pi$$\delta(X) = E(\theta | X)$$\Omega$

$$\pi_{\theta_0} = \begin{cases} 1 & \mbox{if } \theta = \theta_0 \\ 0 & \theta \neq \theta_0 \end{cases}$$ $\theta_0$$\delta(X) = \theta_0$, yang tentu saja memiliki kinerja yang sangat bagus di dan dekat , dan kinerja yang sangat buruk di tempat lain. Namun demikian, itu tidak dapat didominasi, karena hanya estimator yang mengarah ke risiko nol pada .$\theta_0$$\theta_0$

$^3$ Pertanyaan alami adalah apakah ada penduga yang tidak dapat dikuasai (disebut dapat diterima , meskipun bukankah lebih gigih?) Perlu Bayes? Jawabannya hampir. Lihat "teorema kelas lengkap."

$^4$ Misalnya, regresi ridge muncul sebagai prosedur Bayesian ketika Anda menempatkan Normal (0, ) sebelum , dan model efek acak muncul sebagai prosedur Bayesian empiris dalam kerangka kerja yang sama . Argumen-argumen ini diperumit oleh fakta bahwa versi vanilla dari teorema penerimaan Bayesian mengasumsikan bahwa setiap parameter memiliki hak sebelumnya yang ditempatkan di atasnya. Bahkan dalam regresi ridge, itu tidak benar, karena "prior" ditempatkan pada variance$1/\lambda^2$$\beta$$\sigma^2$istilah kesalahan adalah fungsi konstan (ukuran Lebesgue), yang bukan distribusi probabilitas (integrable) yang tepat. Namun demikian, banyak penaksir Bayes yang "sebagian" seperti itu dapat dibuktikan dapat diterima dengan menunjukkan bahwa mereka adalah "batas" dari urutan penaksir yang merupakan Bayes yang tepat. Tapi bukti di sini agak berbelit-belit dan rumit. Lihat "penaksir bayes umum".

• James-Stein mengasumsikan bahwa dimensi respons setidaknya 3. Dalam regresi ridge standar responsnya adalah satu dimensi. Anda mengacaukan jumlah prediktor dengan dimensi respons.

• Yang sedang berkata, saya melihat kesamaan di antara situasi-situasi itu, tetapi apa yang harus dilakukan, misalnya apakah suatu faktor harus diperbaiki atau acak, berapa banyak penyusutan untuk diterapkan, jika sama sekali, tergantung pada dataset tertentu. Misalnya, semakin ortogonal prediktornya, semakin tidak masuk akal untuk memilih regresi Ridge daripada regresi standar. Semakin besar jumlah parameter, semakin masuk akal untuk mengekstrak sebelumnya dari dataset itu sendiri melalui Empirical Bayes dan kemudian menggunakannya untuk mengecilkan estimasi parameter. Semakin tinggi rasio signal-to-noise, semakin kecil manfaat penyusutan, dll.

Seperti yang dikatakan orang lain, hubungan antara ketiganya adalah bagaimana Anda memasukkan informasi sebelumnya ke dalam pengukuran.

1. Dalam kasus paradoks Stein, Anda tahu bahwa korelasi sebenarnya antara variabel input harus nol (dan semua ukuran korelasi yang mungkin, karena Anda ingin menyiratkan independensi, bukan hanya ketidakkaitan), maka Anda dapat membangun variabel lebih baik daripada yang sederhana sampel berarti dan menekan berbagai ukuran korelasi. Dalam kerangka Bayesian, Anda dapat membuat sebelum yang benar-benar membebani peristiwa yang mengarah ke korelasi antara rata-rata sampel dan naik menimbang yang lain.
2. Dalam kasus regresi ridge Anda ingin menemukan estimasi yang bagus untuk nilai ekspektasi bersyarat E (y | x). Pada prinsipnya ini adalah masalah dimensi tak terbatas dan tidak jelas karena kita hanya memiliki jumlah pengukuran terbatas. Namun, pengetahuan sebelumnya adalah bahwa kami mencari fungsi berkelanjutan yang memodelkan data. Ini masih tidak jelas, karena masih banyak cara untuk memodelkan fungsi berkelanjutan, tetapi himpunannya agak lebih kecil. Regresi punggungan hanyalah salah satu cara sederhana untuk mengurutkan fungsi kontinu yang mungkin, mengujinya dan berhenti pada tingkat kebebasan akhir. Sebuah interpretasi adalah gambar dimensi VC: selama regresi ridge, Anda memeriksa bahwa seberapa baik model af (x, p1, p2 ...) dengan derajat kebebasan tertentu menggambarkan ketidakpastian yang melekat dalam data. Secara praktis, ini mengukur seberapa baik f ​​(x, p1, p2 ... ) dan P empiris (p1, p2 ...) dapat merekonstruksi penuh P (y | x) distribusi dan bukan hanya E (y | x). Dengan cara ini, model-model dengan tingkat kebebasan yang terlalu banyak (yang biasanya tidak sesuai) ditimbang, karena lebih banyak parameter berarti setelah derajat kebebasan tertentu akan memberikan korelasi yang lebih besar antara parameter dan akibatnya P yang lebih luas (f (x, p1, p2. ..)) distribusi. Interpretasi lain adalah bahwa fungsi kerugian asli adalah nilai ukuran juga, dan itu evaluasi pada sampel yang diberikan datang dengan ketidakpastian, sehingga tugas sebenarnya bukan meminimalkan fungsi kerugian tetapi untuk menemukan minimum yang secara signifikan lebih rendah daripada yang lain (praktis berubah dari satu derajat kebebasan ke yang lain adalah keputusan Bayesian, jadi seseorang mengubah jumlah parameter hanya jika mereka memberikan penurunan yang signifikan dalam fungsi kerugian). Regresi ridge dapat diartikan sebagai perkiraan untuk dua gambar ini (dimensi-CV, kerugian yang diharapkan). Dalam beberapa kasus Anda ingin lebih memilih derajat kebebasan yang lebih tinggi, misalnya dalam fisika partikel Anda mempelajari tumbukan partikel di mana Anda mengharapkan jumlah partikel yang dihasilkan menjadi distribusi Poisson, sehingga Anda merekonstruksi trek partikel dari pada gambar (foto misalnya ) dengan cara yang lebih suka jumlah trek yang diberikan dan menekan model yang memiliki interpretasi nomor trek yang lebih kecil atau lebih tinggi dari gambar.
3. Kasus ketiga juga mencoba menerapkan informasi sebelumnya ke dalam pengukuran, yaitu diketahui dari pengukuran sebelumnya bahwa tinggi siswa dapat dimodelkan dengan sangat baik oleh distribusi Gaussian dan bukan oleh Cauchy, misalnya.

Jadi singkatnya, jawabannya adalah Anda dapat mengecilkan ketidakpastian pengukuran jika Anda tahu apa yang diharapkan dan mengelompokkan data dengan beberapa data sebelumnya (informasi sebelumnya). Data sebelumnya inilah yang membatasi fungsi pemodelan Anda yang Anda gunakan agar sesuai dengan pengukuran. Dalam kasus-kasus sederhana, Anda dapat menuliskan model Anda dalam kerangka Bayesian, tetapi kadang-kadang tidak praktis, seperti dalam mengintegrasikan semua fungsi berkesinambungan yang mungkin untuk menemukan satu yang memiliki nilai Posterior Bayesian Maximal A Posterior.

Estimator James Stein dan regresi Ridge

Mempertimbangkan

$\mathbf y=\mathbf{X}\beta+\mathbf{\epsilon}$

Dengan $\mathbf{\epsilon}\sim N(0,\sigma^2I)$

Solusi kuadrat terkecil adalah dari bentuk

$\hat \beta= \mathbf S^{-1}\mathbf{X}'\mathbf{y}$ di mana .$\mathbf S= \mathbf X'\mathbf X$

$\hat \beta$ tidak bias untuk dan memiliki matriks kovrians . Karena itu kita bisa menulis$\beta$$\sigma^2 \mathbf S^{-1}$

$\hat \beta \sim N(\beta, \sigma^2\mathbf S^{-1})$ Perhatikan bahwa adalah perkiraan kemungkinan maksimum, MLE.$\hat \beta$

James Stein

Untuk kesederhanaan untuk Jame Stein kami akan menganggap . James dan Stein kemudian akan menambahkan prior pada , dari formulir$\mathbf S=\mathbf I$$\beta$

$\beta \sim N(0,a\mathbf I)$

Dan akan mendapatkan posterior dari formulir , mereka kemudian akan memperkirakan dengan dan mendapatkan penduga bentuk James Stein$\frac{a}{a+\sigma^2}\hat \beta=(1-\frac{\sigma^2}{a+\sigma^2})\hat \beta$$\frac{1}{a+\sigma^2}$$\frac{p-2}{\|\hat \beta\|^2}$

$\hat \beta=(1-\frac{p-2}{\|\hat \beta\|^2})\hat \beta$ .

Regresi Punggung

Dalam regresi ridge biasanya standar (rata-rata 0, vairance 1 untuk setiap kolom ) sehingga parameter regresi dapat dibandingkan. Ketika ini adalah untuk .$\mathbf X$$\mathbf X$$\beta=(\beta_1,\beta_2,\ldots, \beta_p)$$S_{ii}=1$$i=1,2,\ldots,p$

Perkiraan regresi ridge dari didefinisikan sebagai, , menjadi$\beta$$\lambda\geq0$

$\hat \beta (\lambda) =(\mathbf S+\lambda I)^{-1}\mathbf X'\mathbf y=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$ perhatikan bahwa adalah MLE.$\hat \beta$

Bagaimana diturunkan ?? Penarikan$\hat \beta (\lambda)$

$\hat \beta \sim N(\hat \beta, \sigma^2\mathbf S^{-1})$ dan jika kita menambahkan Bayesian sebelumnya

$\beta\sim N(0,\frac{\sigma^2}{\lambda}\mathbf I)$

Lalu kita dapatkan

$\text{E}\left(\beta|\hat \beta\right)=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$

Sama seperti estimasi regresi ridge . Jadi bentuk asli dari James Stein yang diberikan di sini mengambil dan .$\hat \beta (\lambda)$$\mathbf S=\mathbf I$$a=\frac{\sigma^2}{\lambda}$