Kesesuaian resmi dari data yang dirangkum: memilih parameter

Sebagai lanjutan dari pertanyaan saya sebelumnya , solusi untuk persamaan normal untuk regresi ridge diberikan oleh:

Bisakah Anda menawarkan panduan untuk memilih parameter regularisasi . Selain itu, karena diagonal tumbuh dengan jumlah pengamatan , haruskah juga menjadi fungsi ?$\lambda$$X^TX$$m$$\lambda$$m$

Jawaban saya akan didasarkan pada ulasan yang bagus tentang masalah oleh regresi Anders Bjorkstorm Ridge dan masalah terbalik (saya akan merekomendasikan untuk membaca seluruh artikel).

Bagian 4 dalam ulasan ini didedikasikan untuk pemilihan parameter dalam regresi ridge memperkenalkan beberapa pendekatan utama:$\lambda$

1. jejak ridge sesuai dengan analisis grafis dari terhadap . Plot tipikal akan menggambarkan tidak stabil (untuk masalah yang tidak diposting dengan benar, Anda harus yakin bahwa Anda memerlukan regularisasi ini dalam kasus apa pun) perilaku berbagai perilaku berbeda untuk dekat dengan nol, dan hampir konstan dari beberapa titik (kira-kira kita harus mendeteksi daerah persimpangan perilaku konstan untuk semua parameter). Namun keputusan mengenai di mana perilaku yang hampir konstan ini dimulai agak subyektif. Berita bagus untuk pendekatan ini adalah tidak perlu mengamati dan .$\hat{\beta}_{i,\lambda}$$\lambda$$\hat{\beta}_{i,\lambda}$$\lambda$$X$$y$
2. $L$ -memastikan plot Euclidean norma dari vektor estimasi parameterterhadap norma residual. Bentuknya biasanya dekat dengan huruf sehingga ada sudut yang menentukan di mana parameter optimal milik (seseorang dapat memilih titik dalam kurva di mana yang terakhir mencapai kelengkungan maksimum , tetapi lebih baik untuk mencari artikel Hansen untuk lebih detail).$|\hat{{\beta}}_\lambda|$$|y - X\hat{\beta}_\lambda|$$L$$L$
3. Untuk validasi silang sebenarnya pendekatan "cuti-keluar-keluar" yang sederhana sering dipilih, mencari yang memaksimalkan (atau meminimalkan) beberapa kriteria ketepatan peramalan (Anda memiliki beragamnya, RMSE dan MAPE adalah keduanya untuk memulai). dengan). Kesulitan dengan 2. dan 3. adalah bahwa Anda harus mengamati dan untuk menerapkannya dalam praktik.$\lambda$$X$$y$