Saya mencari literatur tentang regresi ridge negatif .
Singkatnya, ini adalah generalisasi dari regresi ridge linier menggunakan negatif dalam rumus estimator:Kasus positif memiliki teori yang bagus: sebagai fungsi kerugian, sebagai kendala, seperti Bayes sebelumnya ... tapi saya merasa bingung dengan versi negatif dengan hanya rumus di atas. Kebetulan berguna untuk apa yang saya lakukan tetapi saya gagal menafsirkannya dengan jelas.
Apakah Anda tahu teks pengantar serius tentang ridge negatif? Bagaimana itu bisa ditafsirkan?
regression
regularization
ridge-regression
Benoit Sanchez
sumber
sumber
Jawaban:
Berikut ini adalah ilustrasi geometris dari apa yang terjadi dengan punggungan negatif.
Saya akan mempertimbangkan penduga bentuk yang timbul dari fungsi kehilanganBerikut adalah ilustrasi yang agak standar tentang apa yang terjadi dalam kasus dua dimensi dengan . Nol lambda sesuai dengan solusi OLS, lambda tak terbatas menyusutkan estimasi beta menjadi nol:
Sekarang perhatikan apa yang terjadi ketika , di mana adalah nilai singular terbesar . Untuk negatif yang sangat besar, tentu saja mendekati nol. Ketika lambda mendekati , istilah mendapatkan satu nilai singular mendekati nol, yang berarti bahwa invers memiliki satu nilai singular yang menuju minus tak terhingga. Nilai singular ini sesuai dengan komponen utama pertama , jadi dalam batas itu seseorang mendapat menunjuk ke arah PC1 tetapi dengan nilai absolut tumbuh hingga tak terbatas.λ∈(−∞,−s2max) smax X β^λ −s2max (X⊤X+λI) X β^λ
Apa yang benar-benar baik, adalah seseorang dapat menggambarnya pada angka yang sama dengan cara yang sama: beta diberikan oleh titik-titik di mana lingkaran menyentuh elips dari dalam :
Ketika , logika yang sama berlaku, memungkinkan untuk melanjutkan jalur punggungan di sisi lain penaksir OLS. Sekarang lingkaran menyentuh elips dari luar. batasnya, betas mendekati arah PC2 (tetapi itu terjadi jauh di luar sketsa ini):λ∈(−s2min,0]
The berbagai adalah sesuatu yang celah energi : penduga ada tidak hidup pada kurva yang sama.(−s2max,−s2min)
UPDATE: Dalam komentar @MartinL menjelaskan bahwa untuk kerugian tidak memiliki minimum tetapi memiliki maksimum. Dan maksimum ini diberikan oleh . Inilah sebabnya mengapa konstruksi geometris yang sama dengan sentuhan lingkaran / elips terus bekerja: kami masih mencari titik gradien nol. Ketika , kerugian memang memiliki minimum dan itu diberikan oleh , persis seperti di normal kasing.λ<−s2max Lλ β^λ −s2min<λ≤0 Lλ β^λ λ>0
Tetapi ketika , kerugian tidak memiliki maksimum atau minimum; akan sesuai dengan titik pelana. Ini menjelaskan "celah energi".−s2max<λ<−s2min Lλ β^λ
The secara alami muncul dari punggung bukit regresi dibatasi tertentu, lihat Batas "Unit-varians" estimator regresi ridge ketika . Ini terkait dengan apa yang dikenal dalam literatur chemometrics sebagai "regresi kontinum", lihat jawaban saya di utas terkait.λ∈(−∞,−s2max) λ→∞
The dapat diobati dengan cara yang persis sama seperti : fungsi kerugian tetap sama dan punggung estimator menyediakan minimum.λ∈(−s2min,0] λ>0
sumber