Mengapa Ridge Regression bekerja dengan baik di hadapan multikolinieritas?

13

Saya belajar tentang regresi ridge dan tahu bahwa regresi ridge cenderung bekerja lebih baik dengan adanya multikolinieritas. Saya bertanya-tanya mengapa ini benar? Entah jawaban intuitif atau matematika akan memuaskan (kedua jenis jawaban akan lebih memuaskan).

Juga, saya tahu bahwa selalu dapat diperoleh, tetapi seberapa baik ridge regression bekerja di hadapan collinearity yang tepat (satu variabel independen adalah fungsi linear dari yang lain)?β^

TrynnaDoStat
sumber
5
Mengenai pertanyaan kedua Anda: Jika Anda memiliki colinearity yang tepat, Anda bisa menghapus salah satu variabel. Anda tidak perlu regresi ridge.
Peter Flom - Reinstate Monica

Jawaban:

13

Pertimbangkan kasus sederhana dari 2 variabel prediktor ( , ). Jika tidak ada atau sedikit kolinearitas dan penyebaran yang baik di kedua prediktor, maka kami menyesuaikan pesawat ke data (x 2 yx1x2yadalah dimensi ke-3) dan seringkali ada bidang "terbaik" yang sangat jelas. Tetapi dengan colinearity hubungan tersebut benar-benar garis melalui ruang 3 dimensi dengan data yang tersebar di sekitarnya. Tetapi rutinitas regresi mencoba menyesuaikan sebuah bidang dengan garis, jadi ada sejumlah bidang yang tak terbatas yang bersilangan sempurna dengan garis itu, bidang mana yang dipilih tergantung pada titik-titik yang berpengaruh dalam data, ubah salah satu titik tersebut sedikit saja dan pesawat pas "terbaik" sedikit berubah. Apa yang dilakukan regresi ridge adalah menarik bidang yang dipilih ke arah model yang lebih sederhana / saner (nilai bias menuju 0). Pikirkan karet gelang dari titik asal (0,0,0) ke bidang yang menarik bidang ke arah 0 sementara data akan menariknya untuk kompromi yang bagus.

Greg Snow
sumber
@Trynna, ada gambar yang menggambarkan apa yang dikatakan Greg tentang masalah collinearity.
ttnphns
1
Ini adalah penjelasan geometris yang sangat baik tentang mengapa multikolinieritas merupakan masalah dalam regresi OLS! Tapi saya masih tidak mengerti mengapa menarik pesawat ke tempat asalnya memperbaiki masalah.
TrynnaDoStat
2
@TrynnaDoStat, Perhatian utama adalah variabilitas estimasi, dengan multikolinearitas, perubahan kecil dalam satu titik data dapat dengan liar mengayunkan estimasi koefisien (tanpa bias). Dengan membiasakan ke 0 tidak ada banyak perubahan dalam estimasi koefisien (karena karet gelang menariknya ke 0) dengan perubahan kecil dalam satu titik data tunggal, mengurangi variabilitas.
Greg Snow
Terima kasih @ttnphns untuk tautan ke gambar: tanpanya cukup sulit untuk mendapatkan jawabannya. Sekarang jawaban Greg jelas dan apa yang saya butuhkan untuk memahami baris ini dalam ESLII (2nd ed.): "Koefisien positif yang sangat besar pada satu variabel dapat dibatalkan oleh koefisien negatif yang sama besar pada sepupunya yang berkorelasi. Dengan memaksakan batasan ukuran pada koefisien masalah ini dapat diatasi. "
Tommaso Guerrini