Saya tahu bahwa regresi linier dapat dianggap sebagai "garis yang secara vertikal paling dekat dengan semua poin" :
Tetapi ada cara lain untuk melihatnya, dengan memvisualisasikan ruang kolom, sebagai "proyeksi ke ruang yang terbentang oleh kolom dari matriks koefisien" :
Pertanyaan saya adalah: dalam dua interpretasi ini, apa yang terjadi ketika kita menggunakan regresi linier yang dihukum, seperti regresi ridge dan LASSO ? Apa yang terjadi dengan garis dalam interpretasi pertama? Dan apa yang terjadi dengan proyeksi dalam interpretasi kedua?
UPDATE: @JohnSmith dalam komentar memunculkan fakta bahwa penalti terjadi di ruang koefisien. Apakah ada interpretasi di ruang ini juga?
regression
intuition
geometry
Lucas Reis
sumber
sumber
Jawaban:
Maaf atas keterampilan melukis saya, saya akan mencoba memberi Anda intuisi berikut.
Ada minimum fungsi ini, di tengah lingkaran merah. Dan minimum ini memberi kita solusi tanpa sanksi.
Hukuman yang lebih besar, kontur biru "lebih sempit" yang kita dapatkan, dan kemudian plot bertemu satu sama lain di titik yang lebih dekat ke nol. Vise-versa: semakin kecil penalti, kontur membesar, dan perpotongan plot biru dan merah semakin dekat ke pusat lingkaran merah (solusi non-penalti).
Itu sebabnya LASSO memberi kami solusi jarang, membuat beberapa parameter sama persis0
Harapan itu akan menjelaskan beberapa intuisi tentang bagaimana regresi dihukum bekerja di ruang parameter.
sumber
Intuisi yang saya miliki adalah sebagai berikut: Dalam kasus kuadrat-terkecil, matriks topi adalah proyeksi ortogonal sehingga idempoten. Dalam kasus penalti, matriks topi tidak lagi idempoten. Sebenarnya, menerapkannya berkali-kali, akan mengecilkan koefisien ke titik asal. Di sisi lain, koefisien masih harus terletak pada rentang prediktor, sehingga masih merupakan proyeksi, meskipun tidak ortogonal. Besarnya faktor penghukuman dan jenis norma mengontrol jarak dan arah penyusutan ke arah asal.
sumber