Saya sedang mempelajari perbedaan antara regularisasi dalam regresi RKHS dan regresi linier, tetapi saya kesulitan memahami perbedaan penting antara keduanya.
di mana, dengan beberapa penyalahgunaan notasi, entri dari matriks kernel adalah . Ini memberi
Atau, kita bisa memperlakukan masalah sebagai regresi ridge normal / masalah regresi linier:
dengan solusi
Apa perbedaan penting antara kedua pendekatan ini dan solusinya?
Jawaban:
Seperti yang mungkin Anda perhatikan ketika menuliskan masalah optimisasi, satu-satunya perbedaan dalam minimisasi adalah norma Hilbert yang digunakan untuk hukuman. Yaitu, untuk menghitung nilai ' ' yang besar untuk tujuan hukuman. Dalam pengaturan RKHS, kami menggunakan produk dalam RKHS, , sedangkan regresi ridge menghukum sehubungan dengan norma Euclidean.α t K αα αtKα
Konsekuensi teoritis yang menarik adalah bagaimana masing-masing metode efek spektrum dari kernel mereproduksi . Dengan teori RKHS, kita memiliki bahwa adalah pasti positif simetris. Dengan teorema spektral, kita dapat menulis mana adalah matriks diagonal dari nilai eigen dan adalah matriks ortonormal vektor eigen. Akibatnya, dalam pengaturan RKHS, Sementara itu, dalam pengaturan regresi Ridge, perhatikan bahwa secara simetri, K K = U t D U D U ( K + λ n I ) - 1 YK K K=UtDU D U
Bergantung pada pilihan kernel, dua perkiraan untuk mungkin dekat atau jauh satu sama lain. Jarak dalam pengertian norma operator akan menjadi Namun, ini masih dibatasi untuk diberikanα Y
Dalam praktiknya, sulit untuk mengatakan secara definitif jika yang satu lebih baik daripada yang lain untuk situasi tertentu. Karena kami meminimalkan sehubungan dengan kesalahan kuadrat ketika mewakili data dalam hal fungsi kernel, kami secara efektif memilih kurva regresi terbaik dari ruang fungsi Hilbert yang sesuai. Oleh karena itu, menghukum sehubungan dengan produk dalam RKHS tampaknya menjadi cara alami untuk melanjutkan.
sumber