Menerapkan "trik kernel" ke metode linear?

20

The Trik kernel yang digunakan dalam beberapa model pembelajaran mesin (misalnya SVM ). Ini pertama kali diperkenalkan dalam makalah "Fondasi teoretis dari metode fungsi potensial dalam pembelajaran pengenalan pola" pada tahun 1964.

Definisi wikipedia mengatakan itu

metode untuk menggunakan algoritma classifier linier untuk memecahkan masalah non-linear dengan memetakan pengamatan non-linear asli ke dalam ruang dimensi yang lebih tinggi, di mana classifier linier selanjutnya digunakan; ini membuat klasifikasi linier di ruang baru setara dengan klasifikasi non-linear di ruang asli.

Salah satu contoh model linier yang telah diperluas ke masalah non-linear adalah PCA kernel . Dapatkah trik kernel diterapkan pada model linier apa pun, atau apakah ada batasan tertentu?

Shane
sumber
1
BTW, kernel tidak terlalu penting untuk SVM. "Jantung" SVM adalah prinsip maksimalisasi margin lunak. Pergi ke representasi kernel membuat dimensi masalah Anda O (m ^ 2) alih-alih O (d) di mana m adalah jumlah contoh dan d adalah dimensi ruang fitur Anda, jadi jika m ^ 2 lebih dari d, Anda mungkin lebih baik menyingkirkan kernel jmlr.csail.mit.edu/papers/v6/keerthi05a.html
Yaroslav Bulatov
@Yaroslav: Terima kasih untuk referensi. Apakah Anda mengetahui adanya implementasi "Modifikasi Metode Newton Hingga"?
Shane
tidak, tetapi halaman Keerthi dan Langford memiliki tautan ke beberapa perangkat lunak yang mungkin terkait, karena keduanya bekerja di Yahoo Research
Yaroslav Bulatov

Jawaban:

17

Trik kernel hanya dapat diterapkan pada model linier di mana contoh dalam perumusan masalah muncul sebagai produk titik (Dukungan Mesin Vektor, PCA, dll).

ebony1
sumber
Terima kasih atas jawabannya. @mbq @ ebony1: IMO kita perlu lebih berupaya untuk memposting pertanyaan pembelajaran mesin yang lebih serius di situs, untuk menarik lebih banyak komunitas itu.
Shane
@Shane Saya sepenuhnya setuju, tetapi bagaimana dengan situs SO lainnya seperti metaoptimize.com/qa ?
chl
@ chl: Itu juga pilihan, tapi itu bukan bagian dari StackExchange (dikendalikan oleh satu orang, dan pada perangkat lunak yang berbeda) dan saya pribadi lebih suka komunitas analisis data yang berbeda ini berbaur di satu tempat.
Shane
@Hane Yah, ok itu masuk akal.
chl
ada juga Machine Learning stack exchange proposal area51.stackexchange.com/proposals/7607/machine-learning
Yaroslav Bulatov
2

@ ebony1 memberikan poin kunci (+1), saya adalah penulis pendamping dari makalah yang membahas bagaimana mem-kernel-kan model linear umum, misalnya regresi logistik dan regresi Poisson, cukup mudah.

GC Cawley, GJ Janacek dan NLC Talbot, mesin kernel Generalized, dalam Prosiding Konferensi Gabungan Internasional IEEE / INNS tentang Jaringan Saraf (IJCNN-2007), halaman 1732-1737, Orlando, Florida, AS, 12-17 Agustus 2007. ( www , pdf )

Saya juga menulis toolbox (kualitas penelitian) MATLAB (sayangnya tidak ada instruksi), yang dapat Anda temukan di sini .

Mampu memodelkan target distribusi cukup berguna dalam quanification ketidakpastian dll. Sehingga merupakan tambahan yang berguna (jika cukup tambahan) untuk metode pembelajaran kernel.

Dikran Marsupial
sumber