Algoritma Pembelajaran Mesin berdasarkan “minimalisasi risiko struktural”?

9

Algoritma pembelajaran mesin mana (selain SVM) yang menggunakan prinsip minimalisasi risiko struktural ?

reference-request machine-learning Klasifikasi
sumber
2
Apa itu algo?
Dave Clarke
algo = algoritme;)
Classifire
silakan gunakan kata-kata lengkap.
Kaveh
ok..hanya tidak mau membuat judul terlalu lama
Classifire
Sejauh yang saya tahu SRM tidak lain adalah regularisasi lama yang baik , yang digunakan di mana-mana.
Emre

Jawaban:

8

Prinsip minimalisasi risiko struktural adalah prinsip yang setidaknya sebagian 'digunakan' dalam semua metode pembelajaran mesin, karena overfitting sering diperhitungkan: mengurangi kompleksitas model (seharusnya dan dalam praktiknya) merupakan cara yang baik untuk membatasi overfitting.

  • SVM secara eksplisit memiliki parameter untuk kompleksitas (dimensi ruang fitur , atau bahkan fungsi kernel) dan itu diperlukan karena meningkatkan kompleksitas adalah bagian dari algoritma pembelajaran.

  • Jaringan neuronal juga memiliki indikator kompleksitas yang mudah (jumlah 'sel') dan merupakan bagian dari algoritma pembelajaran yang terkait.

  • Tanpa prinsip ini, inferensi tata bahasa akan menjadi bodoh dan tata bahasa sempurna adalah daftar semua kata yang mungkin, jadi setiap algoritma non-sepele setidaknya mengakui prinsip ini.

  • Pohon keputusan memiliki gagasan entropi sendiri .

  • Cluster dapat dengan mudah dihitung atau semacam 'menggunakan' prinsip secara intrinsik atau memiliki jumlah cluster yang tetap dan dalam hal ini Anda menerapkan prinsip tersebut pada level yang lebih tinggi.

Sejujurnya saya tidak benar-benar tahu tentang apa yang terjadi dalam pemrograman genetik tetapi mereka tidak memiliki gagasan intrinsik tentang kompleksitas.

Saya tidak tahu pemrograman logika Induktif dengan baik, tetapi tampaknya tidak terlalu baik untuk prinsip ini.

jmad
sumber
Apakah Anda tahu ada algoritma pembelajaran yang bahkan lebih kuat dan kurang rentan terhadap overfitting daripada SVM? Atau mungkin teknik untuk meningkatkan SVM standar?
Klasifikasi
@ user2278 jika dengan 'kuat' yang Anda maksud 'efisien' maka SVMs cukup besar dan ada banyak dari penelitian tentang hal itu dan alat menggunakannya. Tetapi tentu saja, itu tergantung pada masalah Anda.
jmad
Yah, saya ingin menggunakan SVM di pasar keuangan, dan sebenarnya ada beberapa makalah yang didedikasikan untuk topik ini (menggunakan SVM untuk prediksi saham, dll ...). Apakah ada algoritma yang lebih cocok untuk tujuan itu (terutama karena deret waktu keuangan sangat "berisik")?
Classifire
@ user2278 Anda sebaiknya menggunakan kertas. Saya bukan ahli. (Saya tidak akan terkejut SVM adalah yang terbaik untuk itu. Juga mereka berperilaku baik wrt. Noise)
jmad