Pisau cukur Occam sudah usang?

9

Saya melihat buku-buku Vapnik tentang pembelajaran statistik ... Saya membaca beberapa bab pertama. Ngomong-ngomong, yang paling mengejutkanku adalah dia berpikir pisau cukur Occam sudah usang.

Saya pikir itu terkait dengan situasi di mana dengan asumsi dimensi yang lebih tinggi meningkatkan kecocokan secara signifikan.

Apakah saya mengerti benar? Benarkah pisau cukur Occam tidak lagi benar seperti yang dikatakan Vapnik?

Apakah ada argumen bahwa pisau cukur Occam tidak boleh dianggap sebagai default?

Kalimat yang tepat berasal dari Kata Pengantar Edisi Kedua dari Sifat Pembelajaran Statistik , yaitu:

Tahun-tahun sejak edisi pertama buku ini juga telah mengubah filosofi umum dalam pemahaman kita tentang sifat masalah induksi. Setelah banyak percobaan yang sukses dengan SVM, para peneliti menjadi lebih bertekad dalam kritik terhadap filosofi klasik generalisasi berdasarkan prinsip pisau cukur Occam. "

Saya berharap seseorang bisa menguraikan kritik pada pisau cukur Occam.

machine-learning svm KH Kim
sumber
2
Mungkin tidak berhubungan. Baca tentang Kesederhanaan tidak menyiratkan keakuratan, di Beberapa Hal Berguna untuk Diketahui tentang Pembelajaran Mesin oleh Domingos.
Simone
2
Mungkin membantu jika Anda bisa memberikan referensi halaman, sehingga komentar Vapnik dapat dilihat dalam konteks.
Dikran Marsupial
Saya menambahkan kutipan dari edisi kedua dari Nature of Statiatical Learning ke pertanyaan itu.
KH Kim

Jawaban:

9

Tergantung pada apa yang Anda anggap sebagai "pisau cukur Occam"; formulasi asli adalah mumbo-jumbo teologis yang tidak jelas, sehingga berkembang menjadi sekelompok interpretasi (seringkali tidak sesuai).

Vapnik mengkritik versi ultranaive yang mengatakan lebih sedikit bahwa model dengan jumlah parameter yang dipasang lebih baik lebih baik karena terlalu banyak parameter menyiratkan overfitting, yaitu sesuatu dalam melodi paradoks Runge .
Hal ini tentu saja salah dalam pembelajaran mesin karena "keserakahan pas" ada tidak dibatasi oleh parameter angka tetapi (melalui beberapa heuristik) oleh akurasi model pada data masa depan.

Tetapi apakah itu berarti bahwa pelatihan ML memperkenalkan kemajemukan tanpa keharusan? Saya pribadi akan mengatakan tidak, terutama karena bagian kedua - model ML biasanya lebih baik daripada regresi klasik yang dihancurkan dengan tangan, jadi kompleksitas tambahan ini terbayar. Bahkan jika itu dapat direduksi oleh manusia menjadi teori yang lebih sederhana, ini hampir selalu datang dengan harga asumsi tambahan, jadi itu bukan perbandingan yang adil.


sumber