Apa dimensi VC
Seperti yang disebutkan oleh @CPerkins, dimensi VC adalah ukuran dari kompleksitas model. Ini juga dapat didefinisikan berkenaan dengan kemampuan untuk menghancurkan titik data seperti, seperti yang Anda sebutkan, wikipedia tidak.
Masalah dasarnya
- Kami menginginkan model (misalnya beberapa classifier) yang menggeneralisasi dengan baik pada data yang tidak terlihat .
- Kami terbatas pada jumlah data sampel tertentu.
S1Skh
Gambar menunjukkan bahwa dimensi VC yang lebih tinggi memungkinkan risiko empiris yang lebih rendah (kesalahan model membuat pada data sampel), tetapi juga memperkenalkan interval kepercayaan yang lebih tinggi. Interval ini dapat dilihat sebagai kepercayaan pada kemampuan model untuk menggeneralisasi.
Dimensi VC rendah (bias tinggi)
Jika kita menggunakan model dengan kompleksitas rendah, kami memperkenalkan beberapa jenis asumsi (bias) mengenai dataset misalnya ketika menggunakan classifier linier kami menganggap data dapat digambarkan dengan model linier. Jika ini bukan masalahnya, masalah kami tidak dapat diselesaikan dengan model linier, misalnya karena masalahnya bersifat nonlinear. Kami akan berakhir dengan model berperforma buruk yang tidak akan dapat mempelajari struktur data. Karena itu kita harus mencoba menghindari bias yang kuat.
Dimensi VC tinggi (interval kepercayaan lebih besar)
Di sisi lain dari sumbu-x kita melihat model-model dengan kompleksitas yang lebih tinggi yang mungkin memiliki kapasitas yang sedemikian besar sehingga lebih baik menghafal data daripada mempelajari struktur dasar yang mendasarinya yaitu model yang overfits. Setelah menyadari masalah ini, tampaknya kita harus menghindari model yang rumit.
Ini mungkin tampak kontroversial karena kami tidak akan memperkenalkan bias yaitu memiliki dimensi VC rendah tetapi juga tidak boleh memiliki dimensi VC tinggi. Masalah ini berakar dalam pada teori pembelajaran statistik dan dikenal sebagai bias-variance-tradeoff . Apa yang harus kita lakukan dalam situasi ini adalah menjadi serumit yang diperlukan dan sesederhana mungkin, jadi ketika membandingkan dua model yang berakhir dengan kesalahan empiris yang sama, kita harus menggunakan yang kurang rumit.
Saya harap saya bisa menunjukkan kepada Anda bahwa ada lebih banyak di belakang gagasan dimensi VC.