Saya mempelajari pembelajaran mesin dan saya merasa ada hubungan yang kuat antara konsep dimensi VC dan konsep derajat kebebasan yang lebih klasik (statistik).
Adakah yang bisa menjelaskan hubungan seperti itu?
Sebagaimana dinyatakan oleh Prof Yaser Abu-Mostafa-
Derajat kebebasan adalah abstraksi dari jumlah parameter yang efektif. Angka efektif didasarkan pada berapa banyak dikotomi yang bisa diperoleh seseorang, dan bukan berapa banyak parameter nilai riil yang digunakan. Dalam kasus perceptron 2 dimensi, seseorang dapat berpikir tentang kemiringan dan intersep (ditambah derajat kebebasan biner untuk wilayah mana menjadi +1), atau seseorang dapat memikirkan 3 parameter w_0, w_1, w_2 (meskipun bobot dapat berupa secara bersamaan ditingkatkan atau turun tanpa mempengaruhi hipotesis yang dihasilkan). Tingkat kebebasan, bagaimanapun, adalah 3 karena kita memiliki fleksibilitas untuk menghancurkan 3 poin, bukan karena satu atau lain cara menghitung jumlah parameter.
Dimensi VC dijelaskan dengan sangat baik dalam makalah ini di Bagian 2.1 dan selanjutnya, dengan lemma dasar dan bukti yang diberikan. Anda bisa melalui ini.
sumber