Dimensi VC model regresi

12

Dalam seri kuliah Learning from Data , profesor menyebutkan bahwa dimensi VC mengukur kompleksitas model pada berapa banyak poin yang dapat dihancurkan oleh model tertentu. Jadi ini bekerja dengan sangat baik untuk model klasifikasi di mana kita bisa mengatakan keluar dari N poin jika classifier mampu menghancurkan k poin secara efektif ukuran dimensi VC akan menjadi K. Tetapi tidak jelas bagi saya bagaimana cara mengukur dimensi VC untuk model regresi ?

regression machine-learning vc-dimension karthikbharadwaj
sumber
Lihat cs.stackexchange.com/questions/11548/... ncbi.nlm.nih.gov/pubmed/18252610
b halvorsen

Jawaban:

3

Dari Elemen Pembelajaran Statistik , hal. 238:

g(x,α)1(g(x,α)−β>0)β

Atau, (sedikit) secara lebih intuitif, untuk menemukan dimensi VC dari kelas fungsi bernilai nyata, orang dapat menemukan dimensi VC dari kelas fungsi indikator yang dapat dibentuk dengan menetapkan kelas fungsi bernilai nyata itu.

Sean Easter
sumber
Tapi ini memberikan dimensi VC untuk indikator ambang, dan pada nilai nominal saya tidak melihat bagaimana mendapatkan batas PAC untuk indikator ambang memberi tahu Anda banyak tentang kinerja fungsi regresi Anda. Mungkin Anda bisa membuat argumen di mana Anda mencari biner atas nilai yang diregres (untuk domain output terbatas).
VF1
@ VF1 Benar. Bagaimana menafsirkan dimensi VC dari fungsi regresi dapat untuk pertanyaan yang baik dan terpisah.
Sean Easter
Saya akan memposting pertanyaan terpisah, tetapi saya yakin jawabannya adalah "jangan menggunakan VC redup untuk regresi," karena Rademacher akan membiarkan Anda melakukan banyak hal untuk kerugian yang dibatasi secara sewenang-wenang.
VF1
@ VF1 Saya akan membaca jawaban yang mengatakannya dengan penuh minat! Yang saya maksud adalah menyarankan bahwa norma CV adalah membatasi pertanyaan menjadi satu pertanyaan per posting, dan bahwa OP tidak menyentuh interpretasi atau tujuan.
Sean Easter
0

Lihat bagian 5.2 Pembelajaran Statistik (Vapnik) untuk derivasi trik indikator thresholding menggunakan langkah-langkah Lebesgue-Stieltjes. AFAIK ini adalah satu-satunya dan referensi definitif. Anda harus sudah tahu di mana menemukan buku itu (dan yang lainnya dari Vapnik, semuanya superlatif).

memeplex
sumber
1
Akan membantu jika Anda bisa meringkas argumen daripada hanya memberikan referensi.
mdewey