Konsistensi dari proses pembelajaran

Saya punya dua pertanyaan terkait dengan konsep "konsistensi belajar" bagi mereka yang akrab dengan teori pembelajaran statistik a la Vapnik.

Pertanyaan 1.
Proses pembelajaran disebut konsisten (untuk kelas fungsi dan distribusi probabilitas ) jika$\mathcal{F}$$P$

Kedua kondisi ini independen. Pada p. 83 dari "Teori Pembelajaran Statistik" Vapnik ada contoh dari seperangkat classifiers $\mathcal{F}$ sehingga konvergensi kedua terjadi tetapi yang pertama tidak. Saya sedang memikirkan contoh dari sekumpulan classifier sehingga konvergensi pertama terjadi tetapi yang kedua tidak, dan tidak bisa menghasilkan apa-apa. Adakah yang bisa membantu saya di sini?

Pertanyaan 2.
Proses pembelajaran disebut konsisten nontrivial (atau sangat konsisten) (untuk kelas fungsi $\mathcal{F}$ dan distribusi probabilitas $P$ ) jika untuk bilangan real $c \in R$ sedemikian sehingga set $\Lambda(c) = \{ f | R(f) \geq c \}$ tidak kosong yang kami miliki:

P. 81 dari "Teori Pembelajaran Statistik" Vapnik memberikan ilustrasi mengapa kami ingin mempertimbangkan konsistensi yang ketat alih-alih konsistensi yang ditentukan dalam Pertanyaan 1, yaitu, mengapa kami ingin memperkenalkan dan mempertimbangkan untuk semua . Semua teks lain yang mempertimbangkan konsistensi ketat pada dasarnya menggandakan ilustrasi Vapnik ketika mereka ingin menjelaskan alasan di balik konsep konsistensi yang ketat. Namun, saya tidak begitu senang dengan ilustrasi Vapnik karena 2 alasan: pertama, ini dilakukan dalam hal fungsi kerugian$\Lambda(c)$$\inf_{f \in \Lambda(c)}$$c$$Q(z, \alpha)$dan bukan pengklasifikasi, dan, kedua, Gambar 3.2. dari buku tidak benar-benar masuk akal ketika kita mempertimbangkan fungsi kerugian umum untuk masalah klasifikasi, yaitu fungsi yang sama dengan 0 ketika label kelas yang diprediksi sama dengan label kelas yang benar dan 1 jika tidak.

Jadi, mungkinkah untuk memberikan ilustrasi lain yang lebih masuk akal dari pemikiran di balik konsep konsistensi yang ketat? Pada dasarnya, kita membutuhkan contoh dari seperangkat pengklasifikasi sehingga pengklasifikasi ini tidak konsisten (dalam hal definisi dari Pertanyaan 1) dan beberapa pengklasifikasi baru berkinerja lebih baik daripada pengklasifikasi mana pun dari himpunan, sehingga ketika kita menambahkan pengklasifikasi ini ke set kita berakhir dengan kasus "konsistensi sepele". Ada ide?

Untuk Pertanyaan 1 Anda, saya punya contoh, tetapi membutuhkan fungsi kerugian untuk mengambil nilai . Saya cukup yakin kita bisa memberikan contoh yang hanya membutuhkan fungsi kerugian tanpa batas, tetapi itu akan sedikit lebih banyak pekerjaan untuk membangun. Pertanyaan terbuka adalah apakah ada contoh dengan fungsi kerugian terikat.$\infty$

Pertimbangkan pengaturan klasifikasi, di mana distribusi probabilitas berada pada spasi . Kami akan menunjukkan contoh dengan , dengan dan . Biarkan menjadi ruang dari semua fungsi klasifikasi di . Tentukan fungsi kerugian$P$$\mathcal{Z}=\mathcal{X}\times\{0,1\}$$z=(x,y)$$x\in\mathcal{X}$$y\in\{0,1\}$$\mathcal{F}=\mathcal{X}^{\{0,1\}}$$\mathcal{X}$

Sekarang, misalkan adalah beberapa himpunan tak terhingga yang tak terhitung jumlahnya, dan misalkan adalah distribusi probabilitas yang untuk semua . Juga, mari kita asumsikan bahwa ada fungsi klasifikasi deterministik, yaitu terdapat yang untuk . Ini menyiratkan bahwa .$\mathcal{X}=\left\{ x_{1},x_{2},\ldots\right\}$$P$$P(\{x_{i}\})>0$$i=1,2,\ldots$$c\in\mathcal{F}$$y_{i}=c(x_{i})$$i=1,2,...$$\inf_{f\in\mathcal{F}}R(f)=0$

Kemudian untuk setiap , , tetapi (kecuali ada pilihan sangat beruntung antara semua yang memiliki kesalahan empiris). Jadi , tetapi tidak menyatu dengan nilai itu.$l$$R_{emp}(f_{l}^{*})=0$$R(f_{l}^{*})=\infty$$f_{l}^{*}$$f\in\mathcal{F}$$0$$R_{emp}(f_{l}^{*})\to\inf_{f\in\mathcal{F}}R(f)$$R(f_{l}^{*})$

Untuk Pertanyaan 2, saya setuju bahwa contohnya tampaknya tidak berlaku untuk kasus klasifikasi, dan saya tidak melihat cara yang jelas untuk membuat contoh seperti itu.