Pengambilan sampel PAC agnostik batas bawah

10

Sudah terkenal bahwa untuk pembelajaran PAC klasik, diperlukan untuk mencapai batas kesalahan ε whp, di mana d adalah dimensi VC dari kelas konsep.Ω(d/ε)εd

Apakah diketahui bahwa diperlukan dalam kasus agnostik?Ω(d/ε2)

Aryeh
sumber
3
Saya tidak yakin seperti apa batas bawah, seseorang harus ada jika batas Hoefding ketat (dan saya pikir itu benar). Batas ini menyatakan bahwa untuk 1 fn, jika probabilitas kesalahan adalah p, maka Anda membutuhkan paling banyak sampel untuk memperkirakan p sampai dalam kesalahan + - ϵ whp Jadi pertimbangkan kelas konsep dengan 2 konsep, f 1 dan f 2 dan VC-dimensi 2. Ambil distribusi di atas contoh sehingga p 1 = p 2 + ϵ (atau sebaliknya) - ini dimungkinkan karena VC-dimensi adalah 2. Tampaknya algoritma hanya menggunakan Om=O(1/ϵ2)ϵf1f2p1=p2+ϵ contoh akan menyiratkan peningkatan batas Hoefding. O(1/ϵ)
Aaron Roth
1
Yaitu, saya pikir Hoeffding terikat ketat di untuk O ( 1 / ε 2 ) . Saya pikir alasan di atas secara umum diketahui ...p=1/2O(1/ϵ2)
Lev Reyzin
OK - sepertinya saya mendapatkan latihan lain untuk kursus ML ... :) Terima kasih atas masukannya, Aaron dan Lev!
Aryeh
@ Harun, mungkin ini seharusnya jawaban.
Suresh Venkat

Jawaban:

6

Saya sekarang menyadari bahwa batas bawah memang telah dibangun oleh Anthony dan Bartlett (lihat presentasi di sini ).

Edit 24-Sep-2018. Pertanyaan ini telah membuat saya sibuk selama bertahun-tahun, dan baru-baru ini, saya. Pinelis dan saya telah memperoleh konstanta optimal yang tepat dalam PAC agnostik yang cenderung muncul di Ann. Stat .

Aryeh
sumber
Dalam makalah Anda, Anda tidak mengutip karya ini ( jmlr.org/papers/volume17/15-389/15-389.pdf ). Apakah kompleksitas sampel optimal upperbound dalam kasus yang dapat disadari bukan dari koneksi ke pekerjaan Anda? Apakah kompleksitas sampel optimal yang sesuai ini diketahui untuk kasus agnostik?
gradstudent
Saya tidak berpikir kasus yang dapat diwujudkan adalah semua yang terkait. Dalam kasus yang dapat direalisasikan, ERM tidak menjamin tingkat yang optimal - karenanya semua kerja keras yang harus dikeluarkan Hanneke dan yang lainnya untuk menghapus faktor log, dan masih belum diketahui apakah pelajar yang tepat dapat mencapai tingkat yang optimal. Sebaliknya, dalam kasus agnostik, telah lama diketahui bahwa ERM mencapai tingkat optimal.
Aryeh