Katakanlah saya memiliki penggolong regresi logistik. Dalam pembelajaran batch normal, saya akan memiliki istilah regularizer untuk mencegah overfitting dan menjaga bobot saya kecil. Saya juga akan menormalkan dan memperbesar fitur saya.
Dalam pengaturan pembelajaran online, saya mendapatkan aliran data yang berkelanjutan. Saya melakukan pembaruan gradient descent dengan setiap contoh dan kemudian membuangnya. Apakah saya harus menggunakan penskalaan fitur dan istilah regularisasi dalam pembelajaran online? Jika ya, bagaimana saya bisa melakukan itu? Sebagai contoh, saya tidak memiliki satu set data pelatihan untuk dibandingkan. Saya juga tidak memiliki set validasi untuk menyetel parameter regularisasi saya. Jika tidak, mengapa tidak?
Dalam pembelajaran online saya, saya mendapatkan aliran contoh terus menerus. Untuk setiap contoh baru, saya melakukan prediksi. Kemudian pada langkah waktu berikutnya, saya mendapatkan target aktual dan melakukan pembaruan gradient descent.
--power_t
dan--initial_t
merupakan opsi independen global (bukan per fitur).--sgd
hanya kembali ke SGD "klasik". TKI:--sgd
hanya membatalkan--invariant
,, (--normalized
dan--adaptive
yang menyiratkan tingkat pembelajaran terpisah per fitur)Makalah ini menjelaskan teknik untuk regularisasi online yang mereka terapkan pada berbagai algoritma, termasuk regresi logistik: http://ai.stanford.edu/~chuongdo/papers/proximal.pdf
sumber
ya Anda tentu perlu regularisasi ... itu juga membantu gradient descent (dan inisialisasi laju pembelajaran ke 1 / C)
lihat misalnya kertas SGD-QN http://leon.bottou.org/papers bottou's papers
Anda belum benar-benar menjelaskan apa yang Anda maksud dengan pembelajaran online: mis. untuk setiap poin apakah Anda mendapatkan nilai target? Saya tidak tahu bagaimana Anda akan menggabungkan ... mencari C ... Saya kira Anda akan memiliki beberapa pengklasifikasi dengan ketentuan regularisasi yang berbeda dan melacak kesalahan prediksi (sebelum Anda memperbarui bobot)
sumber