Ada begitu banyak teknik regularisasi, tidak praktis untuk mencoba semua kombinasi:
- l1 / l2
- norma maks
- keluar
- berhenti lebih awal
- ...
Tampaknya sebagian besar orang senang dengan kombinasi putus sekolah + berhenti dini: apakah ada kasus di mana menggunakan teknik lain masuk akal?
Misalnya, jika Anda menginginkan model yang jarang, Anda dapat menambahkan sedikit regularisasi l1. Selain itu, adakah argumen kuat yang mendukung percikan dalam teknik regularisasi lainnya?
Saya tahu tentang teorema tanpa-makan siang, dalam teori saya harus mencoba semua kombinasi teknik regularisasi, tetapi tidak pantas untuk dicoba jika hampir tidak pernah menghasilkan peningkatan kinerja yang signifikan.
sumber