saat mengambil kursus online tentang pembelajaran mesin oleh Andrew Ng tentang coursera, saya menemukan topik yang disebut overfitting . Saya tahu ini dapat terjadi ketika gradient descent digunakan dalam regresi linier atau logistik tetapi dapatkah hal ini terjadi ketika algoritma Optimasi Lanjutan seperti "Conjugate gradient", "BFGS", dan "L-BFGS" digunakan?
Tidak ada teknik yang akan menghilangkan risiko overfitting sepenuhnya. Metode yang Anda daftarkan adalah semua cara pemasangan model linier yang berbeda. Model linier akan memiliki minimum global, dan minimum itu tidak boleh berubah terlepas dari rasa gradient descent yang Anda gunakan (kecuali Anda menggunakan regularisasi), sehingga semua metode yang Anda daftarkan akan sesuai (atau pakaian dalam).
Pindah dari model linier ke model yang lebih kompleks, seperti pembelajaran yang mendalam, Anda bahkan lebih berisiko mengalami overfitting. Saya sudah memiliki banyak jaringan saraf berbelit-belit yang pakaiannya terlalu buruk, meskipun konvolusi seharusnya mengurangi kemungkinan overfitting secara substansial dengan berbagi bobot. Singkatnya, tidak ada peluru perak untuk overfitting, terlepas dari keluarga model atau teknik optimasi.
Overfitting umumnya merupakan hasil dari data dan struktur model Anda. Algoritma 'lanjutan' yang Anda sebutkan memiliki kegunaan khusus yang mungkin atau mungkin tidak melakukan metode lain tergantung pada tujuan dan data Anda. Berikut ini adalah sumber untuk bacaan lebih lanjut: http://papers.nips.cc/paper/1895-overfitting-in-neural-nets-backpropagation-conjugate-gradient-and-early-stopping.pdf