Apakah ada aturan praktis antara kedalaman jaringan saraf dan tingkat pembelajaran? Saya telah memperhatikan bahwa semakin dalam jaringannya, semakin rendah tingkat pembelajarannya.
Jika itu benar, mengapa begitu?
neural-networks
deep-learning
hyperparameter
rule-of-thumb
user_1177868
sumber
sumber
Jawaban:
Pertanyaan ini telah dijawab di sini:
Jawaban singkatnya adalah ya, ada hubungannya. Meskipun, hubungannya bukan sepele ini, yang bisa saya katakan adalah apa yang Anda lihat adalah karena permukaan optimisasi menjadi lebih kompleks karena jumlah lapisan tersembunyi meningkat, oleh karena itu tingkat pembelajaran yang lebih kecil umumnya lebih baik. Meskipun berhenti dalam minimum lokal adalah suatu kemungkinan dengan tingkat belajar yang rendah, itu jauh lebih baik daripada permukaan yang kompleks dan tingkat belajar yang tinggi.
sumber