Perkiraan urutan kedua dari fungsi kehilangan (buku pembelajaran Deep, 7.33)

11

Dalam buku Goodfellow (2016) tentang pembelajaran yang mendalam, ia berbicara tentang kesetaraan dari berhenti dini untuk regularisasi L2 ( https://www.deeplearningbook.org/contents/regularization.html halaman 247).

Perkiraan kuadrat dari fungsi biaya j diberikan oleh:

J^(θ)=J(w)+12(ww)TH(ww)

H

f(w+ϵ)=f(w)+f(w)ϵ+12f(w)ϵ2

stevew
sumber

Jawaban:

15

Mereka berbicara tentang bobot secara optimal:

Kita dapat memodelkan fungsi biaya dengan pendekatan kuadratik di sekitar nilai bobot optimal secara empiris denganJw

Pada titik itu, turunan pertama adalah nol — istilah tengahnya ditinggalkan begitu saja.

Jan Kukacka
sumber