Apa itu "backprop"?

Jawaban:

13

"Backprop" sama dengan "backpropagation": itu hanya cara yang lebih singkat untuk mengatakannya. Kadang-kadang disingkat "BP".

Franck Dernoncourt
sumber
7

'Backprop' adalah kependekan dari 'backpropagation of error' untuk menghindari kebingungan saat menggunakan istilah backpropagation .

Pada dasarnya backpropagation mengacu pada metode untuk menghitung gradien dari fungsi kesalahan case-wise sehubungan dengan bobot untuk Werbos feedforward network . Dan backprop mengacu pada metode pelatihan yang menggunakan backpropagation untuk menghitung gradien.

Jadi kita dapat mengatakan bahwa jaringan backprop adalah jaringan feedforward yang dilatih oleh backpropagation .

Istilah 'backprop standar' adalah eufemisme untuk aturan delta umum yang paling banyak digunakan metode pelatihan yang diawasi.

Sumber: Apa itu backprop? di FAQ newsgroup Usenet comp.ai.neural-nets

Referensi:

  • Werbos, PJ (1974). Melampaui Regresi: Alat Baru untuk Prediksi dan Analisis dalam Ilmu Perilaku. Tesis PhD, Universitas Harvard.
  • Werbos, PJ (1994). Akar Backpropagation: Dari Derivatif yang Dipesan ke Jaringan Syaraf Tiruan dan Peramalan Politik, Wiley Interscience.
  • Bertsekas, DP (1995), Pemrograman Nonlinear, Belmont, MA: Athena Scientific, ISBN 1-886529-14-0.
  • Bertsekas, DP dan Tsitsiklis, JN (1996), Pemrograman Neuro-Dynamic, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
  • Polyak, BT (1964), "Beberapa metode mempercepat konvergensi metode iterasi," Z. Vycisl. Tikar. saya di. Fiz., 4, 1-17.
  • Polyak, BT (1987), Pengantar Optimasi, NY: Optimasi Software, Inc.
  • Reed, RD, dan Marks, RJ, II (1999), Neural Smithing: Pembelajaran dengan Supervisi dalam Jaringan Syaraf Tiruan Feedforward, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
  • Rumelhart, DE, Hinton, GE, dan Williams, RJ (1986), "Belajar representasi internal dengan propagasi kesalahan", dalam Rumelhart, DE dan McClelland, JL, eds. (1986), Pemrosesan Terdistribusi Paralel: Eksplorasi dalam Mikrostruktur Kognisi, Volume 1, 318-362, Cambridge, MA: The MIT Press.
  • Werbos, PJ (1974/1994), The Roots of Backpropagation, NY: John Wiley & Sons. Termasuk Werbos's 1974 Harvard Ph.D. tesis, Melampaui Regresi.
kenorb
sumber
2

Ya, seperti yang dikatakan oleh Franck, "backprop" berarti backpropogation, yang sering digunakan dalam domain jaringan saraf untuk optimasi kesalahan.

Untuk penjelasan terperinci, saya akan menunjukkan tutorial ini tentang konsep backpropogation oleh buku Michael Nielsen yang sangat bagus.

Dawny33
sumber
0

Dalam pembelajaran mesin, backpropagation (backprop, BP) adalah algoritma yang banyak digunakan dalam pelatihan jaringan saraf feedforward untuk pembelajaran yang diawasi. Generalisasi backpropagation ada untuk jaringan saraf tiruan lainnya (JST), dan untuk fungsi umumnya - kelas algoritma yang secara umum disebut "backpropagation".

ALFIANSYAH
sumber
Hai, selamat datang di AI Stack Exchange. Alih-alih memposting jawaban dari Wikipedia, disarankan untuk mengungkapkan jawaban atas pertanyaan dengan kata-kata sendiri meskipun Wikipedia dapat digunakan untuk mendukung argumen atau membantu memperoleh penjelasan. Harap perbarui jawaban Anda untuk mengetahui lebih lanjut.
Jaden Travnik
0

Itu nama mewah untuk aturan rantai multivariabel.

FourierFlux
sumber
Halo. Bisakah Anda mendukung jawaban ini dengan sedikit lebih detail? (Saya sadar ini pertanyaan sederhana, tapi saya pikir jawaban Anda layak untuk penjelasan lebih lanjut.)
DukeZhou