Apa turunan dari fungsi aktivasi ReLU?

15

Apa turunan dari fungsi aktivasi ReLU didefinisikan sebagai:

ReLU(x)=max(0,x)

Bagaimana dengan kasus khusus di mana ada diskontinuitas dalam fungsi di ?x=0

Tom Hale
sumber

Jawaban:

17

Derivatifnya adalah:

f(x)={0if x<01if x>0

Dan tidak terdefinisi dalam .x=0

Alasannya tidak terdefinisi pada adalah turunan kiri dan kanannya tidak sama.x=0

Jim
sumber
1
Jadi dalam prakteknya (implementasi), seseorang hanya mengambil atau untuk case? 01x=0
Tom Hale
2
Konvensi adalah bahwa drdx = 1 (x> 0)
neuroguy123
@ TomHale mengapa tidak menggunakan ? Implementasi praktisnya adalah masalah lain dan patut ditanyakan. Ini hanya matematika. f(0)=12
Jim
3
@ TomHale omong-omong, lihat jawaban Nouroz Rahman di quora.com / ...tf.nn.relu()
Jim