Apa perbedaan antara LeakyReLU dan PReLU?

f (x) = max (x, α x) with α \in (0, 1)

$f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1)$

Keras, bagaimanapun, memiliki kedua fungsi dalam dokumen .

LeLU ReLU

Sumber LeakyReLU :

return K.relu(inputs, alpha=self.alpha)

Karenanya (lihat kode relu )

f_{1} (x) = max (0, x) - α max (0, - x)

$f_1(x) = \max(0, x) - \alpha \max(0, -x)$

PReLU

Sumber PReLU :

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

Karenanya

f_{2} (x) = maks (0, x) - α maks (0, - x)

$f_2(x) = \max(0, x) - \alpha \max(0, -x)$

Pertanyaan

Apakah saya melakukan kesalahan? Bukankah dan setara dengan (dengan asumsi ?) $f_1$ $f_2$ $f$ $\alpha \in (0, 1)$

neural-network Martin Thoma
sumber

Jawaban:

Langsung dari wikipedia :

Leaky ReLU memungkinkan gradien kecil dan tidak nol ketika unit tidak aktif.
Parametrik ReLU mengambil ide ini lebih jauh dengan membuat koefisien kebocoran menjadi parameter yang dipelajari bersama dengan parameter jaringan saraf lainnya.

Thomas W
sumber

Ah, terima kasih, saya selalu lupa bahwa LeLAK Leaky memiliki sebagai hyperparameter dan Parametrik ReLU memiliki sebagai parameter.

α

$\alpha$

α

$\alpha$

Martin Thoma

Untuk Google-hal: Tidak apa-apa . (Btw, bagi saya pertanyaan ini adalah hasil ketiga sekarang untuk "Leaky ReLU vs PReLU")

Martin Thoma

@MartinThoma benar! Tidak ada pelanggaran sama sekali untuk itu! Cara saya menemukan jawabannya juga cukup bodoh; Saya tidak tahu apa 'P' dalam PReLU itu, jadi saya mencari tahu dan kemudian mencoba mencari tahu apa itu PReLU dengan hanya mengetik 'Parametric ReLU', yang membawa saya ke halaman wikipedia. Saya belajar sesuatu hari ini karena pertanyaan Anda;)

Thomas W

Bagus. Begitulah seharusnya :-) Dalam hal ini ikhtisar fungsi aktivasi kecil saya mungkin menarik untuk Anda juga. Artikel ini (sebagian) dalam bahasa Jerman, tetapi saya kira untuk bagian itu tidak masalah

Martin Thoma