Mengapa fungsi aktivasi unit linear yang diperbaiki (ReLU) dianggap non-linear?
Mereka linier ketika input positif dan dari pemahaman saya untuk membuka kekuatan representatif dari jaringan yang dalam, aktivasi non-linear adalah suatu keharusan, jika tidak seluruh jaringan dapat diwakili oleh satu lapisan.
Jawaban:
RELU adalah nonlinier. Untuk membantu intuisi Anda, pertimbangkan jaringan yang sangat sederhana dengan 1 unit inputx , 2 unit tersembunyi ysaya , dan 1 unit output z . Dengan jaringan sederhana ini kita dapat mengimplementasikan fungsi nilai absolut,
atau sesuatu yang terlihat mirip dengan fungsi sigmoid yang biasa digunakan,
Dengan menggabungkan ini ke jaringan yang lebih besar / menggunakan unit yang lebih tersembunyi, kita dapat memperkirakan fungsi sewenang-wenang.
sumber
reLu(reLu(....))
akan linear selalu? Juga, di sini Anda berubahx
menjadix+1
, yang bisa dianggap sebagaiZ=Wx+b
tempat W & b berubah untuk memberikan varian yang berbeda dari jenisx
& &x+1
?