Pertanyaan yang diberi tag relu

Apa kelebihan ReLU vs LeLy LeLy dan Parametric ReLU (jika ada)?

Saya berpikir bahwa keuntungan menggunakan Leaky ReLU daripada ReLU adalah bahwa dengan cara ini kita tidak bisa menghilangkan gradien. Parametrik ReLU memiliki keunggulan yang sama dengan satu-satunya perbedaan bahwa kemiringan output untuk input negatif adalah parameter yang dapat dipelajari...

Apa yang terjadi ketika saya mencampur fungsi aktivasi?

Ada beberapa fungsi aktivasi, seperti ReLU, sigmoid atau tanhtanh\tanh . Apa yang terjadi ketika saya mencampur fungsi aktivasi? Baru-baru ini saya menemukan bahwa Google telah mengembangkan fungsi aktivasi Swish yang (x * sigmoid). Dengan mengubah fungsi aktivasi, bisakah ia meningkatkan akurasi...