Apa yang terjadi ketika saya mencampur fungsi aktivasi?
Ada beberapa fungsi aktivasi, seperti ReLU, sigmoid atau tanhtanh\tanh . Apa yang terjadi ketika saya mencampur fungsi aktivasi? Baru-baru ini saya menemukan bahwa Google telah mengembangkan fungsi aktivasi Swish yang (x * sigmoid). Dengan mengubah fungsi aktivasi, bisakah ia meningkatkan akurasi...