Saya memilih fungsi aktivasi untuk lapisan output tergantung pada output yang saya butuhkan dan sifat-sifat fungsi aktivasi yang saya tahu. Sebagai contoh, saya memilih fungsi sigmoid ketika saya berhadapan dengan probabilitas, sebuah ReLU ketika saya berurusan dengan nilai-nilai positif, dan...
Saya berpikir bahwa keuntungan menggunakan Leaky ReLU daripada ReLU adalah bahwa dengan cara ini kita tidak bisa menghilangkan gradien. Parametrik ReLU memiliki keunggulan yang sama dengan satu-satunya perbedaan bahwa kemiringan output untuk input negatif adalah parameter yang dapat dipelajari...
Saya baru saja menemukan konsep cakupan neuron, yang merupakan rasio neuron teraktivasi dan total neuron dalam jaringan saraf. Tetapi apa artinya bagi neuron untuk "diaktifkan"? Saya tahu apa fungsi aktivasi, tetapi apa artinya diaktifkan misalnya dalam kasus fungsi ReLU atau
Ada beberapa fungsi aktivasi, seperti ReLU, sigmoid atau tanhtanh\tanh . Apa yang terjadi ketika saya mencampur fungsi aktivasi? Baru-baru ini saya menemukan bahwa Google telah mengembangkan fungsi aktivasi Swish yang (x * sigmoid). Dengan mengubah fungsi aktivasi, bisakah ia meningkatkan akurasi...