Perbedaan: Replicator Neural Network vs Autoencoder

Saat ini saya sedang mempelajari makalah tentang deteksi outlier menggunakan RNN's (Replicator Neural Networks) dan bertanya-tanya apa perbedaan khusus untuk Autoencoder? RNN tampaknya telah diinjak banyak orang sebagai cawan suci pendeteksian penyimpangan / anomali, namun idenya tampaknya sudah cukup tua, karena autoencoder sudah ada di sana sejak lama.

Kedua jenis jaringan mencoba merekonstruksi input setelah memasukkannya melalui semacam mekanisme kompresi / dekompresi. Untuk deteksi outlier kesalahan rekonstruksi antara input dan output diukur - outlier diharapkan memiliki kesalahan rekonstruksi yang lebih tinggi.

Perbedaan utama tampaknya adalah cara input dikompresi:

Autoencoder biasa memeras input melalui lapisan tersembunyi yang memiliki lebih sedikit neuron daripada lapisan input / output .. dengan cara itu jaringan harus mempelajari representasi data yang dikompresi.

Jaringan saraf replikator memeras data melalui lapisan tersembunyi yang menggunakan fungsi aktivasi seperti tangga. Fungsi aktivasi seperti tangga membuat jaringan memampatkan data dengan menetapkannya ke sejumlah kluster (tergantung pada jumlah neuron dan jumlah langkah).

Dari Replicator Neural Networks untuk Pemodelan Outlier dalam Pengenalan Wicara Segmental :

RNN awalnya diperkenalkan di bidang kompresi data [5]. Hawkins et al. mengusulkannya untuk pemodelan outlier [4]. Dalam kedua makalah struktur 5 lapis direkomendasikan, dengan lapisan keluaran linier dan fungsi aktivasi seperti tangga khusus di lapisan tengah (lihat Gambar. 2). Peran fungsi aktivasi ini adalah untuk mengukur vektor output lapisan tengah tersembunyi ke dalam titik-titik kisi dan dengan demikian mengatur titik data menjadi sejumlah kelompok.