Apa perbedaan antara PCA dan autoencoder?

Baik PCA dan autoencoder dapat melakukan pengurangan demensi, jadi apa perbedaan di antara mereka? Dalam situasi apa saya harus menggunakan satu sama lain?

PCA terbatas pada peta linier, sedangkan enkoder otomatis dapat memiliki enoder / dekoder nonlinear.

Encoder otomatis lapisan tunggal dengan fungsi transfer linier hampir setara dengan PCA, di mana hampir berarti bahwa ditemukan oleh AE dan PCA tidak akan sama - tetapi subruang yang direntang oleh masing-masing akan.$W$$W$

Seperti yang ditunjukkan bayerj, PCA adalah metode yang mengasumsikan sistem linear sedangkan Autoencoder (AE) tidak. Jika tidak ada fungsi non-linear yang digunakan dalam AE dan jumlah neuron dalam lapisan tersembunyi adalah lebih kecil dari dimensi maka input maka PCA dan AE dapat menghasilkan hasil yang sama. Kalau tidak, AE dapat menemukan subruang yang berbeda.

Satu hal yang perlu diperhatikan adalah bahwa lapisan tersembunyi dalam AE dapat memiliki dimensi yang lebih besar daripada input. Dalam kasus seperti itu, AE mungkin tidak melakukan pengurangan dimensionalitas. Dalam hal ini kami menganggap mereka melakukan transformasi dari satu ruang fitur ke yang lain di mana data dalam ruang fitur baru menguraikan faktor variasi.

Mengenai pertanyaan Anda tentang apakah beberapa lapisan berarti sangat kompleks non-linear dalam respons Anda terhadap bayerj. Tergantung pada apa yang Anda maksud dengan "non-linear yang sangat kompleks" ini bisa benar. Namun kedalaman benar-benar menawarkan generalisasi yang lebih baik. Banyak metode yang membutuhkan jumlah sampel yang sama dengan jumlah wilayah. Namun ternyata "sejumlah besar daerah, misalnya , dapat didefinisikan dengan contoh " menurut Bengio et al . Ini adalah hasil dari kerumitan dalam representasi yang muncul dari penyusunan fitur yang lebih rendah dari lapisan bawah dalam jaringan.O ( N $O(2^N)$$O(N)$

Ini lebih cocok sebagai komentar tetapi karena saya kurang reputasi untuk itu akan diberikan sebagai jawaban.

Saya agak bingung dengan anggapan hampir dalam jawaban bayerj: s. Membaca Neural Networks dan Analisis Komponen Utama: Belajar dari Contoh Tanpa Minima Lokal di mana buktinya diberikan.

'' Dalam kasus auto-asosiatif ... dan karena itu peta unik lokal dan global optimal W adalah proyeksi ortogonal ke ruang yang direntang oleh vektor eigen pertama Σ X X '' $p$$\Sigma_{XX}$

Apakah ini bukan ruang koresponden yang direntang oleh PCA?

$\{\mathbf{x}_i \in \mathbb{R}^n \}_{i=1}^N$$N$ $n-$$X$$\mathbf{x}_1,\dots,\mathbf{x}_N$

$\hat{\mathbf{x}}$$W_1\in \mathbb{R}^{n \times m}$$W_2\in \mathbb{R}^{m \times n}$$m < n$

$m$$W_2$$m$$X$

$W_2$$m$$X$$X$$n \times N$$W_2$$m\times n$$W_2$$O(m^2n)$$X$$O(n^2N)$$m < n$