PCA dianggap sebagai prosedur linier, namun:
di mana . Ini untuk mengatakan bahwa vektor eigen yang diperoleh PCA pada matriks data tidak meringkaskan sama dengan vektor eigen yang diperoleh PCA pada jumlah matriks data . Tetapi bukankah definisi fungsi linear itu:X i f
Jadi mengapa PCA dianggap "linier" jika tidak memenuhi kondisi linearitas yang sangat mendasar ini?
Jawaban:
Ketika kita mengatakan bahwa PCA adalah metode linier, kita merujuk pada pemetaan pengurangan dimensi untuk dari ruang dimensi tinggi ke ruang dimensi rendah . Dalam PCA, pemetaan ini diberikan oleh perkalian oleh matriks vektor eigen PCA dan demikian juga nyata linear (perkalian matriks linear):Ini berbeda dengan metode reduksi dimensionalitas nonlinier , dimana pemetaan reduksi dimensionalitas bisa nonlinier.R p R k x z = f ( x ) = V ⊤ x .f: x ↦ z Rhal Rk x
Di sisi lain, vektor eigen atas dihitung dari matriks data menggunakan apa yang Anda panggil dalam pertanyaan Anda: dan ini pemetaan ini tentunya non-linear: melibatkan vektor eigen komputasi dari matriks kovarians, yang merupakan prosedur non-linear . (Sebagai contoh sepele, mengalikan dengan meningkatkan matriks kovarians sebesar , tetapi vektor eigennya tetap sama seperti yang dinormalisasi untuk memiliki panjang satuan.)V ∈ R p × k X ∈ R n × p P C A ( ) V = P C A ( X ) , X 2 4k V ∈ Rp × k X ∈ Rn × p P C A ()
sumber
"Linear" dapat berarti banyak hal, dan tidak secara eksklusif digunakan secara formal.
PCA tidak sering didefinisikan sebagai fungsi dalam pengertian formal, dan oleh karena itu PCA tidak diharapkan memenuhi persyaratan fungsi linier ketika digambarkan seperti itu. Ini lebih sering dijelaskan, seperti yang Anda katakan, sebagai prosedur, dan kadang-kadang algoritma (meskipun saya tidak suka opsi terakhir ini). Sering dikatakan linear dalam cara yang informal, tidak didefinisikan dengan baik.
PCA dapat dianggap linier, misalnya, dalam pengertian berikut. Itu milik keluarga metode yang menganggap bahwa setiap variabel dapat didekati dengan fungsi mana dan adalah seperangkat variabel dengan beberapa yang diinginkan milik. Dalam kasus PCA, adalah seperangkat variabel independen yang dapat dikurangi dalam kardinalitas dengan kerugian minimal dalam akurasi perkiraan dalam arti tertentu. Itu adalah sifat yang diinginkan dalam berbagai pengaturan.X i ≈ f Y ( α ) α ∈ R k Y k YXsaya
Sekarang, untuk PCA, setiap dibatasi untuk bentuk yaitu, kombinasi linear dari variabel dalam .fsaya
Dengan batasan ini, ia menawarkan prosedur untuk menemukan nilai dan yang optimal (dalam beberapa hal) . Artinya, PCA hanya menganggap fungsi linier sebagai hipotesis yang masuk akal. Dalam hal ini, saya pikir itu dapat secara sah digambarkan sebagai "linear".Y αsaya j
sumber
PCA menyediakan / merupakan transformasi linier.
Jika Anda mengambil peta yang terkait dengan analisis tertentu, katakan lalu .M ≡PCA ( X1+ X2) M ( X1+ X2) = M ( X1) + M ( X2)
Penyebabnya adalah , dan bukan transformasi linear yang sama .PCA ( X1+ X2) PCA ( X1) PCA ( X2)
Sebagai perbandingan, contoh yang sangat sederhana dari proses yang menggunakan transformasi linear tetapi bukan transformasi linear itu sendiri:
Rotasi yang menggandakan sudut vektor (katakan titik dalam ruang euclidian 2-d) dengan beberapa vektor referensi (katakan ), bukan transformasi linear. Sebagai contohD ( v ) v [ x , y] = [ 1 , 0 ]
dan
tapi
penggandaan sudut ini, yang melibatkan perhitungan sudut, tidak linier, dan analog dengan pernyataan amuba, bahwa perhitungan vektor eigen tidak linier
sumber