Pas gambar baru dari perhitungan SVD / PCA

Saya mencoba meniru ide-ide dari halaman Eigenface di wikipedia. Dari seratus sampel gambar yang diwakili oleh matriks data $\bf X$ (di mana setiap gambar diratakan ke vektor dengan panjang $n$ , dengan demikian $\bf X$ adalah matriks $100$ by $n$ ), saya telah menghitung dekomposisi SVD:

$$\begin{equation} \bf X = U \Sigma V^{T} \end{equation}$$

karenanya:

$$\begin{equation} \bf X X^{T} = U \Sigma^2 U^{T} \end{equation}$$

Dengan mengambil subset dari eigenmodes terbesar $q$, saya dapat mendekati matriks (misalkan $\sigma_1 \ge \sigma_2 \ge \cdots$ ):

$$\begin{equation} {\bf X} \approx \sigma_1 u_1 v_1^{T} + \sigma_2 u_2 v_2^{T} + \cdots + \sigma_q u_q v_q^{T} \end{equation}$$

Sekarang diberikan vektor baru $y$ , yang mewakili gambar tidak di $\bf X$ , bagaimana cara menentukan bobot dari $q$ vektor eigen $\bf U$ untuk terbaik mewakili citra baru saya $y$ ? Kecuali untuk kasus-kasus patologis, apakah representasi ini unik?

Singkatnya, yang ingin saya lakukan adalah ini (dari halaman wiki):

Wajah eigen ini sekarang dapat digunakan untuk mewakili wajah yang ada dan yang baru : kita dapat memproyeksikan gambar baru (dikurangi rata-rata) pada wajah eigen dan dengan demikian merekam bagaimana wajah baru berbeda dari wajah rata-rata.

Bagaimana saya melakukan proyeksi itu?

"Proyeksi" yang dimaksud adalah proyeksi vektor . Untuk menghitung proyeksi vektor ke vektor b , Anda menggunakan produk dalam dari dua vektor:$\mathbf{a}$$\mathbf{b}$

$$\mathbf{a_{proj}} = \langle \mathbf{a}, \mathbf{b} \rangle \mathbf{b}$$

dalam hal ini adalah komponen vektor dari sebuah yang terletak pada arah yang sama b . Dalam ruang Euclidean, operator produk dalam didefinisikan sebagaiproduk titikmereka:$\mathbf{a_{proj}}$$\mathbf{a}$$\mathbf{b}$

$$\langle \mathbf{a}, \mathbf{b} \rangle = \mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n}a_ib_i$$

di mana adalah jumlah komponen dalam vektor a dan b dan a i dan b i adalah sebagai i komponen -th vektor a dan b masing-masing. Secara intuitif, dengan menghitung produk dalam dari dua vektor, Anda menemukan "berapa banyak" vektor a berjalan ke arah vektor b . Perhatikan bahwa ini adalah jumlah yang ditandatangani, jadi nilai negatif akan berarti bahwa sudut antara dua vektor lebih besar dari 90 derajat, seperti yang diilustrasikan oleh definisi alternatif untuk operator proyeksi:$n$$\mathbf{a}$$\mathbf{b}$$a_i$$b_i$$i$$\mathbf{a}$$\mathbf{b}$$\mathbf{a}$$\mathbf{b}$

$$\mathbf{a_{proj}} = |\mathbf{a}| \cos(\theta) \mathbf{b}$$

di mana adalah sudut antara dua vektor.$\theta$

Jadi, diberi vektor dan sekelompok basis vektor b i , satu dapat menemukan "berapa banyak yang " berjalan di masing-masing arah dari masing-masing basis vektor. Biasanya, vektor-vektor dasar itu semuanya akan saling orthogonal. Dalam kasus Anda, SVD adalah dekomposisi ortogonal, sehingga kondisi ini harus dipenuhi. Jadi, untuk mencapai apa yang Anda gambarkan, Anda akan mengambil matriks vektor eigen U dan menghitung produk dalam vektor kandidat y dengan masing-masing kolom matriks:$\mathbf{a}$$\mathbf{b_i}$$\mathbf{a}$$\mathbf{U}$$\mathbf{y}$

$$p_i = \mathbf{y} \cdot \mathbf{u_i}$$

Nilai skalar yang Anda dapatkan dari setiap produk dalam menggambarkan seberapa baik vektor y "berbaris" dengan vektor eigen ke- i . Karena vektor eigen adalah ortonormal , Anda dapat merekonstruksi vektor asli y sebagai berikut:$p_i$$\mathbf{y}$$i$$\mathbf{y}$

$$\mathbf{y} = \sum_{i=1}^n p_i \mathbf{u_i}$$

Anda bertanya apakah representasi ini unik; Saya tidak yakin persis apa yang Anda maksudkan, tetapi tidak unik dalam arti bahwa vektor dapat diuraikan dengan proyeksi ke sejumlah basis ortonormal. Vektor eigen yang terkandung dalam matriks U adalah salah satu contohnya, tetapi Anda bisa menggunakan sejumlah lainnya. Misalnya, menghitung diskrit Fourier transform dari y dapat dilihat sebagai memproyeksikan itu ke basis ortonormal dari vektor eksponensial kompleks dari berbagai frekuensi.$\mathbf{y}$$\mathbf{U}$$\mathbf{y}$