Variabel “normalisasi” untuk SVD / PCA

Misalkan kita memiliki $N$ variabel terukur, $(a_1, a_2, \ldots, a_N)$ , kita melakukan sejumlah $M > N$ pengukuran, dan kemudian ingin melakukan dekomposisi nilai singular pada hasil untuk menemukan sumbu varians tertinggi untuk poin $M$ dalam $N$ dimensi ruang. ( Catatan: asumsikan bahwa sarana $a_i$ telah dikurangi, jadi $\langle a_i \rangle = 0$ untuk semua $i$ .)

Sekarang anggaplah satu (atau lebih) variabel memiliki magnitudo karakteristik yang berbeda secara signifikan daripada variabel lainnya. Misalnya $a_1$ dapat memiliki nilai dalam kisaran $10-100$ sedangkan sisanya dapat sekitar $0.1-1$ . Ini akan sangat condong ke sumbu varian tertinggi terhadap sumbu $a_1$ .

Perbedaan dalam besaran mungkin semata-mata karena pilihan yang tidak menguntungkan dari satuan pengukuran (jika kita berbicara tentang data fisik, misalnya kilometer vs meter), tetapi sebenarnya variabel yang berbeda mungkin memiliki dimensi yang sama sekali berbeda (misalnya berat vs volume), jadi mungkin tidak ada cara yang jelas untuk memilih unit "sebanding" untuk mereka.

Pertanyaan: Saya ingin tahu apakah ada cara standar / umum untuk menormalkan data untuk menghindari masalah ini. Saya lebih tertarik pada teknik standar yang menghasilkan besaran yang sebanding untuk $a_1 - a_N$ untuk tujuan ini daripada menghasilkan sesuatu yang baru.

EDIT: Satu kemungkinan adalah untuk menormalkan setiap variabel dengan standar deviasinya atau yang serupa. Namun, masalah berikut muncul kemudian: mari kita menafsirkan data sebagai titik awan dalam ruang $N$ dimensi. Cloud titik ini dapat diputar, dan jenis normalisasi ini akan memberikan hasil akhir yang berbeda (setelah SVD) tergantung pada rotasi. (Misalnya dalam kasus paling ekstrim bayangkan memutar data dengan tepat untuk menyelaraskan sumbu utama dengan sumbu utama.)

Saya berharap tidak akan ada cara rotasi-invarian untuk melakukan ini, tapi saya akan menghargai jika seseorang dapat mengarahkan saya ke beberapa diskusi tentang masalah ini dalam literatur, terutama mengenai peringatan dalam interpretasi hasil.

Tiga normalisasi yang umum adalah pemusatan, penskalaan, dan standarisasi.

Biarkan menjadi variabel acak.$X$

Centering adalah

Hasil akan memiliki .$x^*$$\bar{x^*}=0$

Penskalaan adalah

Hasil akan memiliki .$x^*$$\sum_{i}{{{x_i^*}}^2} = 1$

Standarisasi adalah penskalaan lalu penskalaan. Hasil akan memiliki dan .$x^*$$\bar{x^*}=0$$\sum_{i}{{{x_i^*}}^2} = 1$

Anda benar bahwa memiliki variabel individual dengan varian yang sangat berbeda dapat menimbulkan masalah untuk PCA, terutama jika perbedaan ini disebabkan oleh unit yang berbeda atau dimensi fisik yang berbeda. Untuk alasan itu, kecuali semua variabel dapat dibandingkan (jumlah fisik yang sama, unit yang sama), disarankan untuk melakukan PCA pada matriks korelasi dan bukan matriks kovarians. Lihat disini:

• PCA tentang korelasi atau kovarian?

Melakukan PCA pada matriks korelasi sama dengan standarisasi semua variabel sebelum analisis (dan kemudian melakukan PCA pada matriks kovarians). Standarisasi berarti memusatkan dan kemudian membagi masing-masing variabel dengan deviasi standarnya, sehingga semuanya menjadi varian unit. Ini dapat dilihat sebagai "perubahan unit" yang nyaman, untuk membuat semua unit dapat dibandingkan.

Orang bisa bertanya apakah kadang-kadang ada cara yang lebih baik untuk "menormalkan" variabel; mis. seseorang dapat memilih untuk membaginya dengan beberapa estimasi varian yang kuat, bukan oleh varians mentah. Ini ditanyakan di utas berikut, dan lihat diskusi berikutnya (meskipun tidak ada jawaban pasti diberikan di sana):

• Mengapa kita membaginya dengan standar deviasi dan bukan faktor standardisasi lain sebelum melakukan PCA?

Akhirnya, Anda khawatir bahwa normalisasi dengan standar deviasi (atau yang serupa) bukan rotasi invarian. Ya tidak. Tapi, seperti yang dikatakan @whuber dalam komentar di atas, tidak ada cara rotasi invarian untuk melakukannya: mengubah unit variabel individual bukanlah operasi invarian rotasi ! Tidak ada yang perlu dikhawatirkan di sini.

Teknik umum sebelum menerapkan PCA adalah dengan mengurangi mean dari sampel. Jika Anda tidak melakukannya, vektor eigen pertama akan menjadi mean. Saya tidak yakin apakah Anda telah melakukannya tetapi biarkan saya membicarakannya. Jika kita berbicara dalam kode MATLAB: ini

clear, clf
clc
%% Let us draw a line
scale = 1;
x = scale .* (1:0.25:5);
y = 1/2*x + 1;

%% and add some noise
y = y + rand(size(y));

%% plot and see
subplot(1,2,1), plot(x, y, '*k')
axis equal

%% Put the data in columns and see what SVD gives
A = [x;y];
[U, S, V] = svd(A);

hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found directly')

%% Now, subtract the mean and see its effect
A(1,:) = A(1,:) - mean(A(1,:));
A(2,:) = A(2,:) - mean(A(2,:));

[U, S, V] = svd(A);

subplot(1,2,2)
plot(x, y, '*k')
axis equal
hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found after subtracting mean')

Seperti yang dapat dilihat dari gambar, saya pikir Anda harus mengurangi mean dari data jika Anda ingin menganalisis varians (co) yang lebih baik. Maka nilainya tidak akan antara 10-100 dan 0,1-1, tetapi rata-rata semua akan menjadi nol. Varians akan ditemukan sebagai nilai eigen (atau kuadrat dari nilai singular). Vektor eigen yang ditemukan tidak terpengaruh oleh skala dimensi untuk kasus ketika kita mengurangi rata-rata sebanyak kasus ketika kita tidak. Sebagai contoh, saya telah menguji dan mengamati hal-hal berikut yang memberi tahu mengurangi mean mungkin penting untuk kasus Anda. Jadi masalahnya mungkin hasil bukan dari varians tetapi dari perbedaan terjemahan.

% scale = 0.5, without subtracting mean
U =

-0.5504   -0.8349
-0.8349    0.5504


% scale = 0.5, with subtracting mean
U =

-0.8311   -0.5561
-0.5561    0.8311


% scale = 1, without subtracting mean
U =

-0.7327   -0.6806
-0.6806    0.7327

% scale = 1, with subtracting mean
U =

-0.8464   -0.5325
-0.5325    0.8464


% scale = 100, without subtracting mean
U =

-0.8930   -0.4501
-0.4501    0.8930


% scale = 100, with subtracting mean
U =

-0.8943   -0.4474
-0.4474    0.8943

Untuk menormalkan data untuk PCA, rumus berikut juga digunakan

$\text{SC}=100\frac{X-\min(X)}{\max(X)-\min(X)}$

di mana adalah nilai mentah untuk indikator itu untuk negara pada tahun , dan menggambarkan semua nilai mentah di semua negara untuk indikator itu sepanjang tahun.c t $X$$c$$t$$X$