Bagaimana cara mendapatkan "nilai eigen" (persentase dari varian yang dijelaskan) dari vektor yang bukan vektor eigen PCA?

Saya ingin memahami bagaimana saya bisa mendapatkan persentase varians dari kumpulan data, bukan di ruang koordinat yang disediakan oleh PCA, tetapi terhadap serangkaian vektor (rotasi) yang sedikit berbeda.

set.seed(1234)
xx <- rnorm(1000)
yy <- xx * 0.5 + rnorm(1000, sd = 0.6)
vecs <- cbind(xx, yy)
plot(vecs, xlim = c(-4, 4), ylim = c(-4, 4))
vv <- eigen(cov(vecs))$vectors
ee <- eigen(cov(vecs))$values
a1 <- vv[, 1]
a2 <- vv[, 2]
theta = pi/10
rotmat <- matrix(c(cos(theta), sin(theta), -sin(theta), cos(theta)), 2, 2)
a1r <- a1 %*% rotmat
a2r <- a2 %*% rotmat
arrows(0, 0, a1[1], a1[2], lwd = 2, col = "red")
arrows(0, 0, a2[1], a2[2], lwd = 2, col = "red")
arrows(0, 0, a1r[1], a1r[2], lwd = 2, col = "green3")
arrows(0, 0, a2r[1], a2r[2], lwd = 2, col = "green3")
legend("topleft", legend = c("eigenvectors", "rotated"), fill = c("red", "green3"))

Jadi pada dasarnya saya tahu bahwa varian dataset sepanjang masing-masing sumbu merah, yang diberikan oleh PCA, diwakili oleh nilai eigen. Tetapi bagaimana saya bisa mendapatkan varian yang setara, dengan jumlah yang sama, tetapi memproyeksikan dua sumbu yang berbeda dalam warna hijau, yang merupakan rotasi oleh pi / 10 dari sumbu komponen utama. IE memberikan dua vektor unit ortogonal dari asalnya, bagaimana saya bisa mendapatkan varians dari dataset sepanjang masing-masing sumbu acak (tapi ortogonal) ini, sehingga semua varians diperhitungkan (yaitu "nilai eigen" sama dengan yang ada pada PCA).

r variance pca linear-algebra Thomas Browne
sumber

Sangat terkait: stats.stackexchange.com/questions/8630 .

amoeba

Jawaban:

$X$ $n$ $d$ $\{v_1, ..., v_k\}$ $v_i$ $\text{Var}(X v_i)$

$k = d$ $k < d$

$R^2$ $S$

R^{2} = \frac{1}{S} \sum_{i = 1}^{k} Var (X v_{i})

$R^2 = \frac{1}{S}\sum_{i=1}^{k} \text{Var}(X v_i)$

Ini hanya rasio dari jumlah penjumlahan dari proyeksi dan jumlah penjumlahan di sepanjang dimensi asli.

$R^2$ $i$ $x_{(i)}$ $V$ $i$ $V$ $p_{(i)} = x_{(i)} V$ $k < d$ $\hat{x}_{(i)} = p_{(i)} V^T$

E = \frac{1}{n} ‖ x_{(i)} - {\hat{x}}_{(i)} ‖^{2}

$E = \frac{1}{n} \|x_{(i)} - \hat{x}_{(i)}\|^2$

$R^2$ $\text{MSE}$ $\text{Var}_{\text{total}}$ $R^2 = 1 - \text{MSE} / \text{Var}_{\text{total}}$ $E$ $S$

R^{2} = 1 - \frac{E}{S}

$R^2 = 1 - \frac{E}{S}$

$S$ $R^2$

$R^2$ $k = d$ $R^2$ $k < d$ $R^2$

pengguna20160
sumber

R^{2}

$R^2$ try[ing] to reconstruct the data from the projections

V

$V$

v

$v$

R^{2}

$R^2$

Ya, itu poin yang bagus dan penjelasan yang bagus

user20160

Bagaimana jika saya tidak memiliki matriks data, tetapi hanya matriks kovarians? Jumlah diagonal dari matriks kovarians memberi saya total varians, dan jika saya menerapkan PCA ke matriks kovarians, nilai eigen akan memberikan varians di sepanjang setiap arah baru, sehingga varians yang dijelaskan adalah nilai eigen / total varians. Tapi apa vektor saya bukan vektor eigen?

Bingung

... Sejauh yang saya tahu, jika kita mulai dengan matriks kovarians C , maka dalam hal ini kita perlu mengambil | Cv_i | / sum (diag ( C )) untuk mendapatkan penjelasan% varians.

Bingung