Apakah ada interpretasi intuitif dari

Untuk matriks data diberikan (dengan variabel dalam kolom dan titik data dalam baris), sepertinya A T A memainkan peran penting dalam statistik. Sebagai contoh, ini adalah bagian penting dari solusi analitik kuadrat terkecil biasa. Atau, untuk PCA, vektor eigennya adalah komponen utama data.$A$$A^TA$

Saya mengerti bagaimana menghitung , tapi saya bertanya-tanya apakah ada interpretasi intuitif dari apa yang diwakili matriks ini, yang mengarah ke peran penting?$A^TA$

Secara geometris, matriks disebut matriks produk skalar (= produk titik, = produk dalam). Secara aljabar, ini disebut sum-of-squares-and-cross-products matrix ( SSCP ).$\bf A'A$

Elemen diagonal ke- nya sama dengan β a 2 ( i ) , di mana a ( i ) menunjukkan nilai-nilai di kolom ke- i dari A dan β adalah jumlah seluruh baris. The i j th off-diagonal elemen di dalamnya adalah Σ a ( i ) a ( j ) .$i$$\sum a_{(i)}^2$$a_{(i)}$$i$$\bf A$$\sum$$ij$$\sum a_{(i)}a_{(j)}$

Ada sejumlah koefisien asosiasi penting dan matriks kuadratnya disebut persamaan sudut atau persamaan tipe SSCP:

• Membagi matriks SSCP dengan , ukuran sampel atau jumlah baris A , Anda mendapatkan matriks MSCP (mean-square-and-cross-product). Rumus berpasangan ukuran asosiasi ini adalah maka Σ x $n$$\bf A$ (dengan vektorxdanymenjadi pasangan kolom dariA).$\frac{\sum xy}{n}$$x$$y$$\bf A$

• Jika Anda memusatkan kolom (variabel) dari , maka A ′ A adalah pencar (atau co-sebar, jika harus keras) matriks dan A ′ A / ( n - 1 ) adalah matriks kovarians . Rumus kovarians berpasangan adalah ∑ c x c $\bf A$$\bf A'A$$\mathbf {A'A}/(n-1)$ dengancxdancy yangmenunjukkan kolom tengah.$\frac{\sum c_xc_y}{n-1}$$c_x$$c_y$

• Jika Anda z- membakukan kolom (kurangi rata-rata kolom dan dibagi dengan deviasi standar), maka A ′ A / ( n - 1 ) adalah matriks korelasi Pearson : korelasi adalah kovarians untuk variabel standar. Rumus korelasi berpasangan adalah ∑ z x z $\bf A$$\mathbf {A'A}/(n-1)$ denganzxdanzy yangmenunjukkan kolom standar. Korelasi ini juga disebut koefisien linearitas.$\frac{\sum z_xz_y}{n-1}$$z_x$$z_y$

• Jika Anda satuan skala kolom (membawa SS, jumlah-kuadrat, ke 1), maka A ′ A adalah matriks kesamaan cosinus . Rumus berpasangan yang ekuivalen dengan demikian nampaknya adalah ∑ u x u y = ∑ x $\bf A$$\bf A'A$ denganuxdanuy yangmenunjukkan kolom dinormalisasi L2. Kesamaan cosine juga disebut koefisien proporsionalitas.$\sum u_xu_y = \frac{\sum{xy}}{\sqrt{\sum x^2}\sqrt{\sum y^2}}$$u_x$$u_y$

• Jika Anda pusat dan kemudian unit- skala kolom dari , maka A ' A adalah lagi Pearson korelasi matriks, karena korelasi adalah cosinus untuk variabel berpusat 1 , 2 : Σ c u x c u y = Σ c x c $\bf A$$\bf A'A$$^{1,2}$$\sum cu_xcu_y = \frac{\sum{c_xc_y}}{\sqrt{\sum c_x^2}\sqrt{\sum c_y^2}}$

Di samping keempat ukuran asosiasi utama ini, mari kita juga menyebutkan beberapa lainnya, juga berdasarkan pada , sebagai tambahan. Mereka dapat dilihat sebagai ukuran alternatif untuk cosinus kesamaan karena mereka mengadopsi berbeda dari normalisasi, penyebut dalam rumus:$\bf A'A$

• Koefisien identitas [Zegers & ten Berge, 1985] memiliki penyebutnya dalam bentuk rata-rata aritmatika daripada rata-rata geometris: . Itu bisa 1 jika dan hanya jika kolom yang dibandingkan dariAadalah identik.$\frac{\sum{xy}}{(\sum x^2+\sum y^2)/2}$$\bf A$

• $\frac{\sum{xy}}{\sum x^2 + \sum y^2 -\sum {xy}} = \frac{\sum{xy}}{\sum {xy} + \sum {(x-y)^2}}$

• $\bf A$$\bf \sqrt {A}'\sqrt A$

$^1$$\bf A'A$$\bf s$$\bf A$$n$$\bf C = A'A-s's/ \it n$$\mathbf C/(n-1)$$\bf C$$\bf d$$\bf R=C/\sqrt{d'd}$

$^2$$n$ (kecuali ketika menghitung mean, ke pusat).

$A^TA$$A$$A$

$A$$A^TA = I$ $-$

@NRH memberikan jawaban teknis yang bagus.

$A^TA$$A^2$

$A'A$$m \times n$$A: R^n \rightarrow R^m$$A$

$(A'A): R^n \rightarrow R^n$$\{e_1,..., e_n\}$$d_1,\ldots,d_k$

$(A'A)(x_1e_1 + \ldots + x_ne_n) = d_1x_1e_1 + ... + d_kx_ke_k$

(B) Rentang (A) = Col (A), dengan definisi Col (A). Jadi A | Row (A) memetakan Row (A) ke dalam Col (A).

$Av'= 0 \iff \text{v is in Kernel(A)} \iff v \text{is in orthogonal complement of Row(A)}$

$A(R^n)=A(\text{Row}(A))$$A|\text{Row(A)}:\text{Row(A)} \rightarrow Col(A)$

Reason: If v = r+k (r \in Row(A), k \in Kernel(A),from (c)) then
A(v) = A(r) + 0 = A(r) where A(r) = 0 <==> r = 0$.

[Kebetulan memberikan bukti bahwa peringkat Row = peringkat kolom!]

$A'|:Col(A)=\text{Row(A)} \rightarrow \text{Col(A')}=\text{Row(A)}$

$A'A(R^n) = \text{Row(A)}$

$\textbf{A}^T\textbf{A}$

$\textbf{A}^T$$\textbf{A}$$row_p$$\textbf{A}^T$$col_p$$\textbf{A}$$dot(row_p, col_p)$$(p,p)$$\textbf{A}^T \textbf{A}$

$p$$\textbf{A}^T$$k$$\textbf{A}$$dot(row_p, col_k)$$(p,k)$

$(p, k)$$\textbf{A}^T\textbf{A}$$row_p$$col_k$$row_i$$col_j$$row_i$$col_j$, dan sebaliknya.

$\textbf{A}$$i$$j \neq i$

$x\to E[x^2]$$A\to A^TA$

$x$$x_i$

$x$

$\sigma^2=E[x^2]$$A^TA$$A^TA$