Mengapa pangkat matriks kovarians paling banyak adalah

Seperti yang dinyatakan dalam pertanyaan ini , peringkat maksimum matriks kovarians adalah mana adalah ukuran sampel dan jadi jika dimensi matriks kovarians sama dengan ukuran sampel, itu akan tunggal. Saya tidak mengerti mengapa kita mengurangi dari peringkat maksimum dari matriks kovarians.n 1 $n-1$$n$$1$$n$

Estimator yang tidak bias dari matriks kovarian sampel yang diberikan $n$ titik data $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ adalah mana ˉ x =∑xi/nadalah rata-rata di semua titik. Marilah kita menyatakan(xi- ˉ x )sebagaizi. The

$$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$$ $\bar \x = \sum \x_i /n$$(\x_i-\bar \x)$$\newcommand{\z}{\mathbf z}\z_i$Faktor n - 1 tidak mengubah peringkat, dan setiap istilah dalam jumlah memiliki (menurut definisi) peringkat1, jadi inti dari pertanyaan adalah sebagai berikut:$\frac{1}{n-1}$$1$

Mengapa memiliki peringkat n - 1 dan bukan peringkat n , seperti yang terlihat karena kita menjumlahkan matriks n peringkat- 1 ?$\sum \z_i\z_i^\top$$n-1$$n$$n$$1$

Jawabannya adalah itu terjadi karena tidak independen. Dengan konstruksi, ∑ z i = 0 . Jadi, jika Anda tahu n - 1 dari z i , maka z n yang tersisa sepenuhnya ditentukan; kita tidak menjumlahkan n independen Rank 1 matriks, kita menjumlahkan hanya n - 1 independen Rank 1 matriks dan kemudian menambahkan satu lagi Rank 1 matriks yang sepenuhnya linear ditentukan oleh sisanya. Penambahan terakhir ini tidak mengubah peringkat keseluruhan.$\z_i$$\sum\z_i = 0$$n-1$$\z_i$$\z_n$$n$$1$$n-1$$1$$1$

Kita bisa melihat ini secara langsung jika kita menulis ulang sebagai z n = - n - 1 Σ i = 1 z i , dan sekarang hubungkan ke ekspresi di atas: n Σ i = 1 z i z ⊤ i = n - 1 ∑ i = 1 z i z ⊤ i + ( - n - 1 ∑ i = $\sum\z_i = 0$

$$\z_n = -\sum_{i=1}^{n-1}\z_i,$$ Sekarang hanya ada n - 1 istilah yang tersisa di penjumlahan dan menjadi jelas bahwa seluruh jumlah dapat memiliki paling banyak peringkat n - 1 . $$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$$ $n-1$$n-1$

Hasil ini, omong-omong, mengisyaratkan mengapa faktor dalam penaksir kovarians yang tidak memihak adalah dan bukan$\frac{1}{n-1}$ .$\frac{1}{n}$

Intuisi geometris yang saya singgung dalam komentar di atas adalah bahwa seseorang dapat selalu cocok dengan garis 1D untuk dua titik dalam 2D ​​dan satu selalu dapat memasukkan bidang 2D ke tiga titik dalam 3D, yaitu dimensi subruang selalu ; ini hanya berfungsi karena kami menganggap bahwa garis ini (dan bidang) dapat "bergerak" agar sesuai dengan poin kami. "Memposisikan" garis ini (atau bidang) sedemikian sehingga melewati ˉ x setara dengan berpusat pada argumen aljabar di atas.$n-1$$\bar \x$

Agak pendek, saya yakin, penjelasannya seperti ini:

Mari kita mendefinisikan matriks $n$ x $m$ matriks $x$ titik sampel data di mana $n$ adalah sejumlah variabel dan $m$ adalah sejumlah sampel untuk setiap variabel. Mari kita asumsikan bahwa tidak ada variabel yang bergantung secara linear.

Pangkat $x$ adalah $min(n,m)$ .

Mari kita mendefinisikan matriks $n$ x $m$ matriks $z$ dari variabel berpusat searah baris:

$z = x - E[x]$

$min(n,m-1)$

$\sum_{i=1}^{m}z_{*i} =0$

$z$

$x$

$cov(x,x) = \frac{1}{m-1}zz^T$

$rank(zz^T)$

$rank(zz^T) = rank(z) = min(n,m-1)$