Apa kata invers dari matriks kovarian tentang data? (Secara intuitif)

Saya ingin tahu tentang sifat . Adakah yang bisa mengatakan sesuatu yang intuitif tentang "Apa yang dikatakan tentang data?" $\Sigma^{-1}$ $\Sigma^{-1}$

Sunting:

Terima kasih atas balasannya

Setelah mengikuti beberapa kursus hebat, saya ingin menambahkan beberapa poin:

Ini adalah ukuran informasi, yaitu, adalah jumlah info di sepanjang arah . $x^T\Sigma^{-1}x$ $x$
Dualitas: Karena adalah pasti positif, demikian pula , jadi mereka adalah norma-norma produk-titik, lebih tepatnya mereka adalah norma ganda satu sama lain, sehingga kami dapat memperoleh Fenchel ganda untuk masalah kuadrat terkecil yang diatur, dan melakukan maksimalisasi wrt masalah ganda. Kita dapat memilih salah satu dari mereka, tergantung pada kondisi mereka. $\Sigma$ $\Sigma^{-1}$
Ruang Hilbert: Kolom (dan baris) dan menjangkau ruang yang sama. Jadi tidak ada keuntungan (selain itu ketika salah satu dari matriks ini dikondisikan dengan buruk) antara representasi dengan atau $\Sigma^{-1}$ $\Sigma$ $\Sigma^{-1}$ $\Sigma$
Statistik Bayesian: norma memainkan peran penting dalam statistik Bayesian. Yaitu menentukan berapa banyak informasi yang kita miliki sebelumnya, misalnya, ketika kovarians dari kepadatan sebelumnya seperti kita memiliki non-informatif (atau mungkin Jeffreys sebelumnya) $\Sigma^{-1}$ $\|\Sigma^{-1}\|\rightarrow 0$
Statistik Frequentist: Ini terkait erat dengan informasi Fisher, menggunakan ikatan Cramér-Rao. Bahkan, matriks informasi fisher (produk luar dari gradien log-kemungkinan dengan dirinya sendiri) adalah Cramér-Rao terikat, yaitu $\Sigma^{-1}\preceq \mathcal{F}$ (kerucut semi-pasti positif, konsentrasi baru), konsentrasi baru ellipsoid). Jadi ketika $\Sigma^{-1}=\mathcal{F}$ estimator kemungkinan maksimum efisien, yaitu informasi maksimum ada dalam data, sehingga rezim frequentist optimal. Dengan kata sederhana, untuk beberapa fungsi kemungkinan (perhatikan bahwa bentuk fungsional dari kemungkinan semata-mata tergantung pada model probablistik yang diduga menghasilkan data, alias model generatif), kemungkinan maksimum adalah penduga yang efisien dan konsisten, aturan seperti bos. (maaf karena menagih berlebihan)

bayesian maximum-likelihood covariance matrix Arya
sumber

Saya pikir PCA mengambil vektor eigen dengan nilai eigen besar daripada nilai eigen kecil.

wdg

(3) Tidak benar, karena sama artinya dengan menyatakan kolom adalah (hingga permutasi), yang hanya berlaku untuk matriks identitas.

Σ^{- 1}

$\Sigma^{-1}$

Σ

$\Sigma$

whuber

Jawaban:

Ini adalah ukuran presisi seperti adalah ukuran dispersi. $\Sigma$

Lebih rumitnya, adalah ukuran bagaimana variabel-variabel tersebar di sekitar rata-rata (elemen diagonal) dan bagaimana mereka saling bervariatif dengan elemen variabel lain (off-diagonal). Semakin dispersi semakin jauh jaraknya dari rerata dan semakin ragamnya (dalam nilai absolut) dengan variabel lain semakin kuat kecenderungan mereka untuk 'bergerak bersama' (dalam arah yang sama atau berlawanan tergantung pada tanda kovarians). $\Sigma$

Demikian pula, adalah ukuran seberapa ketatnya variabel dikelompokkan di sekitar rata-rata (elemen diagonal) dan sejauh mana mereka tidak bervariasi dengan variabel lain (elemen off-diagonal). Dengan demikian, semakin tinggi elemen diagonal, semakin ketat variabel dikelompokkan di sekitar rata-rata. Penafsiran elemen-elemen off-diagonal lebih halus dan saya merujuk Anda ke jawaban lain untuk interpretasi itu. $\Sigma^{-1}$

menopang
sumber

Contoh tandingan yang kuat untuk pernyataan terakhir Anda tentang elemen diagonal di diberikan oleh contoh nontrivial yang paling sederhana dalam dua dimensi, Nilai off-diagonal yang lebih besar sesuai dengan nilai yang lebih ekstrim dari koefisien korelasi yang merupakan kebalikan dari apa yang Anda katakan.

Σ^{- 1}

$\Sigma^{-1}$

Σ^{- 1} = (\begin{array}{cc} \frac{1}{1 - ρ^{2}} & - \frac{ρ}{1 - ρ^{2}} \\ - \frac{ρ}{1 - ρ^{2}} & \frac{1}{1 - ρ^{2}} \end{array}) .

$\Sigma^{-1}=\left( \begin{array}{cc} \frac{1}{1-\rho ^2} & -\frac{\rho }{1-\rho ^2} \\ -\frac{\rho }{1-\rho ^2} & \frac{1}{1-\rho ^2} \\ \end{array} \right).$

ρ,

$\rho,$

whuber

@whuber Benar. Saya harus menyingkirkan kata 'absolut' dalam kalimat terakhir. Terima kasih

menopang

Terima kasih, tetapi itu masih belum menyembuhkan masalah: hubungan yang Anda nyatakan antara elemen off-diagonal dari invers dan co-variasi tidak ada.

whuber

@whuber saya pikir begitu. Dalam contoh Anda, elemen off-diagonal negatif. Oleh karena itu, sebagai meningkat elemen off-diagonal menurun. Anda dapat memeriksanya dengan memperhatikan hal berikut: at elemen off-diagonal adalah ; ketika mendekati pendekatan elemen off-diagonal dan turunan dari elemen off-diagonal sehubungan dengan adalah negatif.

ρ

$\rho$

ρ = 0

$\rho = 0$

0

$0$

ρ

$\rho$

1

$1$

- \infty

$-\infty$

ρ

$\rho$

menopang

Elemen off-diagonal saya adalah positif ketika

ρ < 0.

$\rho\lt 0.$

whuber

Menggunakan superskrip untuk menunjukkan elemen invers, adalah varian komponen variabel yang tidak berkorelasi dengan variabel lainnya, dan adalah korelasi parsial dari variabel dan , mengendalikan variabel lainnya. $1/\sigma^{ii}$ $i$ $p-1$ $-\sigma^{ij}/\sqrt{\sigma^{ii}\sigma^{jj}}$ $i$ $j$ $p-2$

Ray Koopman
sumber