Ukuran kesamaan atau jarak antara dua matriks kovarian

28

Apakah ada ukuran kesamaan atau jarak antara dua matriks kovarians simetris (keduanya memiliki dimensi yang sama)?

Saya berpikir di sini analog dengan KL divergensi dari dua distribusi probabilitas atau jarak Euclidean antara vektor kecuali diterapkan pada matriks. Saya membayangkan akan ada beberapa pengukuran kesamaan.

Idealnya saya juga ingin menguji hipotesis nol bahwa dua matriks kovarian identik.

distributions hypothesis-testing covariance-matrix kullback-leibler information-theory Ram Ahluwalia
sumber

3

jawaban atas pertanyaan ini: quant.stackexchange.com/q/121/108 mungkin bermanfaat.

shabbychef

2

pertanyaan dan jawaban yang sangat baik pada tautan - terima kasih - ya ini adalah tujuan saya :)

Ram Ahluwalia

2

Pertanyaan terkait: Plot diagnostik untuk menilai homogenitas matriks varians-kovarians . Makalah terkait: Prosedur sederhana untuk perbandingan matriks kovarian .

Amuba kata Reinstate Monica

21

Anda dapat menggunakan salah satu norma (lihat Wikipedia tentang berbagai norma; perhatikan bahwa akar kuadrat dari jumlah jarak kuadrat, , disebut norma Frobenius, dan berbeda dari norma , yang merupakan akar kuadrat dari nilai eigen terbesar , meskipun tentu saja mereka akan menghasilkan topologi yang sama). Jarak KL antara dua distribusi normal dengan cara yang sama (katakan nol) dan dua matriks kovarian spesifik juga tersedia di Wikipedia sebagai . $\| A-B \|_p$ $\sqrt{\sum_{i,j} (a_{ij}-b_{ij})^2}$ $L_2$ $(A-B)^2$ $\frac12 [ \mbox{tr} (A^{-1}B) - \mbox{ln}( |B|/|A| ) ]$

Sunting: jika salah satu dari matriks adalah matriks tersirat model, dan yang lainnya adalah matriks kovarians sampel, maka tentu saja Anda dapat membentuk tes rasio kemungkinan antara keduanya. Koleksi favorit saya pribadi dari tes tersebut untuk struktur sederhana diberikan dalam Rencher (2002) Metode Analisis Multivariat . Kasus yang lebih maju dibahas dalam pemodelan struktur kovarians, di mana titik awal yang masuk akal adalah Bollen (1989) Persamaan Struktural dengan Variabel Laten .

Tugas
sumber

saya punya masalah dengan : itu tidak memberikan nilai yang sama jika Anda mengubah dan (Jarak nyata harus simetris).

1 / 2 (tr (A^{- 1} B) - \log (| B | / | A |))

$1/2(\verb+tr+(A^{-1}B)-\log(|B|/|A|))$

A

$A$

B

$B$

user603

saya punya masalah dengan : itu bukan affine equivariant (jika Anda memutar matriks, ada perubahan jarak!). Selain itu, Anda harus entah bagaimana skala matriks Anda (mereka mungkin diukur dalam unit yang sangat berbeda), juga, itu wajar untuk mengharuskan bahwa jarak antara dua matriks kovarian sama dengan jarak antara matriks korelasi yang sesuai: jadi saya sarankan .

(A - B)^{2}

$(A-B)^2$

(A det (A)^{- 1 / p} - B det (B)^{- 1 / p})^{2}

$(A\det(A)^{-1/p}-B\det(B)^{-1/p})^2$

user603

2

Pertama, KL bukan jarak nyata, dan itu fakta yang sudah diketahui. Kedua, jika matriks diukur dalam unit yang berbeda, mereka tidak bisa sama.

StasK

Apakah jarak KL mirip dengan rasio kemungkinan, atau apakah mereka terkait?

hashmuke

7

Mendenotasikan dan matriks Anda berdua dimensi . $\varSigma_1$ $\varSigma_2$ $p$

Nomor : mana ( ) adalah nilai eigen terbesar (terkecil) dari , di mana didefinisikan sebagai: $\log(\lambda_1)-\log(\lambda_p)$ $\lambda_1$ $\lambda_p$ $\varSigma^*$ $\varSigma^*$ $\varSigma^*:=\varSigma_1^{-1/2}\varSigma_2\varSigma_1^{-1/2}$

Sunting: Saya mengedit proposal kedua dari kedua. Saya pikir saya telah salah mengerti pertanyaan itu. Proposal berdasarkan angka kondisi banyak digunakan dalam statistik yang kuat untuk menilai kualitas kecocokan. Sumber lama yang bisa saya temukan untuk itu adalah:

Yohai, VJ dan Maronna, RA (1990). Bias Maksimum Kovarian yang Kuat. Komunikasi dalam Statistik – Teori dan Metode, 19, 3925–2933.

Saya awalnya termasuk ukuran rasio Det:

Rasio : mana . $\log(\det(\varSigma^{**})/\sqrt{\det(\varSigma_2)*\det(\varSigma_1)})$ $\varSigma^{**}=(\varSigma_1+\varSigma_2)/2$

yang akan menjadi jarak Bhattacharyya antara dua distribusi Gaussian yang memiliki vektor lokasi yang sama. Awalnya saya harus membaca pertanyaan yang berkaitan dengan pengaturan di mana dua kovarian berasal dari sampel dari populasi diasumsikan memiliki sarana yang sama.

pengguna603
sumber

7

Ukuran yang diperkenalkan oleh Herdin (2005) Correlation Matrix Distance, Ukuran yang Berarti untuk Evaluasi Saluran MIMO Non-Stasioner adalah mana normanya adalah norma Frobenius.

d = 1 - \frac{tr (R_{1} \cdot R_{2})}{‖ R_{1} ‖ \cdot ‖ R_{2} ‖},

$d = 1 - \frac{\text{tr}(R_1 \cdot R_2)}{\|R_1\| \cdot \|R_2\|},$

davidc
sumber

+1. Terima kasih banyak atas jawaban ini, itu sangat membantu saya.

Amoeba berkata Reinstate Monica

1

Ini adalah satu kesamaan minus cosinus, kan?

Firebug

4

Jarak matriks kovarians digunakan untuk melacak objek dalam Computer Vision.

Metrik yang saat ini digunakan dijelaskan dalam artikel: "Metrik untuk matriks kovarians" , oleh Förstner dan Moonen.

Andres Romero
sumber

Ukuran kesamaan atau jarak antara dua matriks kovarian

Jawaban: