Mengapa matriks korelasi harus semi-pasti positif dan apa artinya menjadi semi-pasti positif atau tidak?

34

Saya telah meneliti makna properti semi-pasti positif dari korelasi atau matriks kovarians.

Saya mencari informasi tentang

  • Definisi semi-definiteness positif;
  • Sifatnya yang penting, implikasi praktis;
  • Konsekuensi dari memiliki determinan negatif, berdampak pada analisis multivariat atau hasil simulasi dll.
Melon
sumber
5
Apakah Anda ingin memahami apa yang semi-kepastian adalah , atau apakah Anda ingin tahu mengapa matriks korelasi harus menjadi semi-pasti, atau apakah Anda ingin tahu hasil penting apa yang tersirat oleh properti ini?
Whuber
4
Jika matriks korelasi mana yang tidak semi-positif pasti maka Anda bisa mendapatkan varians yang negatif.
Saya sedikit mengedit pertanyaan Anda, silakan periksa. Juga, harap dicatat bahwa matriks dengan angka eigen negatif dengan nilai genap masih akan memiliki penentu positif.
ttnphns
Matriks kovarians TIDAK selalu sama dengan matriks korelasi! Kovarian mempertimbangkan variabel dinormalisasi sedangkan matriks korelasi tidak.
Manoj Kumar
1
Pertanyaan terkait: Apakah setiap matriks kovarian pasti positif? mempertimbangkan kasus yang lebih luas dari matriks kovarians, di mana matriks korelasi adalah kasus khusus; juga apakah setiap matriks korelasi positif semi-pasti? dan apakah setiap matriks korelasi positif pasti?
Silverfish

Jawaban:

38

Varians dari jumlah tertimbang dari variabel acak harus positif untuk semua pilihan bilangan real a i . Karena varians dapat dinyatakan sebagai var ( Σ i a i X i ) = Σ i Σ j a i a j cov ( X i , X j ) = Σ i Σ j a i a j Σ i , j ,sayaSebuahsayaXsayaSebuahsaya

var(sayaSebuahsayaXsaya)=sayajSebuahsayaSebuahjcov(Xsaya,Xj)=sayajSebuahsayaSebuahjΣsaya,j,
kami memiliki bahwa matriks kovarians harus semidefinit positif (yang kadang-kadang disebut nonnegatif pasti). Ingatlah bahwa matriks C disebut semidefinit positif jika dan hanya jika i j a i a j C i , j0Σ=[Σsaya,j]C
sayajSebuahsayaSebuahjCsaya,j0Sebuahsaya,SebuahjR.
Dilip Sarwate
sumber
Terima kasih, saya menghapus downvote saya, tetapi saya tidak upvote karena tidak menjawab tentang implikasi praktis. Katakanlah saya memiliki matriks yang tidak pasti positif (karena untuk contoh modifikasi oleh 'ahli'). Apa yang akan terjadi jika saya menggunakannya untuk mengkalibrasi dan / atau mensimulasikan data? Secara khusus, apakah ini masalah nyata ketika mencoba mempelajari jumlah besar dan hanya ada beberapa nilai eigen negatif? Apa yang akan menjadi algoritma yang efisien untuk mengubah matriks korelasi semi-pasti non-positif menjadi semi-positif yang positif? Apa yang akan menjadi dampak dari algoritma ini?
lcrmorin
@Were_cat Terima kasih atas pembalikan downvote.
Dilip Sarwate
Bisakah Anda jelaskan persamaan pertama dalam persamaan pertama?
Vivek Subramanian
1
@VivekSubramanian Variance adalah kasus khusus dari fungsi kovarians: dan fungsi kovarians adalah bilinear (artinya ini adalah fungsi linear sehubungan dengan setiap argumen: cov ( ¢ i a i X i , Y )var(X)=cov(X,X)
cov(sayaSebuahsayaXsaya,Y)=sayaSebuahsayacov(Xsaya,Y)cov(X,sayabjYj,)=jbjcov(X,Yj)
18

Jawabannya cukup sederhana.

Matriks korelasi didefinisikan sebagai berikut:

X=[x1,x2,...,xn]m×nmn

Xb=[(x1-μ1e)s1,(x2-μ2e)s2,(x3-μ3e)s3,...]μ1μ2s1e

Matriks korelasi kemudian

C=XbXb

SEBUAHzzSEBUAHz<0

CwCw<0

(wCw)=(wXbXbw)=(Xbw)(Xbw)=z12+z22...z=XbwwCw

UVV

Gregor
sumber
2
Sejauh ini, inilah jawaban yang paling ringkas dan bermanfaat. Terima kasih!
Yohan Obadia
12

(Kemungkinan kelonggaran dalam bernalar akan menjadi milik saya. Saya bukan ahli matematika: ini adalah penggambaran, bukan bukti, dan dari eksperimen numerik saya, bukan dari buku.)

  1. Sebuah positif semidefinite matriks (PSD), juga disebut matriks Gramian, adalah matriks tanpa nilai eigen negatif. Matriks dengan nilai eigen negatif bukan semidefinit positif, atau non-Gramian. Kedua hal ini dapat pasti (tidak ada nilai eigen nol) atau tunggal (dengan setidaknya satu nilai eigen nol). [Kata "Gramian" digunakan dalam beberapa arti berbeda dalam matematika, jadi mungkin harus dihindari.]
  2. Dalam statistik, kami biasanya menerapkan persyaratan ini ke matriks tipe-SSCP, juga disebut matriks produk skalar. Matriks korelasi atau kovarian adalah kasus khusus dari matriks tersebut .
  3. Matriks produk skalar apa pun adalah karakteristik ringkasan dari beberapa data multivarian (cloud). Misalnya diberikann kasus X hal data variabel, kita bisa menghitung halXhal matriks kovarians antara variabel atau nXnmatriks kovarians antara kasus-kasus. Saat Anda menghitungnya dari data nyata, matriks akan selalu menjadi Gramian. Anda bisa mendapatkan matriks non-Gram (non-psd) jika (1) matriks kemiripan diukur secara langsung (yaitu tidak dihitung dari data) atau ukuran kesamaan bukan tipe-SSCP; (2) nilai matriks salah dimasukkan; (3) matriksnya sebenarnya adalah Gramian tetapi hampir (hampir sama) adalah singular sehingga kadang-kadang metode spektral penghitungan nilai-nilai eigen menghasilkan nilai-nilai negatif kecil di tempat benar-benar nol atau positif kecil.
  4. Ringkasan alternatif dan setara untuk awan adalah matriks jarak euclidean. Produk skalar (seperti kovarians) antara sepasang barang dan jarak euclide kuadrat yang sesuai di antara mereka diikat oleh hukum cosinus ( teorema kosinus , lihat gambar di sana):d122=h12+h22-2s12, Dimana s adalah produk skalar dan hAdalah jarak dari dua item dari asal. Dalam hal matriks kovarians antar variabelX dan Y rumus ini terlihat seperti dxy2=σx2+σy2-2cHaivxy.
  5. Sebagai kesimpulan sementara: matriks kovarians (atau korelasi atau produk skalar lainnya) antara beberapa m item adalah konfigurasi titik yang tertanam dalam ruang Euclidean, sehingga jarak euclidean didefinisikan di antara semua ini m poin.
  6. Sekarang, jika [poin 5] benar-benar berlaku, maka konfigurasi titik benar-benar konfigurasi euclidean yang mensyaratkan bahwa matriks produk skalar yang ada (misalnya kovarians) adalah Gramian. Kalau tidak, itu bukan Gramian. Jadi, untuk mengatakan "mXm Matriks kovarians secara positif semi-pasti "berarti" m poin plus asal cocok di ruang Euclidean dengan sempurna ".
  7. Apa kemungkinan penyebab atau versi konfigurasi non-Gram (non-Euclidean)? Jawabannya mengikuti setelah merenungkan [poin 4].
    • Penyebab 1. Kejahatan itu sendiri: mXmmatriks jarak tidak sepenuhnya euclidean. Beberapa jarak berpasangandsedemikian rupa sehingga mereka tidak bisa setuju dengan sisa poin dalam ruang Euclidean. Lihat Gambar 1.
    • Penyebab 2. Ada ketidakcocokan umum (tingkat matriks) antara hdan dini Misalnya dengan fixedddan beberapa hSudah diberikan, yang lain hHanya harus bervariasi dalam beberapa batas agar tetap sesuai dengan ruang Euclidean. Lihat Gambar 2 .
    • Penyebab 3. Ada ketidakcocokan lokal (tingkat pasangan) antara a d dan pasangan yang sesuai hTerhubung ke dua titik itu. Yaitu, aturan ketimpangan segitiga dilanggar; aturan itu menuntuth1+h2d12|h1-h2|. Lihat Gbr3.
  8. Untuk mendiagnosis penyebabnya, ubah matriks kovarians non-Gramian menjadi matriks jarak menggunakan hukum cosinus di atas. Lakukan double-centering di atasnya. Jika matriks yang dihasilkan memiliki nilai eigen negatif, penyebab 1 ada. Jika tidak ada|cHaivsayaj|>σsayaσj, karena 3 ada. Penyebab lain 2 hadir. Terkadang lebih dari satu penyebab bergaul dalam satu matriks.

Fig1.

Fig1

Fig2.

Fig2

Fig3.

Fig3

ttnphns
sumber
2
Poin 6 memerlukan demonstrasi: Anda telah menunjukkan bahwa matriks jarak Euclidean kuadrat adalah pd, tetapi Anda menyatakan tanpa bukti bahwa untuk setiap matriks pd sesuai dengan konfigurasi titik Euclidean. Anda juga belum menghubungkan definisi pd ("tidak ada nilai eigen negatif") ke salah satu penokohan berikutnya. Gagasan kuncinya muncul di akhir (titik 8): matriks pd dapat digunakan untuk menentukan jarak. Logikanya, di sinilah Anda harus memulai analisis.
whuber
@whuber: Terima kasih atas penilaian kritisnya. Aku takut, ketika datang untuk membuktikan sesuatu secara matematis , aku tenggelam. Saya telah melaporkan sebagian dari pengalaman praktis saya (saya katakan itu); jawabannya bukanlah urutan analitis. Tidakkah Anda ingin menambahkan jawaban Anda sendiri yang dapat memperbaiki / memperbaiki jawaban saya? Itu bisa jadi bantuan yang berharga. Atau, Anda bebas mengerjakan teks saya untuk memperbaikinya jika ternyata tidak sia-sia.
ttnphns
PS My point 8 menyiratkan bahwa karena pemusatan dua kali mengaitkan konfigurasi titik ke pusatnya, operasi ini sendiri tidak memperkenalkan non-euclidity (hanya menghasilkan singularitas karena titik baru, pusat, milik ruang yang sama). Dari sana kita dapat memeriksa apakah konfigurasi awal adalah euclidean. Apakah itu tidak benar?
ttnphns