Mengapa inversi dari matriks kovarians menghasilkan korelasi parsial antara variabel acak?

32

Saya mendengar bahwa korelasi parsial antara variabel acak dapat ditemukan dengan membalikkan matriks kovarians dan mengambil sel yang sesuai dari matriks presisi yang dihasilkan (fakta ini disebutkan dalam http://en.wikipedia.org/wiki/Partial_correlation , tetapi tanpa bukti) .

Mengapa demikian?

michal
sumber
1
Jika Anda bermaksud mendapatkan korelasi parsial dalam sel yang dikendalikan untuk semua variabel lain, maka paragraf terakhir di sini mungkin menjelaskan.
ttnphns

Jawaban:

34

Ketika variabel acak multivarian memiliki matriks kovarians nondegenerate C = ( γ i j ) = ( Cov ( X i , X j ) ) , himpunan semua kombinasi linear nyata dari X i membentuk ruang vektor nyata n -dimensi dengan basis E = ( X 1 , X 2 , ... ,(X1,X2,,Xn)C=(γij)=(Cov(Xi,Xj))Xin dan produk dalam non-degenerasi yang diberikan olehE=(X1,X2,,Xn)

Xi,Xj=γij .

Its ganda dasar sehubungan dengan produk dalam ini , , didefinisikan secara unik oleh hubunganE=(X1,X2,,Xn)

Xi,Xj=δij ,

delta Kronecker (sama dengan ketika i = j dan 0 sebaliknya).1i=j0

Dasar ganda menarik di sini karena korelasi parsial dan X j diperoleh sebagai korelasi antara bagian X i yang tersisa setelah memproyeksikannya ke ruang yang direntang oleh semua vektor lain (sebut saja " residual", X i ) dan bagian sebanding X j , yang sisa X j . Namun X i adalah vektor yang ortogonal untuk semua vektor selain X i dan memiliki produk dalam yang positif dengan X i dari mana X iXiXjXiXiXjXjXiXiXi harus berupa kelipatan X i yang tidak negatif, dan juga untuk X j . Karena itu marilah kita menulisXiXiXj

Xi=λiXi, Xj=λjXj

untuk bilangan real positif dan λ j .λiλj

Korelasi parsial adalah produk titik yang dinormalisasi dari residu, yang tidak berubah dengan men-rescaling:

ρij=Xi,XjXi,XiXj,Xj=λiλjXi,Xjλi2Xi,Xiλj2Xj,Xj=Xi,XjXi,XiXj,Xj .

(Dalam kedua kasus, korelasi parsial akan menjadi nol setiap kali residunya ortogonal, terlepas dari apakah itu nol atau tidak.)

Kita perlu menemukan produk dalam dari elemen berbasis ganda. Untuk tujuan ini, perluas elemen basis ganda dalam hal basis asli :E

Xi=j=1nβijXj .

Kemudian dengan definisi

δik=Xi,Xk=j=1nβijXj,Xk=j=1nβijγjk .

Dalam notasi matriks dengan matriks identitas dan B = ( β i j ) matriks perubahan-basis, ini menyatakanI=(δij)B=(βij)

I=BC .

Yaitu, , yang persis seperti yang ditegaskan oleh artikel Wikipedia. Rumus sebelumnya untuk korelasi parsial memberiB=C1

ρij=βijβiiβjj=Cij1Cii1Cjj1 .
whuber
sumber
3
v1,...,vnV
3
VRϕ:VRVVVVγg:VV
g(v)(w)=γ(v,w).
γgVVγ
3
@mpetto Titik-titik itu sulit dilihat. Saya telah menggantinya dengan lingkaran terbuka kecil untuk membuat notasi lebih mudah dibaca. Terima kasih telah menunjukkan ini.
Whuber
4
Jawaban Plane @Andy Ron Christensen untuk Pertanyaan Kompleks mungkin adalah jenis hal yang Anda cari. Sayangnya, pendekatannya membuat (IMHO) ketergantungan yang tidak semestinya pada argumen dan perhitungan koordinat. Dalam pengantar asli (lihat hal. Xiii), Christensen menjelaskan itu karena alasan pedagogis.
whuber
3
@whuber, Buktimu luar biasa. Saya bertanya-tanya apakah ada buku atau artikel yang berisi bukti seperti itu sehingga saya bisa mengutip.
Harry
12

Berikut ini adalah bukti dengan perhitungan matriks saja.

ρXiXjV{Xi,Xj}=pijpiipjj

Untuk mendapatkan tanda minus ini, berikut adalah bukti berbeda yang saya temukan di "Graphical Models Lauriten 1995 Page 130". Ini hanya dilakukan oleh beberapa perhitungan matriks.

(ABCD)1=(E1E1GFE1D1+FE1G)
E=ABD1CF=D1CG=BD1

Ω=(Ω11Ω12Ω21Ω22)
Ω11(Xi,Xj)Ω22V{Xi,Xj}

P=Ω1P

P=(P11P12P21P22)

P111=Ω11Ω12Ω221Ω21

Ω11Ω12Ω221Ω21(Xi,Xj)|V{Xi,Xj}

ρXiXjV{Xi,Xj}=[P111]12[P111]11[P111]22.
(k,l)M[M]kl

([P111]11[P111]12[P111]21[P111]22)=P111=1detP11([P11]22[P11]12[P11]21[P11]11)

ρXiXjV{Xi,Xj}=[P111]12[P111]11[P111]22=1detP11[P11]121detP11[P11]221detP11[P11]11=[P11]12[P11]22[P11]11
Po C.
sumber
Jika kita membiarkan i=j, lalu rho_ii V\{X_i, X_i} = -1, Bagaimana kita menafsirkan elemen-elemen diagonal dalam matriks presisi?
Jason
Poin bagus. Rumus seharusnya hanya valid untuk i = / = j. Dari buktinya, tanda minus berasal dari inversi matriks 2-oleh-2. Itu tidak akan terjadi jika i = j.
Po C.
Jadi angka diagonal tidak dapat dikaitkan dengan korelasi parsial. Apa yang mereka wakili? Mereka bukan hanya kebalikan dari varian, bukan?
Jason
Formula ini berlaku untuk i = / = j. Tidak ada artinya untuk i = j.
Po C.
4

XiXjn1XiXjn2ϵiϵjρϵiϵjρ

Ini menjelaskan kebingungan dalam komentar di atas, serta di Wikipedia. Definisi kedua digunakan secara universal dari apa yang bisa saya katakan, jadi harus ada tanda negatif.

Saya awalnya mengirim suntingan ke jawaban lain, tetapi membuat kesalahan - maaf tentang itu!

Johnny Ho
sumber