Analogi korelasi Pearson untuk 3 variabel

17

Saya tertarik pada apakah atau tidak "korelasi" dari tiga variabel adalah sesuatu, dan jika apa, apakah ini?

Koefisien korelasi momen produk Pearson

\frac{E {(X - μ_{X}) (Y - μ_{Y})}}{\sqrt{V a r (X) V a r (Y)}}

$\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)\}}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}}$

Sekarang pertanyaan untuk 3 variabel: Apakah

\frac{E {(X - μ_{X}) (Y - μ_{Y}) (Z - μ_{Z})}}{\sqrt{V a r (X) V a r (Y) V a r (Z)}}

$\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)(Z-\mu_Z)\}} {\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)\mathrm{Var}(Z)}}$

apa pun?

Dalam R sepertinya sesuatu yang bisa ditafsirkan:

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

Kami biasanya melihat korelasi antara 2 variabel yang diberi nilai variabel ketiga tetap. Bisakah seseorang mengklarifikasi?

correlation pearson-r PascalVKooten
sumber

2

1) Dalam rumus Pearson bivariat Anda, jika "E" (berarti dalam kode Anda) menyiratkan pembagian dengan n maka st. penyimpangan juga harus didasarkan pada n (bukan n-1). 2) Biarkan ketiga variabel menjadi variabel yang sama. Dalam hal ini, kami mengharapkan korelasi menjadi 1 (seperti dalam kasus bivariat), tetapi sayangnya ...

ttnphns

Untuk distribusi normal trivariat, nol, terlepas dari apa korelasinya.

Ray Koopman

1

Saya benar-benar berpikir judul akan mendapat manfaat dari diubah menjadi "Analogi Pearson korelasi untuk 3 variabel" atau serupa - itu akan membuat tautan di sini agak lebih informatif

Silverfish

1

@Silverfish Saya setuju! Saya telah memperbarui judulnya, terima kasih.

PascalVKooten

11

Ini adalah memang sesuatu. Untuk mengetahuinya, kita perlu memeriksa apa yang kita ketahui tentang korelasi itu sendiri.

Matriks korelasi dari variabel acak bernilai vektor adalah matriks varians-kovarians, atau hanya "varians," dari versi standar dari . Yaitu, masing-masing digantikan oleh versi yang ulang. $\mathbf{X}=(X_1,X_2,\ldots,X_p)$ $\mathbf{X}$ $X_i$
Kovarian dan adalah harapan dari produk versi terpusat mereka. Yaitu, menulis dan , kami memiliki $X_i$ $X_j$ $X^\prime_i = X_i - E[X_i]$ $X^\prime_j = X_j - E[X_j]$

$Cov (X_{i}, X_{j}) = E [X_{i}^{'} X_{j}^{'}] .$ $\operatorname{Cov}(X_i,X_j) = E[X^\prime_i X^\prime_j].$
Varian $\mathbf{X}$ , yang akan saya tulis $\operatorname{Var}(\mathbf{X})$ , bukan angka tunggal. Ini adalah array nilai-nilai
$Var (X)_{i j} = Cov (X_{i}, X_{j}) .$ $\operatorname{Var}(\mathbf{X})_{ij}=\operatorname{Cov}(X_i,X_j).$
Cara untuk memikirkan kovarian untuk generalisasi yang dimaksudkan adalah dengan menganggapnya sebagai tensor . Itu berarti itu seluruh koleksi jumlah $v_{ij}$ , diindeks oleh $i$ dan $j$ mulai dari $1$ sampai $p$ , yang nilainya berubah dalam cara yang dapat diprediksi terutama sederhana ketika $\mathbf{X}$ mengalami transformasi linear. Secara khusus, misalkan $\mathbf{Y}=(Y_1,Y_2,\ldots,Y_q)$ menjadi variabel acak bernilai vektor lain yang didefinisikan oleh

$Y_{i} = \sum_{j = 1}^{p} a_{i}^{j} X_{j} .$ $Y_i = \sum_{j=1}^p a_i^{\,j}X_j.$
Konstanta $a_i^{\,j}$ ( $i$ dan $j$ adalahindeks- $j$ bukan kekuatan) membentuk $q\times p$ array $\mathbb{A} = (a_i^{\,j})$ , $j=1,\ldots, p$ dan $i=1,\ldots, q$ . Linearitas harapan menyiratkan

$Var (Y)_{saya j} = \sum {Sebuah}_{saya}^{k} {Sebuah}_{j}^{l} Var (X)_{k l} .$ $\operatorname{Var}(\mathbf Y)_{ij} = \sum a_i^{\,k}a_j^{\,l}\operatorname{Var}(\mathbf X)_{kl} .$
Dalam notasi matriks,

$Var (Y) = SEBUAH Var (X) {SEBUAH}^{'} .$ $\operatorname{Var}(\mathbf Y) = \mathbb{A}\operatorname{Var}(\mathbf X) \mathbb{A}^\prime .$
Semua komponen $\operatorname{Var}(\mathbf{X})$ sebenarnya adalah varian univariat, karena Polarisasi Identitas

$4 Cov (X_{i}, X_{j}) = Var (X_{i} + X_{j}) - Var (X_{i} - X_{j}) .$ $4\operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i+X_j) - \operatorname{Var}(X_i-X_j).$
Ini memberitahu kita bahwa jika Anda memahami varian variabel acak univariat, Anda sudah memahami kovarian variabel bivariat: variabel tersebut adalah "hanya" kombinasi varian linear.

Ungkapan dalam pertanyaan itu benar-benar analog: variabel telah distandarisasi seperti pada . Kita dapat memahami apa yang diwakilinya dengan mempertimbangkan apa artinya variabel apa pun , terstandarisasi atau tidak. Kami akan diganti setiap oleh versi berpusat, seperti dalam , dan jumlah bentuk memiliki tiga indeks, $X_i$ $(1)$ $X_i$ $(2)$

μ_{3} (X)_{i j k} = E [X_{i}^{'} X_{j}^{'} X_{k}^{'}] .

$\mu_3(\mathbf{X})_{ijk} = E[X_i^\prime X_j^\prime X_k^\prime].$

Ini adalah momen sentral (multivarian) dari tingkat $3$ . Seperti pada , mereka membentuk tensor: ketika , maka $(4)$ $\mathbf{Y} = \mathbb{A}\mathbf{X}$

μ_{3} (Y)_{i j k} = \sum_{l, m, n} a_{i}^{l} a_{j}^{m} a_{k}^{n} μ_{3} (X)_{l m n} .

$\mu_3(\mathbf{Y})_{ijk} = \sum_{l,m,n} a_i^{\,l}a_j^{\,m}a_k^{\,n} \mu_3(\mathbf{X})_{lmn}.$

Indeks dalam kisaran jumlah rangkap tiga ini atas semua kombinasi bilangan bulat dari hingga . $1$ $p$

Analog dari Identitas Polarisasi adalah

\begin{aligned} 24 μ_{3} (X)_{i j k} = \\ μ_{3} (X_{i} + X_{j} + X_{k}) - μ_{3} (X_{i} - X_{j} + X_{k}) - μ_{3} (X_{i} + X_{j} - X_{k}) + μ_{3} (X_{i} - X_{j} - X_{k}) . \end{aligned}

$\eqalign{&24\mu_3(\mathbf{X})_{ijk} = \\ &\mu_3(X_i+X_j+X_k) - \mu_3(X_i-X_j+X_k) - \mu_3(X_i+X_j-X_k) + \mu_3(X_i-X_j-X_k).}$

Di sisi kanan, mengacu pada momen ketiga sentral (univariat): nilai yang diharapkan dari kubus dari variabel terpusat. Ketika variabel distandarisasi, momen ini biasanya disebut skewness . Dengan demikian, kita mungkin berpikir sebagai yang skewness multivariat dari . Ini adalah tensor peringkat tiga (yaitu, dengan tiga indeks) yang nilainya adalah kombinasi linear dari skewnesses berbagai jumlah dan perbedaan dari . Jika kita mencari interpretasi, maka, kita akan menganggap komponen-komponen ini sebagai ukuran dalam $\mu_3$ $\mu_3(\mathbf{X})$ $\mathbf{X}$ $X_i$ $p$ dimensi apa pun kemiringan diukur dalam satu dimensi. Dalam banyak kasus,

Saat-saat pertama mengukur lokasi dari distribusi;
Momen kedua (matriks varians-kovarians) mengukur penyebarannya ;
Momen kedua terstandarisasi (korelasi) menunjukkan bagaimana penyebaran bervariasi dalam ruang dimensi; dan $p$
Momen ketiga dan keempat yang terstandarisasi diambil untuk mengukur bentuk distribusi relatif terhadap penyebarannya.

Untuk menguraikan makna "bentuk" multidimensi, amati bahwa kita dapat memahami PCA sebagai mekanisme untuk mengurangi distribusi multivarian apa pun ke versi standar yang terletak di titik asal dan penyebaran yang sama di semua arah. Setelah PCA dilakukan, maka, akan memberikan indikator paling sederhana dari bentuk multidimensi distribusi. Ide-ide ini berlaku sama baiknya untuk data dengan variabel acak, karena data selalu dapat dianalisis dalam hal distribusi empiris mereka. $\mu_3$

Referensi

Alan Stuart & J. Keith Ord, Teori Lanjutan Statistik Kendall Edisi Kelima, Volume 1: Teori Distribusi ; Bab 3, Momen dan Cumulan . Oxford University Press (1987).

Lampiran: Bukti Identitas Polarisasi

Misalkan menjadi variabel aljabar. Ada cara untuk menambah dan mengurangi semua dari mereka. Ketika kita meningkatkan masing-masing jumlah-dan-perbedaan ini ke kekuasaan, memilih tanda yang sesuai untuk masing-masing hasil tersebut, dan menambahkan mereka, kita akan mendapatkan kelipatan . $x_1,\ldots, x_n$ $2^n$ $n$ $n^\text{th}$ $x_1x_2\cdots x_n$

Secara lebih formal, misalkan adalah himpunan semua -tuple dari , sehingga setiap elemen adalah vektor yang koefisien semua . Klaimnya adalah $S=\{1,-1\}^n$ $n$ $\pm 1$ $s\in S$ $s=(s_1,s_2,\ldots,s_n)$ $\pm 1$

\begin{matrix} (1) & 2^{n} n! x_{1} x_{2} \dots x_{n} = \sum_{s \in S} s_{1} s_{2} \dots s_{n} (s_{1} x_{1} + s_{2} x_{2} + \dots + s_{n} x_{n})^{n} . \end{matrix}

$2^n n!\, x_1x_2\cdots x_n = \sum_{s\in S} \color{red}{s_1s_2\cdots s_n}(s_1x_1+s_2x_2+\cdots+s_nx_n)^n.\tag{1}$

Indeed, the Multinomial Theorem states that the coefficient of the monomial $x_1^{i_1}x_2^{i_2}\cdots x_n^{i_n}$ (where the $i_j$ are nonnegative integers summing to $n$ ) in the expansion of any term on the right hand side is

(\binom{n}{i_{1}, i_{2}, \dots, i_{n}}) s_{1}^{i_{1}} s_{2}^{i_{2}} \dots s_{n}^{i_{n}} .

$\binom{n}{i_1,i_2,\ldots,i_n}s_1^{i_1}s_2^{i_2}\cdots s_n^{i_n}.$

In the sum $(1)$ , the coefficients involving $x_1^{i_1}$ appear in pairs where one of each pair involves the case $s_1=1$ , with coefficient proportional to $\color{red}{s_1}$ times $s_1^{i_1}$ , equal to $1$ , and the other of each pair involves the case $s_1=-1$ , with coefficient proportional to $\color{red}{-1}$ times $(-1)^{i_1}$ , equal to $(-1)^{i_1+1}$ . They cancel in the sum whenever $i_1+1$ is odd. The same argument applies to $i_2, \ldots, i_n$ . Consequently, the only monomials that occur with nonzero coefficients must have odd powers of all the $x_i$ . The only such monomial is $x_1x_2\cdots x_n$ . It appears with coefficient $\binom{n}{1,1,\ldots,1}=n!$ in all $2^n$ terms of the sum. Consequently its coefficient is $2^nn!$ , QED.

We need take only half of each pair associated with $x_1$ : that is, we can restrict the right hand side of $(1)$ to the terms with $s_1=1$ and halve the coefficient on the left hand side to $2^{n-1}n!$ . That gives precisely the two versions of the Polarization Identity quoted in this answer for the cases $n=2$ and $n=3$ : $2^{2-1}2! = 4$ and $2^{3-1}3!=24$ .

Of course the Polarization Identity for algebraic variables immediately implies it for random variables: let each $x_i$ be a random variable $X_i$ . Take expectations of both sides. The result follows by linearity of expectation.

whuber
sumber

Well done on explaining so far! Multivariate skewness kind of makes sense. Could you perhaps add an example that would show the importance of this multivariate skewness? Either as an issue in a statistical models, or perhaps more interesting, what real life case would be subject to multivariate skewness :)?

PascalVKooten

3

Hmmm. If we run...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

it does seem to center on 0 (I haven't done a real simulation), but as @ttnphns alludes, running this (all variables the same)

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

also seems to center on 0, which certainly makes me wonder what use this could be.

Peter Flom - Reinstate Monica
sumber

2

The nonsense apparently comes from the fact that sd or variance is a function of squaring, as is covariance. But with 3 variables, cubing occurs in the numerator while denominator remains based on originally squared terms

ttnphns

2

Is that the root of it (pun intended)? Numerator and denominator have the same dimensions and units, which cancel, so that alone doesn't make the measure poorly formed.

Nick Cox

3

@Nick That's right. This is simply one of the multivariate central third moments. It is one component of a rank-three tensor giving the full set of third moments (which is closely related to the order-3 component of the multivariate cumulant generating function). In conjunction with the other components it could be of some use in describing asymmetries (higher-dimensional "skewness") in the distribution. It's not what anyone would call a "correlation," though: almost by definition, a correlation is a second-order property of the standardized variable.

whuber

1

If You need to calculate "correlation" between three or more variables, you could not use Pearson, as in this case it will be different for different order of variables have a look here. If you are interesting in linear dependency, or how well they are fitted by 3D line, you may use PCA, obtain explained variance for first PC, permute your data and find probability, that this value may be to to random reasons. I've discuss something similar here (see Technical details below).

Matlab code

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)

zlon
sumber

Analogi korelasi Pearson untuk 3 variabel

Jawaban:

Referensi

Lampiran: Bukti Identitas Polarisasi