Mengapa antara dua variabel mewakili proporsi varian bersama?

Pertama, saya menghargai bahwa diskusi tentang umumnya memancing penjelasan tentang (yaitu, koefisien determinasi dalam regresi). Masalah yang ingin saya jawab adalah menggeneralisasikan hal itu pada semua contoh korelasi antara dua variabel. $r^2$ $R^2$

Jadi, saya agak bingung tentang varian yang dibagikan untuk sementara waktu. Saya punya beberapa penjelasan yang ditawarkan tetapi semuanya tampak bermasalah:

Itu hanya istilah lain untuk kovarians. Ini tidak bisa menjadi kasus, karena literatur analisis faktor membedakan antara PCA dan EFA dengan menyatakan bahwa yang terakhir bertanggung jawab untuk varians bersama dan yang pertama tidak (PCA jelas merupakan akuntansi untuk kovarians yang beroperasi melalui matriks kovarians, jadi dibagi varians harus konsep yang berbeda).
Ini adalah koefisien korelasi kuadrat ( ). Lihat: $r^2$
- http://www.philender.com/courses/linearmodels/notes1/var1.html , atau
- http://www.strath.ac.uk/aer/materials/4dataanalysisined Educationalresearch/unit6/correlationcoefisien/

Ini sedikit lebih masuk akal. Masalahnya di sini adalah menafsirkan bagaimana itu menyiratkan itu varian bersama. Sebagai contoh, satu interpretasi dari 'varians berbagi' adalah . tidak mengurangi itu, atau memang konsep intuitif mudah [ ; yang merupakan objek 4 dimensi]. ${\rm cov}(A,B)/[{\rm var}(A)+{\rm var}(B)]$ $r^2$ ${\rm cov}(A,B)^2/({\rm var}(A)\times{\rm var}(B))$

Tautan di atas keduanya berusaha menjelaskannya melalui diagram Ballentine. Mereka tidak membantu. Pertama, lingkaran berukuran sama (yang tampaknya penting untuk ilustrasi karena beberapa alasan), yang tidak menjelaskan variasi yang tidak sama. Orang bisa berasumsi itu adalah diagram Ballentine untuk variabel standar, maka varians yang sama, dalam hal mana segmen yang tumpang tindih akan menjelaskan kovarians antara dua variabel standar (korelasi). Jadi , bukan . $r$ $r^2$

TL; DR: Penjelasan varian yang dibagikan mengatakan ini:

Dengan mengkuadratkan koefisien, Anda tahu berapa varians, dalam persentase, dua variabel berbagi.

Mengapa demikian?

correlation variance covariance r-squared Sue Doh Nimh
sumber

Kedua poin ("kovarian" dan "r-kuadrat") adalah interpretasi yang benar. Saya merekomendasikan Anda ini jawaban saya: adalah produk dari dua besaran relatif dari kovarians, dan merupakan probabilitas gabungan semu.

r^{2}

$r^2$

ttnphns

Dalam EFA, mereka biasanya mengatakan "varian umum", bukan "varian bersama". Varians umum adalah bidang kolinearitas total. Di sisi lain, istilah "varians bersama" tidak cukup jelas (pertanyaan Anda adalah bagaimana mendefinisikannya).

ttnphns

Diagram Venn (Ballentine) gagal menghubungkan konsep karena magnitudo kovarians bukanlah area persimpangan dari dua lingkaran (varian). Kovarian bergantung pada kedua varian. Ukuran kovarians bisa lebih besar dari ukuran varians yang lebih kecil (yang tentu saja tidak mungkin ditampilkan di Venn melalui persimpangan).

r^{2}

$r^2$

ttnphns

Itu membawa kita kembali ke definisi sebagai . Jadi, jika situasinya homoseksual, Anda dapat melihat sendiri dengan mudah ...

r^{2}

$r^2$

1 - S S r e s i d / S S t o t

$1-SSresid/SStot$

ttnphns

Kovarian adalah "varian yang dibagikan", besarnya mentah jika. Dinormalisasi dengan besaran relatif, bisa dari dua versi, r dan r-sq. r-sq dapat diartikan sebagai% dari varians bersama dalam varians gabungan.

ttnphns

Orang hanya bisa menebak apa yang dimaksud seorang penulis tertentu dengan "varian yang dibagikan". Kita mungkin berharap untuk membatasi kemungkinan dengan mempertimbangkan sifat apa yang dimiliki konsep ini (secara intuitif). Kita tahu bahwa "varians add": varians dari jumlah adalah jumlah dari varian dan ketika dan memiliki nol kovarians. Itu wajar untuk mendefinisikan "varians bersama" dari dengan jumlah yang akan fraksi varians dari jumlah diwakili oleh varian . Ini cukup untuk menyiratkan varians bersama setiap dua variabel acak $X+\varepsilon$ $X$ $\varepsilon$ $X$ $\varepsilon$ $X$ $X$ $X$ dan harus kuadrat dari koefisien korelasinya. $Y$

Hasil ini memberi makna pada interpretasi koefisien korelasi kuadrat sebagai "varians bersama": dalam arti yang sesuai, itu benar-benar adalah sebagian kecil dari total varians yang dapat ditugaskan ke satu variabel dalam jumlah.

Detailnya mengikuti.

Prinsip dan implikasinya

Tentu saja jika , "varians bersama" mereka (sebut saja "SV" mulai sekarang) seharusnya 100%. Tetapi bagaimana jika dan hanya versi yang diskalakan atau bergeser satu sama lain? Sebagai contoh, bagaimana jika mewakili suhu kota dalam derajat F dan mewakili suhu dalam derajat C? Saya ingin menyarankan bahwa dalam kasus seperti dan harus masih memiliki 100% SV, sehingga konsep ini akan tetap bermakna terlepas dari bagaimana dan dapat diukur: $Y=X$ $Y$ $X$ $Y$ $X$ $X$ $Y$ $X$ $Y$

\begin{matrix} (1) & SV (α + β X, γ + δ Y) = SV (X, Y) \end{matrix}

$\operatorname{SV}(\alpha + \beta X, \gamma + \delta Y) = \operatorname{SV}(X,Y)\tag{1}$

untuk angka apa pun dan angka bukan nol . $\alpha, \gamma$ $\beta, \delta$

Prinsip lain mungkin bahwa ketika adalah variabel acak independen , maka varians dapat secara unik didekomposisi menjadi dua bagian non-negatif, $\varepsilon$ $X$ $X+\varepsilon$

Var (X + ε) = Var (X) + Var (ε),

$\operatorname{Var}(X+\varepsilon) = \operatorname{Var}(X) + \operatorname{Var}(\varepsilon),$

menyarankan kami mencoba untuk mendefinisikan SV dalam kasus khusus ini sebagai

\begin{matrix} (2) & SV (X, X + ε) = \frac{Var (X)}{Var (X) + Var (ϵ)} . \end{matrix}

$\operatorname{SV}(X, X+\varepsilon) = \frac{\operatorname{Var}(X)}{\operatorname{Var}(X) + \operatorname{Var}(\epsilon)}.\tag{2}$

Karena semua kriteria ini hanya sampai urutan kedua - mereka hanya melibatkan momen pertama dan kedua dari variabel dalam bentuk ekspektasi dan varian - mari kita bersantai persyaratan bahwa dan menjadi independen dan hanya menuntut agar mereka tidak berkorelasi . Ini akan membuat analisis jauh lebih umum daripada yang seharusnya. $X$ $\varepsilon$

Hasil

Prinsip-prinsip ini - jika Anda menerimanya - mengarah pada konsep yang unik, akrab, dan dapat ditafsirkan. Caranya adalah dengan mengurangi kasus umum ke kasus khusus dari jumlah, di mana kita dapat menerapkan definisi . $(2)$

Mengingat , kami hanya mencoba untuk menguraikan menjadi versi diskalakan dan bergeser ditambah variabel yang tidak berkorelasi dengan : yaitu, mari cari (jika mungkin) konstanta dan dan variabel acak untuk itu $(X,Y)$ $Y$ $X$ $X$ $\alpha$ $\beta$ $\epsilon$

\begin{matrix} (3) & Y = α + β X + ε \end{matrix}

$Y = \alpha + \beta X + \varepsilon\tag{3}$

dengan . Agar dekomposisi memiliki peluang untuk menjadi unik, kita harus menuntut $\operatorname{Cov}(X, \varepsilon)=0$

E [ε] = 0

$\mathbb{E}[\varepsilon]=0$

sehingga setelah ditemukan, ditentukan oleh $\beta$ $\alpha$

α = E [Y] - β E [X] .

$\alpha = \mathbb{E}[Y] - \beta\, \mathbb{E}[X].$

Ini terlihat sangat mengerikan seperti regresi linier dan memang begitu. Prinsip pertama mengatakan kita dapat mengubah skala dan untuk memiliki varian unit (dengan asumsi mereka masing-masing memiliki varian nol) dan bahwa ketika dilakukan, hasil regresi standar menyatakan nilai dalam adalah korelasi dan : $X$ $Y$ $\beta$ $(3)$ $X$ $Y$

\begin{matrix} (4) & β = ρ (X, Y) . \end{matrix}

$\beta = \rho(X,Y)\tag{4}.$

Selain itu, mengambil varian dari memberi $(1)$

1 = Var (Y) = β^{2} Var (X) + Var (ε) = β^{2} + Var (ε),

$1 = \operatorname{Var}(Y) = \beta^2 \operatorname{Var}(X) + \operatorname{Var}(\varepsilon) = \beta^2 + \operatorname{Var}(\varepsilon),$

menyiratkan

\begin{matrix} (5) & Var (ε) = 1 - β^{2} = 1 - ρ^{2} . \end{matrix}

$\operatorname{Var}(\varepsilon) = 1-\beta^2 = 1-\rho^2.\tag{5}$

Karena itu

\begin{aligned} SV (X, Y) & = SV (X, α + β X + ε) & (Model 3) \\ = SV (β X, β X + ε) & (Property 1) \\ = \frac{Var (β X)}{Var (β X) + Var (ϵ)} & (Definition 2) \\ = \frac{β^{2}}{β^{2} + (1 - β^{2})} = β^{2} & (Result 5) \\ = ρ^{2} & (Relation 4) . \end{aligned}

$\eqalign{ \operatorname{SV}(X,Y) &= \operatorname{SV}(X, \alpha+\beta X + \varepsilon) &\text{(Model 3)}\\ &= \operatorname{SV}(\beta X, \beta X + \varepsilon) &\text{(Property 1)}\\ &= \frac{\operatorname{Var}(\beta X)}{\operatorname{Var}(\beta X) + \operatorname{Var}(\epsilon)} & \text{(Definition 2)}\\ &= \frac{\beta^2}{\beta^2 + (1-\beta^2)} = \beta^2 &\text{(Result 5)}\\ & = \rho^2 &\text{(Relation 4)}. }$

Perhatikan bahwa karena koefisien regresi pada (ketika dibakukan untuk varians unit) adalah , "varian bersama" itu sendiri simetris, membenarkan terminologi yang menyarankan urutan dan tidak masalah: $Y$ $\rho(Y,X)=\rho(X,Y)$ $X$ $Y$

SV (X, Y) = ρ (X, Y)^{2} = ρ (Y, X)^{2} = SV (Y, X) .

$\operatorname{SV}(X,Y) = \rho(X,Y)^2 = \rho(Y,X)^2 = \operatorname{SV}(Y,X).$

whuber
sumber

Mengapa antara dua variabel mewakili proporsi varian bersama?

Jawaban:

Prinsip dan implikasinya

Hasil