Apakah ada cara yang elegan / berwawasan untuk memahami identitas regresi linier ini untuk banyak ?

Dalam regresi linear saya menemukan hasil yang menyenangkan jika kita cocok dengan model

$$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$$

kemudian, jika kita membuat standar dan memusatkan data , dan ,$Y$$X_1$$X_2$

$$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$$

Bagi saya ini terasa seperti versi 2 variabel dari untuk regresi, yang menyenangkan.$R^2 = \mathrm{Cor}(Y,X)^2$$y=mx+c$

Tetapi satu-satunya bukti yang saya tahu adalah tidak konstruktif atau berwawasan luas (lihat di bawah), namun untuk melihatnya rasanya harus mudah dimengerti.

Contoh pemikiran:

• The dan parameter memberi kita 'proporsi' dari dan di , dan jadi kami mengambil proporsi masing-masing korelasi mereka ...$\beta_1$$\beta_2$$X_1$$X_2$$Y$
• The s korelasi parsial, adalah kuadrat korelasi berganda ... korelasi dikalikan dengan korelasi parsial ...$\beta$$R^2$
• Jika kita melakukan orthogonalize terlebih dahulu maka s akan menjadi ... apakah hasil ini masuk akal secara geometris?$\beta$$\mathrm{Cov}/\mathrm{Var}$

Tak satu pun dari utas ini yang tampaknya mengarah ke mana pun untuk saya. Adakah yang bisa memberikan penjelasan yang jelas tentang bagaimana memahami hasil ini.

---

Bukti Tidak Memuaskan

$$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$$

dan

$$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$$

QED.

Matriks topi idempoten.

(Ini adalah cara linear-aljabar yang menyatakan bahwa OLS adalah proyeksi ortogonal dari vektor respons ke ruang yang direntang oleh variabel.)

---

Ingat itu menurut definisi

$$R^2 = \frac{ESS}{TSS}$$

dimana

$$ESS = (\hat Y)^\prime \hat Y$$

adalah jumlah kuadrat dari nilai yang diprediksi (terpusat) dan

$$TSS = Y^\prime Y$$

adalah jumlah kuadrat dari nilai respons (terpusat). Membakukan sebelumnya ke varian unit juga menyiratkan$Y$

$$TSS = Y^\prime Y = n.$$

Ingat juga, bahwa koefisien estimasi diberikan oleh

$$\hat\beta = (X^\prime X)^{-} X^\prime Y,$$

dari mana

$$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$$

di mana adalah "topi matrix" mempengaruhi proyeksi ke kotak yang paling cocok . Itu simetris (yang terlihat jelas dari bentuknya) dan idempoten . Ini adalah bukti dari yang terakhir untuk mereka yang tidak terbiasa dengan hasil ini. Itu hanya mengacak-acak kurung di sekitar:Y $H$$Y$$\hat Y$

$$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$$

Karena itu

$$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$$

Langkah penting di tengah menggunakan idempotence dari matriks topi. Sisi kanan adalah formula ajaib Anda karena adalah (baris) vektor koefisien korelasi antara dan kolom .Y$\frac{1}{n}Y^\prime X$$Y$$X$

Tiga formula berikut ini terkenal, mereka ditemukan dalam banyak buku tentang regresi linier. Tidak sulit untuk menurunkannya.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Jika Anda mengganti kedua beta ke dalam persamaan Anda , Anda akan mendapatkan rumus di atas untuk R-square.$R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

---

Berikut ini adalah "wawasan" geometris. Di bawah ini adalah dua gambar yang menunjukkan regresi oleh dan . Representasi semacam ini dikenal sebagai variabel-sebagai-vektor dalam ruang subjek (harap baca tentang apa itu). Gambar-gambar diambil setelah ketiga variabel dipusatkan, dan jadi (1) setiap vektor panjang = st. penyimpangan dari masing-masing variabel, dan (2) sudut (cosinusnya) antara setiap dua vektor = korelasi antara masing-masing variabel.X 1 X $Y$$X_1$$X_2$

Yecos∠Y Y =| Y | /| Y$\hat{Y}$ adalah prediksi regresi (proyeksi ortogonal ke "pesawat X"); adalah istilah kesalahan; , koefisien korelasi berganda.$Y$$e$$cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

Gambar kiri menggambarkan koordinat miring dari pada variabel dan . Kita tahu bahwa koordinat tersebut berhubungan dengan koefisien regresi. Yaitu, koordinatnya adalah: dan . X1X2b1| X1| =b1σX1b2| X2| =b2σX$\hat{Y}$$X_1$$X_2$$b_1|X_1|=b_1\sigma_{X_1}$$b_2|X_2|=b_2\sigma_{X_2}$

Dan gambar kanan menunjukkan koordinat tegak lurus yang sesuai . Kita tahu bahwa koordinat tersebut berhubungan dengan koefisien korelasi orde nol (ini adalah kosinus dari proyeksi ortogonal). Jika adalah korelasi antara dan dan adalah korelasi antara dan maka koordinatnya adalah . Demikian juga untuk koordinat lainnya, . Y X 1 r * 1 Y X $r_1$$Y$$X_1$$r_1^*$$\hat Y$$X_1$$r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$$r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Sejauh ini penjelasan umum tentang representasi vektor regresi linier. Sekarang kita beralih ke tugas untuk menunjukkan bagaimana hal itu dapat menyebabkan .$R^2 = r_1 \beta_1 + r_2 \beta_2$

Pertama-tama, ingatlah bahwa dalam pertanyaan mereka @Corone mengemukakan kondisi bahwa ekspresi itu benar ketika ketiga variabel distandarisasi , yaitu, tidak hanya dipusatkan tetapi juga diskalakan ke varian 1. Lalu (yaitu menyiratkan untuk menjadi "bagian yang bekerja" dari vektor) kita memiliki koordinat yang sama dengan: ; ; ; ; dan juga. Gambar ulang, di bawah kondisi ini, hanya "pesawat X" dari gambar di atas:$|X_1|=|X_2|=|Y|=1$$b_1|X_1|=\beta_1$$b_2|X_2|=\beta_2$$r_1|Y|=r_1$$r_2|Y|=r_2$$R=|\hat Y|/|Y|=|\hat Y|$

Pada gambar, kita memiliki sepasang koordinat tegak lurus dan sepasang koordinat miring, dari vektor yang sama panjang . Ada aturan umum untuk mendapatkan koordinat tegak lurus dari yang miring (atau belakang): , di mana adalah matriks yang tegak lurus; adalah matriks ukuran miring yang sama; dan adalah matriks simetris sudut (cosinus) antara sumbu nonorthogonal.$\hat Y$$R$$\bf P = S C$$\bf P$points X axes$\bf S$$\bf C$axes X axes

$X_1$ dan adalah sumbu dalam kasus kami, dengan menjadi cosinus di antara mereka. Jadi, dan .$X_2$$r_{12}$$r_1 = \beta_1 + \beta_2 r_{12}$$r_2 = \beta_1 r_{12} + \beta_2$

Pengganti ini s diekspresikan melalui s di @ Corone ini pernyataan , dan Anda akan mendapatkan bahwa , - yang benar , karena itu persis bagaimana diagonal dari jajaran genjang (diwarnai pada gambar) diekspresikan melalui sisi yang berdekatan (kuantitas menjadi produk skalar).β R 2 = r 1 β 1 + r 2 β 2 R 2 = β 2 1 + β 2 2 + 2 β 1 β 2 $r$$\beta$$R^2 = r_1 \beta_1 + r_2 \beta_2$ β 1 β 2 r $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

Hal yang sama ini berlaku untuk sejumlah prediksi X. Sayangnya, tidak mungkin untuk menggambar gambar yang sama dengan banyak prediksi.