Regresi berganda atau koefisien korelasi parsial? Dan hubungan keduanya

Saya bahkan tidak tahu apakah pertanyaan ini masuk akal, tetapi apa perbedaan antara regresi berganda dan korelasi parsial (terlepas dari perbedaan yang jelas antara korelasi dan regresi, yang bukan tujuan saya)?

Saya ingin mencari tahu yang berikut:
Saya memiliki dua variabel independen ( $x_1$ , $x_2$ ) dan satu variabel dependen ( $y$ ). Sekarang secara individual variabel independen tidak berkorelasi dengan variabel dependen. Tetapi untuk yang diberikan $x_1$ $y$ berkurang ketika $x_2$ berkurang. Jadi, apakah saya menganalisisnya melalui regresi berganda atau korelasi parsial ?

sunting untuk semoga meningkatkan pertanyaan saya: Saya mencoba memahami perbedaan antara regresi berganda dan korelasi parsial. Jadi, ketika $y$ menurun untuk diberikan $x_1$ ketika $x_2$ menurun, apakah itu karena efek gabungan dari $x_1$ dan $x_2$ pada $y$ (regresi berganda) atau apakah karena menghilangkan efek $x_1$ (korelasi parsial)?

Koefisien regresi linier berganda dan korelasi parsial terkait langsung dan memiliki signifikansi yang sama (nilai-p). Parsial r hanyalah cara lain untuk membakukan koefisien, bersama dengan koefisien beta (koefisien regresi terstandarisasi) 1 . Jadi, jika variabel dependen adalah y dan independen adalah x 1 dan x 2 maka$^1$$y$$x_1$$x_2$

Anda melihat bahwa pembilang sama yang memberitahu bahwa kedua rumus mengukur efek unik yang sama dari . Saya akan mencoba menjelaskan bagaimana kedua formula itu identik secara struktural dan bagaimana keduanya tidak.$x_1$

Misalkan Anda memiliki z-standar (rata-rata 0, varian 1) ketiga variabel. Pembilang maka sama dengan kovarians antara dua jenis residual : (a) residual yang tersisa dalam memprediksi oleh x 2 [kedua variabel standar] dan (b) residual yang tersisa dalam memprediksi x 1 dengan x 2 [kedua variabel standar] . Selain itu, varian residu (a) adalah 1 - r 2 y x 2 ; varians residu (b) adalah 1 - r 2 x 1 x 2 .$y$$x_2$$x_1$$x_2$$1-r_{yx_2}^2$$1-r_{x_1x_2}^2$

Rumus untuk korelasi parsial kemudian muncul dengan jelas rumus polos Pearson , seperti yang dihitung dalam contoh ini antara residual (a) dan residual (b): Pearson r , kita tahu, adalah kovarians dibagi dengan penyebut yang merupakan rata-rata geometri dari dua varian yang berbeda.$r$$r$

Koefisien beta terstandarisasi secara struktural seperti Pearson , hanya saja penyebutnya adalah rerata geometris dari varian dengan diri sendiri . Varians residu (a) tidak dihitung; itu digantikan oleh penghitungan kedua varian residual (b). Beta dengan demikian adalah kovarians dari dua residual relatif varians dari salah satu dari mereka (khususnya, yang berkaitan dengan prediktor minat, x 1 ). Sementara korelasi parsial, sebagaimana telah diperhatikan, adalah bahwa kovarians yang sama relatif varian hibrida mereka . Kedua jenis koefisien ini merupakan cara untuk menstandarisasi pengaruh x 1 di lingkungan prediktor lain.$r$$x_1$$x_1$

Beberapa konsekuensi numerik dari perbedaan. Jika R-kuadrat dari regresi berganda oleh x 1 dan x 2 terjadi menjadi 1 maka kedua korelasi parsial dari prediktor dengan dependen juga akan menjadi 1 nilai absolut (tetapi beta umumnya tidak akan menjadi 1). Memang, seperti yang dikatakan sebelumnya, r y x 1 . x 2 adalah korelasi antara residu dan residu . Jika apa tidak x 2 dalam y adalah persis apa yang tidak x 2 dalam x $y$$x_1$$x_2$$r_{yx_1.x_2}$y <- x2x1 <- x2$x_2$$y$ $x_2$$x_1$maka tidak ada apa-apa di dalam yang tidak x 1 maupun x 2 : cocok sepenuhnya. Berapapun jumlah porsi yang tidak dijelaskan (dengan x 2 ) yang tersisa di y ( 1 - r 2 y x 2 ), jika ditangkap secara relatif tinggi oleh bagian independen x 1 (oleh 1 - r 2 x 1 x 2 ), r y x 1 . x 2 akan menjadi tinggi. β x $y$$x_1$$x_2$$x_2$$y$$1-r_{yx_2}^2$$x_1$$1-r_{x_1x_2}^2$$r_{yx_1.x_2}$$\beta_{x_1}$, di sisi lain, akan menjadi tinggi hanya asalkan bagian yang ditangkap yang tidak dijelaskan dari itu sendiri merupakan bagian substansial dari y .$y$$y$

Dari rumus di atas satu memperoleh (dan membentang dari regresi 2-prediktor untuk regresi dengan jumlah sewenang-wenang prediktor ) Rumus konversi antara beta dan sesuai parsial r:$x_1,x_2,x_3,...$

di mana adalah kumpulan semua prediktor kecuali arus ( x 1 ); e y ← X adalah residu dari kemunduran y oleh X , dan e x 1 ← X adalah residu dari kemunduran x 1 oleh X , variabel-variabel di kedua regresi ini memasukkannya terstandarisasi .$X$$x_1$$e_{y \leftarrow X}$$y$$X$$e_{x_1 \leftarrow X}$$x_1$$X$

Catatan: jika kita perlu menghitung korelasi parsial dengan setiap prediktor x kita biasanya tidak akan menggunakan rumus ini yang membutuhkan dua regresi tambahan. Sebaliknya, operasi sweep (sering digunakan secara bertahap dan semua algoritma regresi subset) akan dilakukan atau matriks korelasi anti-gambar akan dihitung.$y$$x$

β x 1 = b x 1 σ x $^1$ adalah hubungan antarabbakudankoefisienβterstandarisasidalam regresi dengan intersep.$\beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y}$$b$$\beta$

$\beta_{x_1}$$\sqrt{SSY/SSX_1}$