Bagaimana mungkin untuk mendapatkan model regresi linier yang baik ketika tidak ada korelasi substansial antara output dan prediktor?

Saya telah melatih model regresi linier, menggunakan serangkaian variabel / fitur. Dan modelnya memiliki kinerja yang baik. Namun, saya menyadari bahwa tidak ada variabel dengan korelasi yang baik dengan variabel yang diprediksi. Bagaimana itu mungkin?

Sepasang variabel mungkin menunjukkan korelasi parsial yang tinggi (korelasi menghitung dampak variabel lain) tetapi korelasi rendah - atau bahkan nol - marjinal (korelasi berpasangan).

Yang berarti bahwa korelasi berpasangan antara respons, y dan beberapa prediktor, x mungkin bernilai kecil dalam mengidentifikasi variabel yang sesuai dengan (linear) nilai "prediktif" di antara sekumpulan variabel lain.

Pertimbangkan data berikut:

   y  x
1  6  6
2 12 12
3 18 18
4 24 24
5  1 42
6  7 48
7 13 54
8 19 60

Korelasi antara y dan x adalah . Jika saya menggambar garis kuadrat terkecil, itu horisontal sempurna dan R 2 secara alami akan menjadi 0 .$0$$R^2$$0$

Tetapi ketika Anda menambahkan variabel baru g, yang menunjukkan dari dua kelompok mana observasi berasal, x menjadi sangat informatif:

   y  x g
1  6  6 0
2 12 12 0
3 18 18 0
4 24 24 0
5  1 42 1
6  7 48 1
7 13 54 1
8 19 60 1

The dari model regresi linier dengan baik x dan g variabel di dalamnya akan 1.$R^2$

Mungkin saja hal seperti ini terjadi dengan setiap variabel dalam model - bahwa semua memiliki korelasi berpasangan yang kecil dengan respons, namun model dengan mereka semua di sana sangat baik dalam memprediksi respons.

Bacaan tambahan:

https://en.wikipedia.org/wiki/Omitted-variable_bias

https://en.wikipedia.org/wiki/Simpson%27s_paradox

Saya berasumsi Anda sedang melatih model regresi berganda, di mana Anda memiliki beberapa variabel bebas , X 2 , ..., mengalami regresi pada Y. Jawaban sederhana di sini adalah korelasi berpasangan seperti menjalankan model regresi yang tidak ditentukan spesifik. Dengan demikian, Anda menghilangkan variabel penting.$X_1$$X_2$

Lebih khusus lagi, ketika Anda menyatakan "tidak ada variabel dengan korelasi yang baik dengan variabel yang diprediksi", sepertinya Anda memeriksa korelasi berpasangan antara setiap variabel independen dengan variabel dependen, Y. Hal ini dimungkinkan ketika membawa penting , informasi baru dan membantu menjernihkan pengganggu antara x 1 dan Y. dengan itu membingungkan, meskipun, kita mungkin tidak melihat korelasi pair-wise linear antara x 1 dan Y. Anda juga mungkin ingin memeriksa hubungan antara korelasi parsial ρ x 1 , y | x 2 dan regresi berganda y = β $X_2$$X_1$$X_1$$\rho_{x_{1},y|x_{2}}$ . Regresi berganda memiliki hubungan yang lebih dekat dengan korelasi parsial daripada korelasi berpasangan, ρ x 1 , y .$y=\beta_1X_1 +\beta_2X_2 + \epsilon$$\rho_{x_{1},y}$

$X$$X$$X$$X$$X$$X={x_1,x_2 ...}$$o_i$$p_i$$c_i$$\sum c_io_i =0$$\sum c_ix_i$$\sum c_io_i =0$$\sum c_ix_i$$X_1$$X_2$$E$$X'_1$$X'_2$$E$$X_1$$X'_1$$X_2$$X'_2$$E$$X'_1$$X'_2$$Y$$Y$