Katakanlah saya memiliki regresi multivariabel (beberapa variabel independen) yang terdiri dari 3 variabel. Masing-masing variabel memiliki koefisien yang diberikan. Jika saya memutuskan untuk memperkenalkan variabel ke-4 dan menjalankan kembali regresi, akankah koefisien dari 3 variabel asli berubah?
Secara lebih luas: dalam regresi multivariabel (beberapa variabel independen), apakah koefisien variabel yang diberikan dipengaruhi oleh koefisien variabel lain?
regression
multiple-regression
multivariable
Lukas Pleva
sumber
sumber
multivariable
Anda maksud adalah beberapa variabel independen ("regresi berganda") atau beberapa variabel dependen ("regresi multivarian" atau "MAN (C) OVA")?Jawaban:
Perkiraan parameter dalam model regresi ) akan berubah jika variabel, X j , ditambahkan ke model yaitu:β^i Xj
Diperkirakan beta tidak akan berubah ketika variabel baru ditambahkan, jika salah satu di atas tidak berkorelasi. Perhatikan bahwa apakah mereka tidak berkorelasi dalam populasi (yaitu, , atau ρ ( X j , Y ) = 0 ) tidak relevan. Yang penting adalah kedua korelasi sampel tersebut tepat 0ρ(Xi,Xj)=0 ρ(Xj,Y)=0 0 . Ini pada dasarnya tidak akan pernah menjadi kasus dalam praktik kecuali Anda bekerja dengan data eksperimental di mana variabel dimanipulasi sedemikian rupa sehingga mereka tidak berkorelasi dengan desain.
Perhatikan juga bahwa jumlah perubahan parameter mungkin tidak terlalu berarti (yang sebagian tergantung pada teori Anda). Selain itu, jumlah yang dapat mereka ubah adalah fungsi dari besarnya dua korelasi di atas.
sumber
It is mathematically possible that the coefficients will not change, but it is unlikely that there will be no change at all with real data, even if all the independent variables are independent of each other. But, when this is the case, the changes (other than in the intercept) will tend to 0:
In the real world, though, independent variables are often related to each other. In this case, adding a 4th variable to the equation will change the other coefficients, sometimes by a lot.
Then there are possible interactions.... but that's another question.
sumber
Generally speaking, yes, adding a variable changes the earlier coefficients, almost always.
Indeed, this is essentially the cause of Simpson's paradox, where coefficients can change, even reverse sign, because of omitted covariates.
For that not to happen, we'd need that the new variables were orthogonal to the previous ones. This often happens in designed experiments, but is very unlikely to happen in data where the pattern of the independent variables is unplanned.
sumber