Mengubah beta standar kembali ke variabel asli

14

Saya menyadari ini mungkin pertanyaan yang sangat sederhana tetapi setelah mencari saya tidak dapat menemukan jawaban yang saya cari.

Saya punya masalah di mana saya perlu membakukan variabel menjalankan (regresi ridge) untuk menghitung estimasi ridge dari beta.

Saya kemudian perlu mengubah ini kembali ke skala variabel asli.

Tetapi bagaimana saya melakukan ini?

Saya menemukan formula untuk kasus bivariat itu

β=β^SxSy.

Ini diberikan dalam D. Gujarati, Ekonometrika Dasar , halaman 175, rumus (6.3.8).

Dimana adalah estimator dari regresi run pada variabel standar dan β adalah estimator yang sama dikonversi kembali ke skala yang asli, S y adalah standar deviasi sampel regressand, dan S x adalah standar deviasi sampel.ββ^SySx

Sayangnya buku ini tidak mencakup hasil analog untuk regresi berganda.

Juga saya tidak yakin saya mengerti kasus bivariat? Manipulasi aljabar sederhana memberikan rumus untuk β dalam skala asli:β^

β^=βSySx

β^SxSx

Jadi, bisakah seseorang tolong jelaskan bagaimana melakukan ini untuk kasus multivarian idealnya dengan derivasi sehingga saya dapat memahami hasilnya?

Baz
sumber

Jawaban:

26

Untuk model regresi menggunakan variabel standar, kami mengasumsikan bentuk berikut untuk garis regresi

E[Y]=β0+j=1kβjzj,

zjxjx¯jSj

zj=xjx¯jSj

Melakukan regresi dengan regresi standar, kami memperoleh garis regresi pas:

Y^=β^0+j=1kβ^jzj

Kami sekarang ingin menemukan koefisien regresi untuk prediktor non-standar. Kita punya

Y^=β^0+j=1kβ^j(xjx¯jSj)

Mengatur ulang, ungkapan ini dapat ditulis sebagai

Y^=(β^0j=1kβ^jx¯jSj)+j=1k(β^jSj)xj

β^0j=1kβ^jx¯jSjjβ^jSj

Dalam kasus yang disajikan, saya berasumsi bahwa hanya prediktor yang distandarisasi. Jika seseorang juga menstandarkan variabel respon, mengubah koefisien kovariat kembali ke skala asli dilakukan dengan menggunakan rumus dari referensi yang Anda berikan. Kita punya:

E[Y]y^Sy=β0+j=1kβjzj

Melakukan regresi, kita mendapatkan persamaan regresi pas

Y^scaled=Y^unscaledy¯Sy=β^0+j=1kβ^j(xjx¯jSj),

Syy

Y^unscaled=β^0Sy+y¯+j=1kβ^j(SySj)(xjx¯j).

β^0Sy+y¯j=1kβ^jSySjx¯jSy/Sj

Philipp Burckhardt
sumber