Interpretasi beta ketika ada beberapa variabel kategori

Saya memahami konsep bahwa adalah mean ketika variabel kategoris sama dengan 0 (atau kelompok referensi), memberikan interpretasi akhir bahwa koefisien regresi adalah perbedaan mean dari dua kategori. Bahkan dengan> 2 kategori saya akan menganggap setiap menjelaskan perbedaan antara kategori ini berarti dan referensi. $\hat\beta_0$ $\hat\beta$

Tetapi, bagaimana jika lebih banyak variabel dimasukkan ke dalam model multivariabel? Sekarang apa arti intersep mengingat bahwa itu tidak masuk akal untuk menjadi rata-rata untuk referensi dua variabel kategori? Contohnya adalah jika jenis kelamin (M (ref) / F) dan ras (putih (ref) / hitam) keduanya dalam model. Adalah mean untuk laki-laki hanya putih? Bagaimana seseorang menafsirkan kemungkinan lain? $\hat\beta_0$

Sebagai catatan terpisah: apakah pernyataan kontras berfungsi sebagai cara untuk metode untuk menyelidiki modifikasi efek? Atau hanya untuk melihat efek ( ) pada tingkat yang berbeda? $\hat\beta$

multiple-regression categorical-data interpretation regression-coefficients contrast Renee
sumber

Sebagai catatan terminologis, "multivarian" berarti beberapa variabel respons , bukan beberapa variabel prediktor (lihat di sini ). Juga, saya tidak mengikuti pertanyaan terakhir Anda.

gung - Reinstate Monica

Terima kasih atas klarifikasi ini. Memperbaiki bahasa itu penting bagi saya! Saya kira saya tidak tahu mengapa pernyataan kontras digunakan sama sekali karena kita selalu bisa mengatur variabel referensi dengan yang bertentangan dengan yang satu?

Renee

Saya kira Anda bisa terus menyesuaikan model dengan tingkat referensi yang berbeda. Saya tidak yakin itu lebih nyaman. Dengan kontras, Anda juga dapat menentukan serangkaian kontras ortogonal atau kontras yang tersirat secara teoritis (A vs kombinasi B&C) untuk diuji.

gung - Reinstate Monica

Jawaban:

Anda benar tentang interpretasi beta ketika ada variabel kategori tunggal dengan level $k$ . Jika ada beberapa variabel kategori (dan tidak ada istilah interaksi), mencegat ( ) adalah mean dari kelompok yang merupakan tingkat referensi untuk kedua (semua) variabel kategori. Dengan menggunakan contoh skenario Anda, pertimbangkan kasus di mana tidak ada interaksi, maka beta adalah: $\hat\beta_0$

$\hat\beta_0$ : mean dari laki-laki putih
$\hat\beta_{\rm Female}$ : yangperbedaanantara rata-rata perempuan dan rata-rata laki-laki
$\hat\beta_{\rm Black}$ : iniperbedaanantara rata-rata orang kulit hitam dan kulit putih rata-rata

Kita juga dapat memikirkan hal ini dalam hal bagaimana cara menghitung berbagai kelompok berarti:

\begin{aligned} {\bar{x}}_{W h i t e M a l e s} & = {\hat{β}}_{0} \\ {\bar{x}}_{W h i t e F e m a l e s} & = {\hat{β}}_{0} + {\hat{β}}_{F e m a l e} \\ {\bar{x}}_{B l a c k M a l e s} & = {\hat{β}}_{0} + {\hat{β}}_{B l a c k} \\ {\bar{x}}_{B l a c k F e m a l e s} & = {\hat{β}}_{0} + {\hat{β}}_{F e m a l e} + {\hat{β}}_{B l a c k} \end{aligned}

$\begin{align} &\bar x_{\rm White\ Males}& &= \hat\beta_0 \\ &\bar x_{\rm White\ Females}& &= \hat\beta_0 + \hat\beta_{\rm Female} \\ &\bar x_{\rm Black\ Males}& &= \hat\beta_0 + \hat\beta_{\rm Black} \\ &\bar x_{\rm Black\ Females}& &= \hat\beta_0 + \hat\beta_{\rm Female} + \hat\beta_{\rm Black} \end{align}$

Jika Anda memiliki istilah interaksi, itu akan ditambahkan di akhir persamaan untuk perempuan kulit hitam. (Penafsiran istilah interaksi semacam itu cukup berbelit-belit, tetapi saya berjalan di sini: Penafsiran istilah interaksi .)

Pembaruan : Untuk memperjelas poin saya, mari kita pertimbangkan contoh kalengan, kode R.

d = data.frame(Sex  =factor(rep(c("Male","Female"),times=2), levels=c("Male","Female")),
               Race =factor(rep(c("White","Black"),each=2),  levels=c("White","Black")),
               y    =c(1, 3, 5, 7))
d
#      Sex  Race y
# 1   Male White 1
# 2 Female White 3
# 3   Male Black 5
# 4 Female Black 7

masukkan deskripsi gambar di sini

Sarana yuntuk variabel kategori ini adalah:

aggregate(y~Sex,  d, mean)
#      Sex y
# 1   Male 3
# 2 Female 5
## i.e., the difference is 2
aggregate(y~Race, d, mean)
#    Race y
# 1 White 2
# 2 Black 6
## i.e., the difference is 4

Kita dapat membandingkan perbedaan antara rata-rata ini dengan koefisien dari model yang sesuai:

summary(lm(y~Sex+Race, d))
# ...
# Coefficients:
#             Estimate Std. Error  t value Pr(>|t|)    
# (Intercept)        1   3.85e-16 2.60e+15  2.4e-16 ***
# SexFemale          2   4.44e-16 4.50e+15  < 2e-16 ***
# RaceBlack          4   4.44e-16 9.01e+15  < 2e-16 ***
# ...
# Warning message:
#   In summary.lm(lm(y ~ Sex + Race, d)) :
#   essentially perfect fit: summary may be unreliable

Hal yang perlu diketahui tentang situasi ini adalah bahwa, tanpa istilah interaksi, kami mengasumsikan garis paralel. Jadi, Estimateuntuk (Intercept)adalah rata-rata laki-laki kulit putih. The Estimateuntuk SexFemaleperbedaan antara rata-rata perempuan dan rata-rata laki-laki. The Estimateuntuk RaceBlackperbedaan antara mean dari kulit hitam dan mean dari kulit putih. Sekali lagi, karena model tanpa istilah interaksi mengasumsikan bahwa efeknya aditif ketat (garis-garisnya paralel), rata-rata perempuan kulit hitam adalah kemudian rata-rata laki-laki kulit putih ditambah perbedaan antara rata-rata perempuan dan rata-rata laki-laki ditambah. perbedaan antara rata-rata orang kulit hitam dan rata-rata orang kulit putih.

gung - Reinstate Monica
sumber

Terima kasih! Sangat jelas & bermanfaat. Pada akhirnya Anda menyebutkan istilah interaksi. Jika seseorang melakukan istilah interaksi maka bagaimana hal ini mengubah beta (artinya beta baru dari model istilah interaksi)? Saya tahu bahwa nilai p untuk istilah interaksi itu penting, tetapi apakah istilah interaksi beta memiliki interpretasi yang bermakna? Sekali lagi terima kasih atas bantuan Anda!

Renee

{\hat{β}}_{F e m a l e}

$\hat\beta_{\rm Female}$

{\bar{x}}_{W h i t e M a l e}

$\bar x_{\rm White\ Male}$

{\bar{x}}_{W h i t e F e m a l e}

$\bar x_{\rm White\ Female}$

Masuk akal. Terima kasih! & itu diubah dari model tanpa istilah interaksi karena istilah interaksi memperbaiki efek utama? Berarti jika tidak ada interaksi istilah efek utama secara teoritis akan sama?

Renee

Jika efek interaksi tepat 0 (ke tempat desimal tak terhingga), tidak hanya dalam populasi, tetapi juga dalam sampel Anda, betas efek utama akan sama dalam model tanpa atau tanpa istilah interaksi.

gung - Reinstate Monica

@ hans0l0, itu akan lebih baik sebagai pertanyaan baru daripada informasi yang terkubur di sini dalam komentar; Anda dapat menautkan ini untuk konteks. Secara singkat, ini adalah rata-rata level referensi ketika semua variabel kontinu = 0.

gung - Reinstate Monica

$\hat{\beta}_0$ $\hat\beta$

Jika kami memperluas sedikit contoh Anda untuk memasukkan level ketiga ke kategori ras (katakanlah Asia ) dan pilih Putih sebagai referensi, maka Anda akan memiliki:

$\hat{\beta}_0 = \bar{x}_{White}$
$\hat{\beta}_{Black} = \bar{x}_{Black} - \bar{x}_{White}$
$\hat{\beta}_{Asian} = \bar{x}_{Asian} - \bar{x}_{White}$

$\hat{\beta}$

$\bar{x}_{Asian} = \hat{\beta}_{Asian} + \hat{\beta}_0$

Sayangnya dalam kasus beberapa variabel kategori, interpretasi yang benar untuk intersep tidak lagi sejelas ini (lihat catatan di bagian akhir). Ketika ada n kategori, masing-masing dengan beberapa level dan satu level referensi (mis. Putih dan Laki - laki dalam contoh Anda), bentuk umum untuk intersep adalah:

{\hat{β}}_{0} = \sum_{saya = 1}^{n} {\bar{x}}_{r e f e r e n c e, saya} - (n - 1) \bar{x},

$\hat{\beta}_0 =∑_{i=1}^{n}\bar{x}_{reference,i} -(n-1) \bar{x} ,$

{\bar{x}}_{r e f e r e n c e, saya} adalah rata-rata level referensi dari variabel kategori ke-i,

$\bar{x}_{reference,i}\small{\text{ is the mean of the reference level of the i-th categorical variable,}}$

\bar{x} adalah rata-rata dari seluruh kumpulan data

$\bar{x}\small{\text{ is the mean of the whole data set}}$

$\hat\beta$

Jika kita kembali ke contoh Anda, kami akan mendapatkan:

$\hat{\beta}_0 = \bar{x}_{White} + \bar{x}_{Male} - \bar{x}$
$\hat{\beta}_{Black} = \bar{x}_{Black} - \bar{x}_{White}$
$\hat{\beta}_{Asian} = \bar{x}_{Asian} - \bar{x}_{White}$
$\hat{\beta}_{Female} = \bar{x}_{Female} - \bar{x}_{Male}$

$\hat\beta$

$\hat\beta$ $\hat{\beta}_0, ~\hat{\beta}_{Black}, ~\hat{\beta}_{Asian}$ $\hat{\beta}_{Female}$

Contoh Numerik

Izinkan saya meminjam dari @ung untuk contoh angka kalengan:

d = data.frame(Sex=factor(rep(c("Male","Female"),times=3), levels=c("Male","Female")),
    Race =factor(rep(c("White","Black","Asian"),each=2),levels=c("White","Black","Asian")),
    y    =c(0, 3, 7, 8, 9, 10))
d

#      Sex  Race  y
# 1   Male White  0
# 2 Female White  3
# 3   Male Black  7
# 4 Female Black  8
# 5   Male Asian  9
# 6 Female Asian 10

$\hat\beta$

aggregate(y~1,  d, mean)

#          y
# 1 6.166667

aggregate(y~Sex,  d, mean)

#      Sex        y
# 1   Male 5.333333
# 2 Female 7.000000

aggregate(y~Race, d, mean)

#    Race   y
# 1 White 1.5
# 2 Black 7.5
# 3 Asian 9.5

Kita dapat membandingkan angka-angka ini dengan hasil regresi:

summary(lm(y~Sex+Race, d))

# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)   0.6667     0.6667   1.000   0.4226
# SexFemale     1.6667     0.6667   2.500   0.1296
# RaceBlack     6.0000     0.8165   7.348   0.0180
# RaceAsian     8.0000     0.8165   9.798   0.0103

$\hat\beta$ $\hat\beta_0$

{\hat{β}}_{0} = {\bar{x}}_{W h saya t e} + {\bar{x}}_{M. Sebuah l e} - \bar{x}

$\hat{\beta}_0 = \bar{x}_{White} + \bar{x}_{Male} - \bar{x}$

1.5 + 5.333333 - 6.166667
# 0.66666

Perhatikan pada pilihan kontras

$\hat\beta$

$\hat\beta^{contr.sum}$ $\hat\beta^{contr.sum}$

$\hat\beta_0^{contr.sum}=\bar{x}$
$\hat\beta_i^{contr.sum}=\bar{x}_i-\bar{x}$

Jika kita kembali ke contoh sebelumnya, Anda akan memiliki:

$\hat{\beta}_0^{contr.sum} = \bar{x}$
$\hat{\beta}_{White}^{contr.sum} = \bar{x}_{White} - \bar{x}$
$\hat{\beta}_{Black}^{contr.sum} = \bar{x}_{Black} - \bar{x}$
$\hat{\beta}_{Asian}^{contr.sum} = \bar{x}_{Asian} - \bar{x}$
$\hat{\beta}_{Male}^{contr.sum} = \bar{x}_{Male} - \bar{x}$
$\hat{\beta}_{Female}^{contr.sum} = \bar{x}_{Female} - \bar{x}$

$\hat\beta^{contr.sum}$

GL
sumber