Bagaimana cara menguji signifikansi statistik untuk variabel kategori dalam regresi linier?

Jika dalam regresi linier saya memiliki variabel kategorikal ... bagaimana saya tahu arti statistik variabel kategoris?

Katakanlah faktor memiliki 10 level ... akan ada 10 nilai t-resultan yang berbeda, di bawah payung satu variabel faktor $X_1$ $X_1$ ...

Tampaknya bagi saya bahwa makna statistik diuji untuk setiap tingkat variabel faktor? Tidak?

@ Macro: Mengikuti saran Anda, saya telah membangun contoh berikut:

Tampaknya x3 berguna dan harus dimasukkan dalam model, dari perbandingan model di bawah ini.

Tapi sebenarnya itu salah ...

n=100    
x1=1:n
x2=(1:n)^2 
x3=rnorm(n)
ee=rnorm(n)
y=3*x1-2*x2+x3+3+ee
lm1=lm(y~x1+x2+x3)
summary(lm1)

lm2=lm(y~x1+x2) 
summary(lm2)

anova(lm1, lm2)

> anova(lm1, lm2)
Analysis of Variance Table

Model 1: y ~ x1 + x2 + x3
Model 2: y ~ x1 + x2
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1     96  82.782                                  
2     97 146.773 -1    -63.99 74.207 1.401e-13 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

regression statistical-significance categorical-data Luna
sumber

@Luna, mengapa itu salah? Tampaknya Anda digunakan x3untuk menghasilkan ys, jadi itu harus dimasukkan dalam model dan nilai-

setuju dengan kesimpulan itu.

p

$p$

Makro

@Seth - Anda benar. Saya baru saja memberikan contoh mainan menggunakan anova secara umum dalam perbandingan model. Jadi itu tidak terkait dengan pertanyaan awal saya.

Luna

@ Macro - Anda benar. Sekarang saya mengerti intinya. Terima kasih!

Luna

Fungsi 'Anova' dari paket R 'car' ( pdf ) memungkinkan Anda menguji signifikansi keseluruhan dari variabel kategori. Ia bekerja dengan banyak paket dan jenis regresi yang berbeda.

SK4ndal

Anda benar bahwa nilai- itu hanya memberi tahu Anda apakah $p$ setiap level berbeda secara signifikan dari rata-rata level referensi. Karena itu, mereka hanya memberi tahu Anda tentang perbedaan berpasangan antara level. Untuk menguji apakah prediktor kategoris, secara keseluruhan, signifikan, sama dengan menguji apakah ada heterogenitas dalam cara tingkat-tingkat prediktor. Ketika tidak ada prediktor lain dalam model, ini adalah ANOVA klasik masalah .

Ketika ada prediktor lain dalam model. Anda memiliki dua opsi untuk menguji signifikansi prediktor kategori:

(1) Tes rasio kemungkinan: Misalkan Anda memiliki hasil , prediksi kuantitatif dan kategoris prediktor dengan tingkat. Model tanpa prediktor kategoris adalah $Y_i$ $X_{i1}, ..., X_{ip}$ $C_i$ $k$

Y_{i} = β_{0} + β_{1} X_{i 1} + . . . + β_{p} X_{i p} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_{i1} + ... + \beta_p X_{ip} + \varepsilon_i$

Dalam RAnda dapat cocok dengan model ini dengan lm()perintah dan ekstrak kemungkinan log dengan logLikperintah. Sebut kemungkinan log ini $L_0$ . Selanjutnya, Anda dapat menyesuaikan model dengan prediktor kategori:

Y_{i} = β_{0} + β_{1} X_{i 1} + . . . + β_{p} X_{i p} + \sum_{j = 1}^{k - 1} α_{j} B_{j} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_{i1} + ... + \beta_p X_{ip} + \sum_{j=1}^{k-1} \alpha_j B_j + \varepsilon_i$

di mana adalah variabel dummy yaitu jika $B_j$ $1$ dan sebaliknya. The 'tingkat th adalah tingkat referensi, yang mengapa hanya ada istilah dalam jumlah. akan secara otomatis melakukan dummy coding ini untuk Anda jika Anda meneruskan variabel kategorikal ke. Anda dapat menyesuaikan model ini dengan cara yang sama dan mengekstrak kemungkinan log seperti di atas. Sebut kemungkinan log ini . Kemudian, di bawah hipotesis nol bahwa $D_i = j$ $0$ $k$ $k-1$ Rlm() $L_1$ $D_i$ tidak berpengaruh,

λ = 2 (L_{1} - L_{0})

$\lambda = 2 \left( L_1 - L_0 \right )$

$\chi^2$ $k-1$ $p$ 1-pchisq(2*(L1-L0),df=k-1)R

$F$ RRlm()g1g0anova(g1,g0)

$F$

Makro
sumber

Makro terima kasih banyak. Saya menemukan bahwa data saya sangat tidak normal. Plot QQ adalah sebagai berikut: kurva semua di bawah garis lurus 45 derajat. Kurva bersinggungan dengan garis lurus itu. Dan kurva tampak seperti kurva f (x) = - x ^ 2 (bentuk-bijaksana). Masalah apa yang saya hadapi? Dan bagaimana saya memperbaikinya? Terima kasih!

Luna

@ Luna, Data Anda sangat tidak normal atau residu sangat tidak normal? Juga, saya tidak berpikir itu mungkin untuk seluruh set poin berada di bawah garis 45 derajat.

Makro

oh sebenarnya Anda benar ... Saya hanya melihat sekali lagi pada plot QQ. Bukan seluruh set poin yang berada di bawah garis 45 derajat. Itu kurva dengan bentuk f (x) = - x ^ 2 adalah "singgung" ke garis 45 derajat. Dengan "garis singgung" saya seharusnya berarti bahwa titik-titik di sekitar titik "singgung" sebenarnya di atas garis 45 derajat, meskipun sangat sedikit. Oleh karena itu, secara visual, sebagian besar data (~ 98%) berada di bawah garis 45 derajat ... apa yang harus saya lakukan terlebih dahulu untuk memperbaiki masalah ini sebelum melakukan perbandingan model? Terima kasih!

Luna

Jika ukuran sampel Anda cukup besar,

p

$p$ harus tetap masuk akal (dengan teorema batas pusat) selama distribusi kesalahan Anda tidak berekor panjang. Jika Anda hanya ingin menguji variabel kategori secara terpisah, Anda dapat menggunakan ANOVA non-parametrik: en.wikipedia.org/wiki/… tetapi, seperti yang saya katakan, ini benar-benar menjadi pertanyaan yang sama sekali berbeda dari yang diajukan dan mungkin lebih tepat diajukan sebagai pertanyaan baru atau dijawab dengan mencari situs terkait untuk pertanyaan terkait.

Makro

@ Druss2k, ya itu benar.

Makro

Bagaimana cara menguji signifikansi statistik untuk variabel kategori dalam regresi linier?

Jawaban: