Wald test untuk regresi logistik

Sejauh yang saya mengerti tes Wald dalam konteks regresi logistik digunakan untuk menentukan apakah variabel prediktor tertentu signifikan atau tidak. Ia menolak hipotesis nol dari koefisien yang sesuai menjadi nol.$X$

Tes terdiri dari membagi nilai koefisien dengan kesalahan standar .$\sigma$

Yang saya bingung adalah bahwa juga dikenal sebagai Z-score dan menunjukkan seberapa besar kemungkinan bahwa pengamatan yang diberikan datang dari distribusi normal (dengan rata-rata nol).$X/\sigma$

Estimasi koefisien dan intersepsi dalam regresi logistik (dan GLM apa pun) ditemukan melalui estimasi maksimum-likelihood (MLE). Perkiraan ini dilambangkan dengan topi atas parameter, seperti θ . Parameter minat kami dilambangkan θ 0 dan ini biasanya 0 karena kami ingin menguji apakah koefisiennya berbeda dari 0 atau tidak. Dari teori asymptotic MLE, kita tahu bahwa perbedaan antara θ dan θ 0 akan sekitar terdistribusi normal dengan mean 0 (rincian dapat ditemukan dalam matematika statistik buku seperti Larry Wasserman Semua statistik ). Ingat bahwa kesalahan standar tidak lain adalah$\hat{\theta}$$\theta_{0}$$\hat{\theta}$$\theta_{0}$standar deviasi statistik (Sokal dan Rohlf menulis dalam bukunya Biometry : " statistik adalah salah satu dari banyak jumlah statistik yang dihitung atau diperkirakan", misalnya rata-rata, median, deviasi standar, koefisien korelasi, koefisien regresi, ...). Membagi distribusi normal dengan rata-rata 0 dan standar deviasi dengan standar deviasinya akan menghasilkan distribusi normal standar dengan rata-rata 0 dan standar deviasi 1. Statistik Wald didefinisikan sebagai (misalnya Wasserman (2006): All Statistics , halaman 153, 214 -215): W = ( β - β 0$\sigma$ atau W2=(β-β0)

$$W=\frac{(\hat{\beta}-\beta_{0})}{\widehat{\operatorname{se}}(\hat{\beta})}\sim \mathcal{N}(0,1)$$ Bentuk kedua muncul dari fakta bahwa kuadrat dari distribusi normal standar adalahχ21-Distribusi dengan 1 derajat kebebasan (jumlah dari dua kuadrat distribusi normal standar akan menjadiχ22-distribusi dengan 2 derajat kebebasan dan sebagainya). $$W^{2}=\frac{(\hat{\beta}-\beta_{0})^2}{\widehat{\operatorname{Var}}(\hat{\beta})}\sim \chi^{2}_{1}$$ $\chi^{2}_{1}$$\chi^{2}_{2}$

$\beta_{0}=0$

$$W=\frac{\hat{\beta}}{\widehat{\operatorname{se}}(\hat{\beta})}\sim \mathcal{N}(0,1)$$

---

$z$$t$

$z$$t$$z$$p$$t$$z$$\operatorname{Var}[\hat{\beta}|X]=\sigma^2(X'X)^{-1}$$\sigma^2$$X$$\sigma^2$$\hat{\sigma}^{2}=s^2$$\widehat{\operatorname{se}}(\hat{\beta_{j}})=\sqrt{s^2(X'X)_{jj}^{-1}}$$t$$t$

$Y\sim Bin(n, p)$$E(Y)=np$$\operatorname{Var}(Y)=np(1-p)$$\phi$$\phi=1$$\phi<1$$\phi>1$$z$$t$$p$-nilai. Di R, lihat dua contoh ini:

Regresi logistik

mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")

mydata$rank <- factor(mydata$rank)

my.mod <- glm(admit ~ gre + gpa + rank, data = mydata, family = "binomial")

summary(my.mod)

Coefficients:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept) -3.989979   1.139951  -3.500 0.000465 ***
gre          0.002264   0.001094   2.070 0.038465 *  
gpa          0.804038   0.331819   2.423 0.015388 *  
rank2       -0.675443   0.316490  -2.134 0.032829 *  
rank3       -1.340204   0.345306  -3.881 0.000104 ***
rank4       -1.551464   0.417832  -3.713 0.000205 ***
   ---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

(Dispersion parameter for binomial family taken to be 1)

$z$

---

Regresi linear normal (OLS)

summary(lm(Fertility~., data=swiss))

Coefficients:
                 Estimate Std. Error t value Pr(>|t|)    
(Intercept)      66.91518   10.70604   6.250 1.91e-07 ***
Agriculture      -0.17211    0.07030  -2.448  0.01873 *  
Examination      -0.25801    0.25388  -1.016  0.31546    
Education        -0.87094    0.18303  -4.758 2.43e-05 ***
Catholic          0.10412    0.03526   2.953  0.00519 ** 
Infant.Mortality  1.07705    0.38172   2.822  0.00734 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 7.165 on 41 degrees of freedom

$t$$z$$t$

Pos terkait lainnya dapat ditemukan di sini .