Apakah intersep dalam regresi logistik menangkap efek yang tidak teramati?

8

Secara teoritis, apakah istilah intersep dalam model regresi logistik menangkap semua efek yang tidak teramati?

Dengan kata lain, dalam model regresi logistik dengan kecocokan sempurna (yaitu semua variabel yang relevan dimasukkan), istilah intersep harus nol, benar?

student_of_life
sumber

Jawaban:

6

Secara teoritis, apakah istilah intersep dalam model regresi logistik menangkap semua efek yang tidak teramati?

Ini adalah pertanyaan yang menarik, dan saya dapat melihat bagaimana dengan beberapa eksperimen sederhana, orang mungkin berpikir bahwa inilah masalahnya. Bahkan, dalam upaya pertama saya untuk mengatur ini, saya benar-benar membuat demonstrasi hanya akan salah memperkirakan intersep ketika saya salah menentukan model - jika tidak, semua estimasi koefisien baik-baik saja!

Dalam regresi OLS, istilah galat adalah tempat kami ingin semua efek yang belum kami pertanggungjawabkan ... tetapi jika ada efek yang belum kami pertanggungjawabkan (yaitu, modelnya salah spesifik) maka mereka akan cenderung memundurkan kepala mereka dalam fitur lain dari model, terutama jika ada hubungan yang membingungkan antara variabel. Ini juga berlaku untuk semua metode regresi konvensional lainnya - jika modelnya tidak ditentukan, estimasi koefisien tidak dapat dipercaya (tapi mungkin prediksi akan membantu atau model tersebut melayani beberapa tujuan bermanfaat lainnya).

Sebagai contoh, berikut adalah model binomial di mana hanya ada dua fitur, dan beberapa ketergantungan di antaranya. Saya telah memasang sedemikian rupa sehingga koefisiennya harusTetapi jika kita menghilangkan dari estimasi model, semua koefisien kami diperkirakan salah - dan sangat liar!β0=10,β1=5,β2=5.x2

set.seed(13)
N <- 100

inv_logit <- function(x){
    ifelse(x< -20, -20, x)
    out <- 1/(1+exp(-x))
    return(out)
}

x0 <- rep(1, N)
x1 <- rnorm(N)
x2 <- rnorm(N, mean=10+3*x1-0.5*x1^2)
zTransform <- cbind(x0, x1, x2)%*%c(-10,-5,1)
summary(zTransform)

yObs <- rbinom(N, size=1, prob=inv_logit(zTransform))

badModel <- glm(yObs~x1, family=binomial(link="logit"))
summary(badModel)

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)  -0.1404     0.2327  -0.604    0.546    
x1           -1.3417     0.3041  -4.412 1.02e-05 ***

Tetapi jika kita menentukan model dengan benar, kita mendapatkan kembali koefisien kita, tetapi dengan beberapa kesalahan estimasi.

goodModel <- glm(yObs~x1+x2, family=binomial(link="logit"))
summary(goodModel)

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)  -9.9512     2.9331  -3.393 0.000692 ***
x1           -4.8657     1.1918  -4.083 4.45e-05 ***
x2            0.9970     0.2948   3.382 0.000720 ***

Dengan kata lain, dalam model regresi logistik dengan kecocokan sempurna (yaitu semua variabel yang relevan dimasukkan), istilah intersep harus nol, benar?

Mengapa demikian? Misalkan Anda melakukan regresi logistik dan Anda tidak memiliki kovariat - misalnya, percobaan Anda bergulir mati dan setiap 6 adalah "sukses", dan setiap hasil lainnya adalah kegagalan (mungkin Anda melakukan jaminan kualitas untuk kasino). Jika kami menganggap bahwa dadu itu adil, Anda akan memperkirakan koefisien pada beberapa nilai bukan nol semata-mata karena ada hasil yang lebih tidak menguntungkan daripada hasil yang menguntungkan dalam data Anda.

Penting untuk dipahami bahwa Anda telah mengajukan dua pertanyaan berbeda di pos Anda. Yang pertama bertanya apakah intersep menangkap efek yang tidak dimodelkan (tidak! Semua perkiraan koefisien salah ketika model salah-ditentukan!) Pertanyaan kedua menanyakan apakah intersep harus nol - dan jawabannya juga tidak, karena istilah intersep ditetapkan oleh rasio "sukses" dengan "kegagalan".

Sycorax berkata Reinstate Monica
sumber
Terima kasih, jawaban Anda sebenarnya sangat membantu! Jadi pada dasarnya efek yang tidak teramati hanya dihitung dalam perbedaan antara nilai maksimum lnLikelihood (= 0) dan fungsi lnLikelihood yang memperhitungkan semua variabel independen, kan?
student_of_life
2
Saya tidak mengerti pertanyaan Anda. Spesifikasi model yang benar mencakup semua fitur yang relevan - yang merupakan sedikit dilema, karena dunia ini rumit dan memperhitungkan semua efek pada umumnya tidak mungkin. Efek yang dihilangkan dapat berarti bahwa estimasi koefisien sangat salah!
Sycorax berkata Reinstate Monica
Seperti yang Anda katakan, karena model jarang dapat menangkap semua efek, akan selalu ada efek yang dihilangkan. Saya bertanya-tanya apakah dapat ditemukan 'indikator' dalam model regresi logistik biner standar yang menunjukkan ukuran efek yang dihilangkan ini.
student_of_life
Bukannya saya sadar: Anda tidak dapat memasukkan data yang tidak Anda miliki.
Sycorax mengatakan Reinstate Monica
1
@student_of_life: Setiap metrik yang membandingkan model yang cocok dengan yang sempurna - model yang memprediksi probabilitas keberhasilan 1 untuk semua "keberhasilan" & 0 untuk semua "kegagalan" - dapat diambil untuk menunjukkan ukuran efek yang dihilangkan dalam deterministik. alam semesta.
Scortchi
2

Saya tidak yakin apakah ada model, bahkan yang linear, dengan kesesuaian 'sempurna' menyiratkan bahwa istilah intersep harus 0. Ini membantu dalam kasus ini untuk memikirkan regresi linier sederhana. Cara saya memahami intersep adalah bahwa ia memperbaiki beberapa nilai wajar untuk variabel-y. Itu hanya menunjukkan nilai apa y variabel mengambil bahkan jika semua x adalah 0. Harus ada alasan yang baik untuk berpikir mengapa ini harus 0. Saya tidak berpikir itu ada hubungannya dengan unobservables. Dalam model linier, ini memungkinkan a) kesesuaian yang lebih baik dan b) memastikan bahwa residualnya berjumlah 1.

ChinG
sumber
1

dalam model regresi logistik dengan kecocokan sempurna (yaitu semua variabel yang relevan disertakan), istilah intersep harus nol, benar?

Tidak. Pencegatan menangkap bagian konstan dari bahaya.

Aksakal
sumber
1

Intercept memungkinkan hyperplane linier untuk bergerak "ke samping". Misalnya, dalam satu dimensi ia menggerakkan sigmoid ke kiri dan ke kanan, secara efektif mengubah tempat yang diaktifkan oleh regresi.

Felipe Gerard
sumber