Properti regresi logistik

Kami sedang bekerja dengan beberapa regresi logistik dan kami telah menyadari bahwa probabilitas estimasi rata-rata selalu sama dengan proporsi yang dalam sampel; yaitu, rata-rata nilai yang dipasang sama dengan rata-rata sampel.

Adakah yang bisa menjelaskan alasannya atau memberikan referensi di mana saya dapat menemukan demonstrasi ini?

Perilaku yang Anda amati adalah kasus "khas" dalam regresi logistik, tetapi tidak selalu benar. Ini juga berlaku lebih umum (lihat di bawah). Ini adalah konsekuensi dari pertemuan tiga fakta yang terpisah.

1. Pilihan pemodelan log-odds sebagai fungsi linier dari prediktor,
2. Penggunaan kemungkinan maksimum untuk mendapatkan estimasi koefisien dalam model regresi logistik, dan
3. Dimasukkannya istilah intersep dalam model.

Jika salah satu di atas tidak ada, maka probabilitas estimasi rata-rata tidak akan, secara umum, cocok dengan proporsi yang ada dalam sampel.

Namun, (hampir) semua perangkat lunak statistik menggunakan estimasi kemungkinan maksimum untuk model tersebut, sehingga, dalam praktiknya, item 1 dan 2 pada dasarnya selalu ada, dan item 3 biasanya ada, kecuali dalam kasus khusus.

Beberapa detail

Dalam kerangka regresi logistik yang khas, kami mengamati hasil uji binomial independen dengan probabilitas . Mari y i menjadi respon yang diamati. Maka kemungkinan totalnya adalah L = n ∏ i = 1 p y i i ( 1 - p i ) 1 - y i = n ∏ i = 1 exp ( y i log ( p i / ( 1 - p $p_i$$y_i$ Dan log-likelihood adalah ℓ = n Σ i = 1 y i log ( p i / ( 1 - p i ) ) + n Σ i = 1 log ( 1 - p i

$$\mathcal L = \prod_{i=1}^n p_i^{y_i} (1-p_i)^{1 - y_i} = \prod_{i=1}^n \exp( y_i \log(p_i/(1-p_i)) + \log(1-p_i)) \>,$$ $$\ell = \sum_{i=1}^n y_i \log(p_i / (1-p_i)) + \sum_{i=1}^n \log(1-p_i) \> .$$

Sekarang, kami memiliki vektor prediktor untuk setiap observasi dan dari Fakta 1 di atas, model regresi berpendapat logistik yang log p $\newcommand{\x}{\mathbf x}\x_i$

$$\log \frac{p_i}{1-p_i} = \beta^T \x_i \>,$$ $\beta$$p_i = 1/(1+e^{-\beta^T \x_i})$

$\partial \ell / \partial \beta = 0$

$$\frac{\partial \ell}{\partial \beta} = \sum_i y_i \x_i - \sum_i \frac{\x_i}{1+\exp(-\beta^T \x_i)} = \sum_i y_i \x_i - \sum_i p_i \x_i \>,$$ $$\sum_i y_i \x_i = \sum_i \hat{p}_i \x_i \>,$$ $\hat{p}_i = (1+\exp(-\hat{\beta}^T \x_i))^{-1}$

$\x_i$$j$$i$$\sum_i y_i x_{ij} = \sum_i y_i = \sum_i \hat{p}_i$

Simulasi

$R$

x <- rnorm(100)
p <- 1/(1+exp(-3*x))
y <- runif(100) <= p
mean(y)
# Should be identical to mean(y)
mean( predict( glm(y~x, family="binomial"), type="response" ) )
# Won't be identical (usually) to mean(y)
mean( predict( glm(y~x+0, family="binomial"), type="response") )

Kasus umum : Seperti yang disinggung di atas, sifat bahwa respons rata-rata sama dengan rata-rata yang diprediksi rata-rata berpegang pada generalisasi yang jauh lebih besar untuk kelas model linier umum yang sesuai dengan kemungkinan maksimum, menggunakan fungsi tautan kanonik , dan termasuk penyadapan dalam model.

Referensi

Beberapa referensi bagus untuk teori yang terkait adalah sebagai berikut.

1. A. Agresti (2002), Analisis Data Kategorikal , edisi ke-2, Wiley.
2. P. McCullagh dan JA Nelder (1989), Generalized Linear Models , 2nd ed., Chapman & Hall. (Teks dari penulis asli dari metode umum.)