Cara menghitung kesalahan standar dari koefisien regresi logistik

Saya menggunakan scikit-belajar Python untuk melatih dan menguji regresi logistik.

scikit-belajar mengembalikan koefisien regresi dari variabel independen, tetapi itu tidak memberikan kesalahan standar koefisien. Saya membutuhkan kesalahan standar ini untuk menghitung statistik Wald untuk setiap koefisien dan, pada gilirannya, membandingkan koefisien ini satu sama lain.

Saya telah menemukan satu deskripsi tentang bagaimana menghitung kesalahan standar untuk koefisien regresi logistik (di sini ), tetapi agak sulit untuk diikuti.

Jika Anda mengetahui penjelasan sederhana dan sederhana tentang cara menghitung kesalahan standar ini dan / atau dapat memberikan saya satu, saya akan sangat menghargainya! Maksud saya bukan kode spesifik (meskipun jangan ragu untuk memposting kode apa pun yang mungkin membantu), tetapi lebih merupakan penjelasan algoritmik dari langkah-langkah yang terlibat.

$V_\beta$

Kesalahan standar dari koefisien model adalah akar kuadrat dari entri diagonal dari matriks kovarians. Pertimbangkan yang berikut ini:

• Matriks desain:

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix}$$x_{i,j}$$j$$i$

(CATATAN: Ini mengasumsikan model dengan intersep.)

• $\textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$$\hat{\pi}_{i}$$i$

Matriks kovarians dapat ditulis sebagai:

$\textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$

Ini dapat diimplementasikan dengan kode berikut:

import numpy as np
from sklearn import linear_model

# Initiate logistic regression object
logit = linear_model.LogisticRegression()

# Fit model. Let X_train = matrix of predictors, y_train = matrix of variable.
# NOTE: Do not include a column for the intercept when fitting the model.
resLogit = logit.fit(X_train, y_train)

# Calculate matrix of predicted class probabilities.
# Check resLogit.classes_ to make sure that sklearn ordered your classes as expected
predProbs = resLogit.predict_proba(X_train)

# Design matrix -- add column of 1's at the beginning of your X_train matrix
X_design = np.hstack([np.ones((X_train.shape[0], 1)), X_train])

# Initiate matrix of 0's, fill diagonal with each predicted observation's variance
V = np.diagflat(np.product(predProbs, axis=1))

# Covariance matrix
# Note that the @-operater does matrix multiplication in Python 3.5+, so if you're running
# Python 3.5+, you can replace the covLogit-line below with the more readable:
# covLogit = np.linalg.inv(X_design.T @ V @ X_design)
covLogit = np.linalg.inv(np.dot(np.dot(X_design.T, V), X_design))
print("Covariance matrix: ", covLogit)

# Standard errors
print("Standard errors: ", np.sqrt(np.diag(covLogit)))

# Wald statistic (coefficient / s.e.) ^ 2
logitParams = np.insert(resLogit.coef_, 0, resLogit.intercept_)
print("Wald statistics: ", (logitParams / np.sqrt(np.diag(covLogit))) ** 2)

Semua yang dikatakan, statsmodelsmungkin akan menjadi paket yang lebih baik untuk digunakan jika Anda ingin akses ke BANYAK diagnostik "out-the-box".

Jika Anda tertarik untuk melakukan inferensi, maka Anda mungkin ingin melihat statsmodels . Kesalahan standar dan tes statistik umum tersedia. Berikut ini adalah contoh regresi logistik .