Distribusi kesalahan untuk regresi linier dan logistik

Dengan data kontinu, regresi linier mengasumsikan bahwa istilah kesalahan didistribusikan N (0, ) $Y=\beta_1+\beta_2X_2+u$ $\sigma^2$

1) Apakah kita berasumsi bahwa Var (Y | x) juga ~ N (0, )? $\sigma^2$

2) Apa distribusi kesalahan ini dalam regresi logistik? Ketika data dalam bentuk 1 catatan per kasus, di mana "Y" adalah 1 atau 0, adalah istilah kesalahan yang didistribusikan Bernoulli (yaitu varians adalah p (1-p))) dan ketika data dalam bentuk # Berhasil dari uji #of, apakah diasumsikan binomial (yaitu varians adalah np (1-p)), di mana p adalah probabilitas bahwa Y adalah 1?

logistic generalized-linear-model B_Miner
sumber

Anda tidak tepat. Asumsi modelnya adalah bahwa istilah kesalahan independen dan terdistribusi secara identik dengan distribusi yang N (0, σ ) dan tidak terkait dengan COVARIATE. Apa itu Var (Y | x)? Apakah Anda mengkondisikan pada X = x? Apakah model menganggap kovariat itu acak dalam beberapa cara atau lebih kita asumsikan bahwa kovariat itu diperbaiki sesuai dengan matriks desain? Saya pikir itu adalah yang terakhir dan karena itu Var (Y | X = x) tersirat oleh asumsi dan tidak perlu diasumsikan.

^{2}

$^2$

_{2}

$_2$

_{2}

$_2$

Michael R. Chernick

@MichaelChernick Mengapa model menganggap bahwa sudah diperbaiki? Ini tentu bisa menjadi kasus yang diperbaiki, tetapi juga bisa secara acak. Tidak ada dalam pertanyaan yang menyiratkan salah satu kepada saya.

X_{2}

$X_2$

Peter Flom

@ PeterFlom Saya membaca pertanyaan bahwa regresi linier dengan distribusi kesalahan yang diasumsikan berarti OLS yang memang membutuhkan X untuk diperbaiki dan diketahui. Jika seseorang memiliki Deming regresi (yaitu kesalahan dalam regresi variabel) itu akan ditentukan dalam pertanyaan. Melihat jawaban yang diberikan Stat menunjukkan bahwa dia juga menyelipkan pertanyaan itu.

_{2}

$_2$

Michael R. Chernick

@Michael, saya mengasumsikan tetap X.

B_Miner

Jawaban:

1) Jika memiliki distribusi normal yaitu maka , karena bukan variabel acak. $u$ $N(0,σ^2)$ $Var(Y|X_2)=Var(β_1+β_2X_2)+Var(u)=0+σ^2=σ^2$ $β_1+β_2X_2$

2) Dalam regresi logistik, diasumsikan bahwa kesalahan mengikuti distribusi binomial seperti yang disebutkan di sini . Lebih baik menuliskannya sebagai , karena probabilitas tersebut bergantung pada , sebagaimana dirujuk di sini atau di Regresi Logistik Terapan . $Var(Y_j|X_j)=m_j.E[Y_j|X_j].(1-E[Y_j|X_j])=m_j\pi(X_j).(1-\pi(X_j))$ $X_j$

Stat
sumber

Stat, Jadi, benar untuk mengatakan bahwa varians untuk kesalahan individu engan, , adalah (1- ) yang setara dengan apa yang telah Anda tunjukkan dengan asumsi bahwa ada lebih dari 1 pengamatan dalam data dengan kovariat yang sama pola (yaitu lain = 1 untuk semua j)?

e_{i}

$e_i$

p_{i}

$p_i$

p_{i}

$p_i$

m_{j}

$m_j$

B_Miner

Ya ini benar. Jika dengan , maka dengan probabilitas atau dengan probabilitas . Karenanya memiliki distribusi dengan mean dan varians sama dengan .

Y_{i} = p_{i} + e_{i}

$Y_i=p_i+e_i$

P (Y_{i} = 1) = 1 - P (Y_{i} = 0) = p_{i}

$P(Y_i=1)=1-P(Y_i=0)=p_i$

e_{i} = 1 - p_{i}

$e_i=1-p_i$

p_{i}

$p_i$

e_{i} = - p_{i}

$e_i=-p_i$

1 - p_{i}

$1-p_i$

e_{i}

$e_i$

0

$0$

p_{i} (1 - p_{i})

$p_i(1-p_i)$

Stat

Satu poin tambahan di sini, Stat, kita HARUS mengasumsikan bahwa X adalah tetap, tidak acak untuk Var (Y | X) = Var (e) untuk kedua kasus regresi linier dan logistik yang benar?

B_Miner

NB dengan probabilitas atau dengan probabilitas adalah tidak distribusi binomial untuk .

e_{i} = 1 - p_{i}

$e_i=1−p_i$

p_{i}

$p_i$

e_{i} = - p_{i}

$e_i=−p_i$

1 - p_{i}

$1−p_i$

e_{i}

$e_i$

Scortchi

B_Miner: berarti varian bersyarat pada variabel acak mengambil nilai yang diamati . Jadi tidak penting apakah prediksi Anda ditetapkan oleh eksperimen atau diamati dalam sampel: apa yang dikatakan @ Stat adalah mereka tidak lagi dianggap sebagai variabel acak untuk keperluan regresi.

Var (Y | X) = Var (Y | X = x)

$\operatorname{Var}(Y|X)=\operatorname{Var}(Y|X=x)$

Y

$Y$

X

$X$

x

$x$

Scortchi