Bagaimana jika residu terdistribusi normal, tetapi y tidak?

110

Saya punya pertanyaan aneh. Asumsikan bahwa Anda memiliki sampel kecil di mana variabel dependen yang akan Anda analisis dengan model linier sederhana sangat miring. Jadi, Anda berasumsi bahwa tidak terdistribusi normal, karena ini akan menghasilkan terdistribusi normal . Tetapi ketika Anda menghitung plot QQ-Normal ada bukti, bahwa residu terdistribusi secara normal. Dengan demikian siapa pun dapat berasumsi bahwa istilah kesalahan terdistribusi secara normal, walaupun tidak. Jadi apa artinya, ketika istilah kesalahan tampaknya terdistribusi normal, tapi tidak? $u$ $y$ $y$ $y$

regression residuals error normality-assumption MarkDollar
sumber

Jawaban:

143

Adalah masuk akal untuk residu dalam masalah regresi untuk didistribusikan secara normal, meskipun variabel responnya tidak. Pertimbangkan masalah regresi univariat di mana . sehingga model regresi sesuai, dan selanjutnya menganggap bahwa nilai sebenarnya dari . Dalam hal ini, sementara residual dari model regresi sejati adalah normal, distribusi tergantung pada distribusi , karena rata-rata bersyarat dari adalah fungsi dari . Jika dataset memiliki banyak nilai $y \sim \mathcal{N}(\beta x, \sigma^2)$ $\beta=1$ $y$ $x$ $y$ $x$ $x$ yang mendekati nol dan semakin sedikit semakin tinggi nilai , maka distribusi akan condong ke kiri. Jika nilai didistribusikan secara simetris, maka akan didistribusikan secara simetris, dan sebagainya. Untuk masalah regresi, kita hanya mengasumsikan bahwa respon dikondisikan normal pada nilai . $x$ $y$ $x$ $y$ $x$

Dikran Marsupial
sumber

(+1) Saya rasa ini tidak cukup sering diulang! Lihat juga masalah yang sama yang dibahas di sini .

Wolfgang

Saya mengerti jawaban Anda dan kedengarannya benar. Setidaknya Anda mendapat banyak suara positif :) Tapi saya tidak senang sama sekali. Jadi, dalam contoh Anda

asumsi yang Anda buat adalah

. Tetapi ketika saya memperkirakan regresi saya memperkirakan

. Jadi

harus diberikan pada saat saya memperkirakan nilai tengah. Dari sini harus diikuti bahwa x adalah nilai dan saya tidak peduli bagaimana itu didistribusikan sebelum menyadarinya. Jadi

β = 1

$\beta=1$

y \sim N (1 \cdot x, σ^{2})

$y\sim N(1\cdot x,\sigma^{2})$

E (y | x)

$E(y|x)$

x

$x$

adalah distribusi

. Saya tidak mengerti di mana

mempengaruhi

y \sim N (v a l u e, σ^{2})

$y\sim N(value,\sigma^{2})$

y

$y$

x

$x$

y

$y$

MarkDollar

Saya agak (senang) terkejut dengan jumlah suara juga; o) Untuk mendapatkan data yang digunakan agar sesuai dengan model regresi, Anda telah mengambil sampel dari beberapa distribusi bersama

, dari mana Anda ingin memperkirakan

. Namun karena

adalah fungsi (berisik) dari

, distribusi sampel

harus bergantung pada distribusi sampel

, untuk sampel tertentu. Anda mungkin tidak tertarik dengan distribusi "benar"

, tetapi distribusi sampel y tergantung pada sampel x.

p (y, x)

$p(y,x)$

E (y | x)

$E(y|x)$

y

$y$

x

$x$

y

$y$

x

$x$

x

$x$

Dikran Marsupial

Pertimbangkan contoh perkiraan suhu (

) sebagai fungsi lattitude (

). Distribusi nilai

dalam sampel kami akan bergantung pada tempat kami memilih untuk menempatkan stasiun cuaca. Jika kita menempatkan semuanya di kutub atau khatulistiwa, maka kita akan memiliki distribusi bimodal. Jika kita menempatkannya pada kisi-kisi luas sama reguler, kita akan mendapatkan distribusi nilai

secara unimodal , meskipun fisika iklim sama untuk kedua sampel. Tentu saja ini akan memengaruhi model regresi Anda yang pas, dan studi tentang hal semacam itu dikenal sebagai "pergeseran kovariat". HTH

y

$y$

x

$x$

y

$y$

y

$y$

Dikran Marsupial

Saya menduga juga bahwa

bersyarat pada asumsi implisit bahwa data yang digunakan adalah sampel pertama dari distribusi bersama operasional

E (y | x)

$E(y|x)$

p (y, x)

$p(y,x)$

Dikran Marsupial

100

@DikranMarsupial memang benar, tentu saja, tetapi terlintas dalam benak saya bahwa mungkin lebih baik untuk mengilustrasikan maksudnya, terutama karena kekhawatiran ini tampaknya sering muncul. Secara khusus, residu model regresi harus didistribusikan secara normal agar nilai-p menjadi benar. Namun, bahkan jika residu terdistribusi secara normal, itu tidak menjamin bahwa akan menjadi (bukan berarti itu penting ...); itu tergantung pada distribusi $Y$ $X$ .

Mari kita ambil contoh sederhana (yang saya buat). Katakanlah kita sedang menguji obat untuk hipertensi sistolik terisolasi (yaitu, angka tekanan darah tinggi terlalu tinggi). Mari kita tentukan lebih lanjut bahwa bp sistolik biasanya terdistribusi dalam populasi pasien kami, dengan rata-rata 160 & SD 3, dan untuk setiap mg obat yang dikonsumsi setiap hari, bp sistolik turun 1 mmHg. Dengan kata lain, nilai sebenarnya dari adalah 160, dan adalah -1, dan fungsi pembangkit data yang benar adalah: $\beta_0$ $\beta_1$ Dalam penelitian fiktif kami, 300 pasien ditugaskan secara acak untuk mengonsumsi 0mg (plasebo), 20mg, atau 40mg obat baru ini per hari. (Perhatikan bahwa tidak terdistribusi secara normal.) Kemudian, setelah periode waktu yang cukup untuk obat tersebut berlaku, data kami mungkin terlihat seperti ini:

B P_{s y s} = 160 - 1 \times dosis obat harian + ε dimana ε \sim N (0, 9)

$BP_{sys}=160-1\times\text{daily drug dosage}+\varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, 9)$

X

$X$

masukkan deskripsi gambar di sini

(Saya jittered dosis sehingga poin tidak akan tumpang tindih sehingga sulit untuk dibedakan.) Sekarang, mari kita periksa distribusi (yaitu, itu distribusi marjinal / asli), dan residu: $Y$

masukkan deskripsi gambar di sini

$Y$ $Y$

$Y$ $X$ $p<.05$ $\beta_1$

set.seed(123456789)                       # this make the simulation repeatable

b0 = 160;   b1 = -1;   b1_null = 0        # these are the true beta values
x  = rep(c(0, 20, 40), each=100)          # the (non-normal) drug dosages patients get

estimated.b1s  = vector(length=10000)     # these will store the simulation's results
estimated.b1ns = vector(length=10000)
null.p.values  = vector(length=10000)

for(i in 1:10000){
  residuals = rnorm(300, mean=0, sd=3)
  y.works = b0 + b1*x      + residuals
  y.null  = b0 + b1_null*x + residuals    # everything is identical except b1

  model.works = lm(y.works~x)
  model.null  = lm(y.null~x)
  estimated.b1s[i]  = coef(model.works)[2]
  estimated.b1ns[i] = coef(model.null)[2]
  null.p.values[i]  = summary(model.null)$coefficients[2,4]
}
mean(estimated.b1s)       # the sampling distributions are centered on the true values
[1] -1.000084                  
mean(estimated.b1ns)
[1] -8.43504e-05               
mean(null.p.values<.05)   # when the null is true, p<.05 5% of the time
[1] 0.0532

masukkan deskripsi gambar di sini

Hasil ini menunjukkan bahwa semuanya berjalan dengan baik.

$X$ $Y$ $X$

gung
sumber

Jadi asumsi residu yang terdistribusi normal hanya untuk nilai-p yang benar? Mengapa nilai-p mungkin salah jika residual tidak normal?

alpukat

@loganecolss, itu mungkin lebih baik sebagai pertanyaan baru. Bagaimanapun, ya itu harus dilakukan w / apakah p-nilai yang benar. Jika residu Anda cukup non-normal & N Anda rendah, maka distribusi sampel akan berbeda dari yang diteorikan. Karena nilai-p adalah berapa banyak distribusi sampel yang berada di luar statistik pengujian Anda, nilai-p akan salah.

gung

$X$ $Y$ $X$

Dovini Jayasinghe
sumber

Distribusi respon yang marjinal sama sekali "tidak berarti"; ini adalah distribusi marjinal dari respons (dan seringkali harus memberi petunjuk pada model selain regresi sederhana dengan kesalahan normal). Anda benar dalam menekankan bahwa distribusi bersyarat itu penting setelah kami menghibur model yang dimaksud, tetapi ini tidak menambah jawaban yang sangat baik yang sudah ada.

Nick Cox