Keluarga GLM mewakili distribusi variabel respons atau residu?

Saya telah berdiskusi dengan beberapa anggota lab tentang ini, dan kami telah pergi ke beberapa sumber tetapi masih belum memiliki jawabannya:

Ketika kita mengatakan GLM memiliki keluarga poisson katakanlah apakah kita berbicara tentang distribusi residu atau variabel respon?

Poin pertentangan

Membaca ini artikel itu menyatakan bahwa asumsi GLM adalah Independensi statistik pengamatan, spesifikasi yang benar dari link dan varians fungsi (yang membuat saya berpikir tentang residual, bukan variabel respon), skala yang benar pengukuran untuk variabel respon dan kurangnya pengaruh poin tunggal yang tidak semestinya
Pertanyaan ini memiliki dua jawaban dengan masing-masing dua poin, satu yang muncul pertama berbicara tentang residu, dan yang kedua tentang variabel respons, yang mana?
Di blogpost ini , ketika berbicara tentang asumsi, mereka menyatakan " Distribusi residu bisa menjadi yang lain, misalnya, binomial "
Pada awal bab ini mereka mengatakan bahwa struktur kesalahan harus Poisson, tetapi residu pasti akan memiliki nilai positif dan negatif, bagaimana mungkin Poisson?
Pertanyaan ini , yang sering dikutip dalam pertanyaan-pertanyaan seperti ini untuk membuat mereka digandakan tidak memiliki jawaban yang diterima
Pertanyaan ini jawabannya berbicara tentang respons dan bukan residu
Dalam uraian kursus ini dari Universitas Pensilvania mereka berbicara tentang variabel respons dalam asumsi, bukan residu

generalized-linear-model residuals assumptions Derek Corcoran
sumber

Jawaban:

The keluarga argumen untuk model GLM menentukan keluarga distribusi untuk distribusi bersyarat dari respon , bukan dari residual (kecuali untuk kuasi -models).

Lihat cara ini: Untuk regresi linier biasa, kita dapat menulis model sebagai

Y_{i} \sim Normal (β_{0} + x_{i}^{T} β, σ^{2}) .

$Y_i \sim \text{Normal}(\beta_0+x_i^T\beta, \sigma^2).$ Ini berarti bahwa respons

Y_{i}

$Y_i$ memiliki distribusi normal (dengan varian konstan), tetapi harapannya berbeda untuk masing-masing

i

$i$ . Oleh karena itu distribusi kondisional dari respons adalah distribusi normal (tetapi berbeda untuk setiap

i

$i$ ). Cara lain untuk menulis model ini adalah

Y_{i} = β_{0} + x_{i}^{T} β + ϵ_{i}

$Y_i = \beta_0+x_i^T\beta + \epsilon_i$ mana masing-masing

ϵ_{i}

$\epsilon_i$ didistribusikan

Normal (0, σ^{2})

$\text{Normal}(0, \sigma^2)$ .

$\beta_0+x_i^T\beta$ $\epsilon_i$

Jadi untuk semua keluarga lain, kami menggunakan definisi dalam gaya persamaan yang ditampilkan pertama di atas. Yaitu, distribusi kondisional dari respons. Jadi, tidak, residu (apa pun yang didefinisikan) dalam regresi Poisson tidak memiliki distribusi Poisson.

kjetil b halvorsen
sumber

Lebih jauh ke jawaban Kjetil yang sangat baik, saya ingin menambahkan beberapa contoh spesifik untuk membantu memperjelas arti dari distribusi bersyarat , yang dapat sedikit konsep yang sulit dipahami.

Katakanlah Anda mengambil sampel acak 100 ikan dari danau dan Anda tertarik melihat bagaimana usia ikan mempengaruhi beberapa variabel hasil:

Berat ikan (Bobot);
Apakah ikan lebih dari 30 cm atau tidak;
Jumlah sisik ikan.

Variabel hasil pertama adalah kontinu, yang kedua adalah biner (0 = ikan TIDAK lebih panjang dari 30 cm; 1 = ikan lebih panjang dari 30 cm) dan yang ketiga adalah variabel jumlah.

Regresi Linier Sederhana

Bagaimana Umur memengaruhi Berat Badan? Anda akan merumuskan model regresi linier sederhana dari formulir:

Weight = β_{0} + β_{1} * Age + ϵ

$\text{Weight} = \beta_0+\beta_1*\text{Age} + \epsilon$

$\epsilon$ $\sigma$ $\beta_0 + \beta_1*\text{Age}$

Regresi Logistik Biner Sederhana

Bagaimana Umur mempengaruhi apakah ikan lebih panjang dari 30 cm? Anda akan merumuskan model regresi logistik biner sederhana dari formulir:

l o g (\frac{p}{1 - p}) = β_{0} + β_{1} * Age

$log(\frac{p}{1-p}) = \beta_0+\beta_1*\text{Age}$

$p$ $\beta_0 + \beta_1*\text{Age}$ $p$ $p*(1-p)$

Regresi Poisson Sederhana

Bagaimana Umur mempengaruhi jumlah sisik ikan? Anda akan merumuskan model regresi Poisson sederhana dari formulir:

l Hai g (μ) = β_{0} + β_{1} * Usia

$log(\mu) = \beta_0+\beta_1*\text{Age}$

$\mu$ $\beta_0+\beta_1*\text{Age}$

Singkatnya, distribusi bersyarat mewakili distribusi nilai-nilai hasil untuk nilai-nilai spesifik dari variabel prediktor yang dimasukkan dalam model . Setiap jenis model regresi yang digambarkan di atas memberikan asumsi distribusi tertentu pada distribusi kondisional dari variabel hasil yang diberikan Umur. Berdasarkan asumsi distribusi ini, model melanjutkan untuk merumuskan bagaimana (1) rata-rata distribusi kondisional bervariasi sebagai fungsi usia (regresi linier sederhana), (2) rata-rata yang diubah logit dari distribusi kondisional bervariasi sebagai fungsi dari usia (regresi logistik biner sederhana) atau (3) rata-rata log-transformasi distribusi kondisional bervariasi sebagai fungsi usia.

Untuk setiap jenis model, seseorang dapat menentukan residu yang sesuai untuk tujuan pengecekan model. Secara khusus, residu Pearson dan penyimpangan dapat didefinisikan untuk model regresi logistik dan Poisson.

Isabella Ghement
sumber

Jawaban yang sangat baik. Terima kasih untuk kalian berdua. Saya tidak pernah menyadari bahwa residual "aktual" tidak pernah benar-benar eksplisit dalam kerangka kerja GLM umum seperti dalam kasus distribusi normal.

mlofton

@mlofton: Terima kasih atas kata-kata baik Anda. Pertanyaan yang sangat bagus mengundang jawaban yang sangat baik. Kita semua mendapat manfaat dari pertukaran pengetahuan ini.

Isabella Ghement

Saya menggunakan GLM sejak lama (untuk satu atau dua tahun seperti 10 tahun yang lalu) dan itu selalu membingungkan saya, tetapi saya tidak pernah tahu itu adalah kebingungan saya sampai diminta dengan sangat jelas dan dijelaskan dengan sangat jelas. Jadi kadang-kadang kebingungan berarti bahkan tidak bisa mengajukan pertanyaan yang tepat. Terima kasih lagi.

mlofton

Anda benar sekali! Kebingungan adalah bagian dari pembelajaran - ketika kita berjuang dengan sesuatu untuk sementara waktu, kita siap untuk memahaminya dengan lebih baik ketika kita tiba-tiba menemukan penjelasan yang jelas.

Isabella Ghement

Dengan senang hati dan terima kasih atas jawaban luar biasa Anda @IsabellaGhement

Patrick