Distribusi normal koefisien regresi multivariat?

Saat membaca buku teks tentang regresi saya menemukan paragraf berikut:

Estimasi kuadrat terkecil dari vektor koefisien regresi linier ( ) adalah $\beta$

$\hat{β} = (X^{t} X)^{- 1} X^{t} y$ $\hat{\beta} = (X^{t}X)^{-1}{X^t}y$
yang, bila dipandang sebagai fungsi data (dengan mempertimbangkan prediktor sebagai konstanta), adalah kombinasi linear dari data. Menggunakan Teorema Batas Pusat, dapat ditunjukkan bahwa distribusi akan mendekati multivariat normal jika ukuran sampel besar. $y$ $X$ $\beta$

Saya benar-benar kehilangan sesuatu dari teks, tetapi saya tidak mengerti bagaimana bisa nilai tunggal memiliki distribusi? Bagaimana beberapa nilai dihasilkan untuk mendapatkan distribusi yang dimaksud dalam teks? $\beta$ $\beta$

multiple-regression di atas
sumber

adalah vektor koefisien regresi - apakah itu menjernihkan kebingungan?

β

$\beta$

Makro

Saat menggunakan pendekatan kuadrat terkecil, Anda menganggap bahwa

sudah diperbaiki tetapi tidak diketahui.

, karena itu fungsi dari data (random), memiliki distribusi. Distribusi asimtotik adalah distribusi normal. Non-asimtotik, koefisien individu akan berada pada distribusi.

β

$\beta$

\hat{β}

$\hat{\beta}$

Taylor

Mungkin membantu untuk mengamati bahwa

dianggap sebagai matriks konstan dalam pengaturan regresi dan bahwa

adalah realisasi dari variabel acak (bernilai vektor). Namun, sedikit tentang CLT itu tidak sepenuhnya benar: ia mengandalkan baik pada

memiliki struktur tertentu, yang kadang-kadang tidak benar-benar terjadi bahkan dengan kumpulan data yang besar, atau yang lain pada

itu sendiri menjadi multivariat normal (tetapi kemudian tidak perlu untuk aktifkan CLT).

H = (X^{t} X)^{- 1} X^{t}

$H = (X^tX)^{-1}X^t$

y

$y$

H

$H$

y

$y$

whuber

@Taylor Tapi bagaimana Anda tahu distribusi B jika satu-satunya yang saya tahu adalah "ukuran sampel besar"?

atas

@Taylor Komponen individual dari beta vactor akan memiliki distribusi hanya jika komponen kesalahan dalam model regresi adalah Gaussian dengan 0 mean dan varians konstan. Dalam kasus non-normal Anda tidak perlu mengetahui distribusinya di bawah hipotesis nol tetapi mungkin masih asimtotik normal. Namun ketika Whuber menyatakan teorema batas pusat mungkin tidak berlaku karena itu adalah rata-rata tertimbang dan kita perlu tahu bahwa bobot tidak berubah dengan ukuran sampel dengan cara yang memungkinkan beberapa istilah untuk mendominasi jumlah.

Michael R. Chernick

Distribusi normal koefisien regresi multivariat?

Jawaban: