Apa perlunya asumsi dalam regresi linier?

15

Dalam regresi linier, kami membuat asumsi berikut

Mean dari respon,

E (Y_{i})

$E(Y_i)$ , pada setiap set nilai prediktor,

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , adalah fungsi Linear dari prediktor.

Kesalahan,

ε_{i}

$ε_i$ , adalah Independen.

Kesalahan,

ε_{i}

$ε_i$ , pada setiap rangkaian nilai prediktor,

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , terdistribusi secara normal.

Kesalahan,

ε_{i}

$ε_i$ , pada setiap set nilai prediktor,

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , memiliki varians yang Sama (dilambangkan

σ 2

$σ2$ ).

Salah satu cara kita dapat menyelesaikan regresi linier adalah melalui persamaan normal, yang dapat kita tulis sebagai

θ = (X^{T} X)^{- 1} X^{T} Y

$\theta = (X^TX)^{-1}X^TY$

Dari sudut pandang matematika, persamaan di atas hanya perlu $X^TX$ untuk dapat dibalik. Jadi, mengapa kita membutuhkan asumsi-asumsi ini? Saya bertanya kepada beberapa rekan dan mereka menyebutkan bahwa itu untuk mendapatkan hasil yang baik dan persamaan normal adalah algoritma untuk mencapainya. Tetapi dalam kasus itu, bagaimana asumsi ini membantu? Bagaimana menjunjung tinggi mereka membantu dalam mendapatkan model yang lebih baik?

regression assumptions Jam Budak
sumber

2

Distribusi normal diperlukan untuk menghitung interval kepercayaan koefisien menggunakan rumus biasa. Rumus perhitungan CI lainnya (saya pikir itu Putih) memungkinkan distribusi tidak normal.

keiv.fly

Anda tidak selalu membutuhkan asumsi tersebut agar model itu berfungsi. Dalam jaringan saraf Anda memiliki regresi linier di dalam dan mereka meminimalkan rmse seperti rumus yang Anda berikan, tetapi kemungkinan besar tidak ada asumsi yang berlaku. Tidak ada distribusi normal, tidak ada varians yang sama, tidak ada fungsi linier, bahkan kesalahan dapat bergantung.

keiv.fly

2

Lihat stats.stackexchange.com/q/16381/35989

Tim

1

@Alexis Variabel independen yang iid jelas bukan asumsi (dan variabel dependen menjadi iid juga bukan asumsi - bayangkan jika kita berasumsi bahwa responsnya iid maka tidak ada gunanya melakukan apa pun selain memperkirakan nilai tengah). Dan "tidak ada variabel yang dihilangkan" tidak benar-benar asumsi tambahan meskipun ada baiknya untuk menghindari variabel yang dihapus - asumsi pertama yang tercantum adalah yang benar-benar menangani hal itu.

Dason

1

@ Alasan saya pikir tautan saya memberikan contoh yang cukup kuat tentang "tidak ada variabel yang dihilangkan" yang diperlukan untuk interpretasi yang valid. Saya juga berpikir iid (tergantung pada prediktor, ya) diperlukan, dengan jalan acak memberikan contoh yang sangat baik tentang di mana estimasi non-iid dapat gagal (pernah menggunakan hanya memperkirakan rata-rata).

Alexis

19

Anda benar - Anda tidak perlu memenuhi asumsi ini agar sesuai dengan garis kuadrat terkecil ke poin. Anda perlu asumsi-asumsi ini untuk menafsirkan hasil. Misalnya, dengan asumsi tidak ada hubungan antara input dan , berapakah probabilitas mendapatkan koefisien setidaknya sama besar seperti apa yang kita lihat dari regresi? $X_1$ $Y$ $\beta_1$

rinspy
sumber

17

Coba citra kuartet Anscombe dari Wikipedia untuk mendapatkan ide dari beberapa masalah potensial dengan menafsirkan regresi linier ketika beberapa asumsi-asumsi yang jelas palsu: sebagian besar statistik deskriptif dasar yang sama di keempat (dan individu nilai-nilai identik dalam semua kecuali bagian kanan bawah) $x_i$

Henry
sumber

Saya membuat ilustrasi berikut Anscombe yang menunjukkan apa yang tampak seperti asumsi variabel yang dihilangkan . Masih mengerjakan ilustrasi mirip Anscombe tentang pelanggaran asumsi iid .

Alexis

3

Anda tidak perlu asumsi-asumsi itu agar sesuai dengan model linier. Namun, estimasi parameter Anda mungkin bias atau tidak memiliki varian minimum. Melanggar asumsi akan membuat diri Anda lebih sulit dalam menafsirkan hasil regresi, misalnya, membangun interval kepercayaan.

Halo Dunia
sumber

1

Ok, jawabannya sejauh ini seperti ini: Jika kita melanggar asumsi maka hal buruk bisa terjadi. Saya percaya bahwa arah yang menarik adalah: Ketika semua asumsi yang kita butuhkan (sebenarnya sedikit berbeda dari yang di atas) terpenuhi, mengapa dan bagaimana kita dapat yakin bahwa regresi linier adalah model terbaik?

$p(y_i|x_i)$ $E[Y_i|X_i=x_i]$ $x_i$

Fabian Werner
sumber

0

Dua asumsi utama adalah

Independensi pengamatan
Berarti tidak terkait dengan varians

Lihat Diskusi dalam buku Julian Faraway .

Jika keduanya benar, secara mengejutkan OLS tahan terhadap pelanggaran dalam asumsi lain yang telah Anda daftarkan.

astaines
sumber

Apa perlunya asumsi dalam regresi linier?

Jawaban: