22

Kalimat pertama dari halaman wiki ini mengklaim bahwa "Dalam ekonometrika, masalah endogenitas terjadi ketika variabel penjelas berkorelasi dengan istilah kesalahan. 1 "

Pertanyaan saya adalah bagaimana ini bisa terjadi? Bukankah beta regresi dipilih sedemikian sehingga istilah kesalahannya ortogonal ke ruang kolom dari matriks desain?

regression penghuni utara
sumber

9

Beta regresi dipilih sedemikian rupa sehingga residualnya ortogonal ke ruang kolom dari matriks desain. Dan ini dapat memberikan perkiraan mengerikan dari beta sejati jika istilah kesalahan tidak ortogonal ke ruang kolom dari matriks desain! (yaitu jika model Anda tidak memenuhi asumsi yang diperlukan untuk secara konsisten memperkirakan koefisien dengan regresi).

Matthew Gunn

3

Orthogonality dari istilah kesalahan dan ruang kolom dari matriks desain bukan properti metode estimasi Anda (mis. Regresi kuadrat terkecil biasa), itu adalah properti model (mis. ).

y_{i} = a + b x_{i} + ϵ_{i}

$y_i = a + b x_i + \epsilon_i$

Matthew Gunn

Saya pikir hasil edit Anda harus menjadi pertanyaan baru karena Anda tampaknya telah mengubah secara substansial apa yang Anda minta. Anda selalu dapat menautkan kembali ke yang ini. (Saya pikir Anda perlu mengatakannya dengan lebih baik juga - ketika Anda menulis "apa efeknya" maka saya tidak jelas tentang efek apa ?) Perhatikan bahwa mengajukan pertanyaan baru umumnya menghasilkan lebih banyak perhatian yang akan menjadi keuntungan untuk Anda lebih dari mengedit yang sudah ada.

Silverfish

28

Anda menggabungkan dua jenis istilah "kesalahan". Wikipedia sebenarnya memiliki artikel yang ditujukan untuk perbedaan antara kesalahan dan residu .

Dalam regresi OLS, residual (perkiraan kesalahan atau gangguan istilah Anda) memang dijamin tidak berkorelasi dengan variabel prediktor, dengan asumsi regresi berisi istilah intersep. $\hat \varepsilon$

Tetapi kesalahan "benar" mungkin berkorelasi dengan kesalahan tersebut , dan inilah yang dianggap sebagai endogenitas. $\varepsilon$

Untuk mempermudah, pertimbangkan model regresi (Anda mungkin melihat ini digambarkan sebagai " proses pembuatan data " yang mendasarinya, atau "DGP", model teoritis yang kami asumsikan menghasilkan nilai ): $y$

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$

Tidak ada alasan, pada prinsipnya, mengapa tidak dapat dikorelasikan dengan dalam model kami, betapapun kami lebih suka untuk tidak melanggar asumsi OLS standar dengan cara ini. Sebagai contoh, mungkin saja bergantung pada variabel lain yang telah dihilangkan dari model kami, dan ini telah dimasukkan ke dalam istilah gangguan (the adalah tempat kita menggumpalkan semua hal selain yang memengaruhi ). Jika variabel yang dihilangkan ini juga berkorelasi dengan , maka pada gilirannya akan dikorelasikan dengan dan kami memiliki endogenitas (khususnya, bias variabel yang dihilangkan ). $x$ $\varepsilon$ $y$ $\varepsilon$ $x$ $y$ $x$ $\varepsilon$ $x$

Ketika Anda memperkirakan model regresi Anda pada data yang tersedia, kami dapatkan

y_{i} = {\hat{β}}_{1} + {\hat{β}}_{2} x_{i} + {\hat{ε}}_{i}

$y_i = \hat \beta_1 + \hat \beta_2 x_i + \hat \varepsilon_i$

Karena cara OLS bekerja *, residual akan tidak berkorelasi dengan . Tapi itu tidak berarti kita telah menghindari endogenitas - itu hanya berarti bahwa kita tidak dapat mendeteksinya dengan menganalisis korelasi antara dan , yang akan menjadi (hingga kesalahan numerik) nol. Dan karena asumsi OLS telah dilanggar, kami tidak lagi dijamin properti yang bagus, seperti ketidakberpihakan, kami sangat menikmati OLS. Taksiran kami akan bias. $\hat \varepsilon$ $x$ $\hat \varepsilon$ $x$ $\hat \beta_2$

$(*)$ Fakta bahwa tidak berkorelasi dengan mengikuti segera dari "persamaan normal" yang kami gunakan untuk memilih perkiraan terbaik kami untuk koefisien. $\hat \varepsilon$ $x$

Jika Anda tidak terbiasa dengan pengaturan matriks, dan saya tetap menggunakan model bivariat yang digunakan dalam contoh saya di atas, maka jumlah residu kuadrat adalah dan untuk menemukan optimal dan yang meminimalkan ini kita menemukan persamaan normal, pertama persamaan pertama - Kondisi pesanan untuk perkiraan intersep: $S(b_1, b_2) = \sum_{i=1}^n \varepsilon_i^2 = \sum_{i=1}^n (y_i-b_1 - b_2 x_i)^2$ $b_1 = \hat \beta_1$ $b_2 = \hat \beta_2$

\frac{\partial S}{\partial b_{1}} = \sum_{i = 1}^{n} - 2 (y_{i} - b_{1} - b_{2} x_{i}) = - 2 \sum_{i = 1}^{n} {\hat{ε}}_{i} = 0

$\frac{\partial S}{\partial b_1} = \sum_{i=1}^n -2(y_i-b_1 - b_2 x_i) = -2 \sum_{i=1}^n \hat \varepsilon_i = 0$

yang menunjukkan bahwa jumlah (dan karenanya berarti) dari residual adalah nol, sehingga rumus untuk kovarians antara dan variabel apa pun kemudian direduksi menjadi . Kami melihat ini nol dengan mempertimbangkan kondisi orde pertama untuk kemiringan yang diperkirakan, yaitu itu $\hat \varepsilon$ $x$ $\frac{1}{n-1} \sum_{i=1}^n x_i \hat \varepsilon_i$

\frac{\partial S}{\partial b_{2}} = \sum_{i = 1}^{n} - 2 x_{i} (y_{i} - b_{1} - b_{2} x_{i}) = - 2 \sum_{i = 1}^{n} x_{i} {\hat{ε}}_{i} = 0

$\frac{\partial S}{\partial b_2} = \sum_{i=1}^n -2 x_i (y_i-b_1 - b_2 x_i) = -2 \sum_{i=1}^n x_i \hat \varepsilon_i = 0$

Jika Anda terbiasa bekerja dengan matriks, kami dapat menggeneralisasi ini ke regresi berganda dengan mendefinisikan ; syarat orde pertama untuk meminimalkan pada optimal adalah: $S(b) = \varepsilon' \varepsilon = (y-Xb)'(y-Xb)$ $S(b)$ $b = \hat \beta$

\frac{d S}{d b} (\hat{β}) = \frac{d}{d b} (y^{'} y - b^{'} X^{'} y - y^{'} X b + b^{'} X^{'} X b) |_{b = \hat{β}} = - 2 X^{'} y + 2 X^{'} X \hat{β} = - 2 X^{'} (y - X \hat{β}) = - 2 X^{'} \hat{ε} = 0

$\frac{dS}{db}(\hat\beta) = \frac{d}{db}\bigg(y'y - b'X'y - y'Xb + b'X'Xb\bigg)\bigg|_{b=\hat\beta} = -2X'y + 2X'X\hat\beta = -2X'(y - X\hat\beta) = -2X'\hat \varepsilon = 0$

Ini menyiratkan setiap baris , dan karenanya setiap kolom , ortogonal ke . Kemudian jika matriks desain memiliki kolom yang (yang terjadi jika model Anda memiliki istilah intersep), kita harus memiliki sehingga residual memiliki jumlah nol dan rata-rata nol . Kovarians antara dan variabel pun lagi dan untuk setiap variabel termasuk dalam model kami, kami tahu jumlah ini adalah nol, karena $X'$ $X$ $\hat \varepsilon$ $X$ $\sum_{i=1}^n \hat \varepsilon_i = 0$ $\hat \varepsilon$ $x$ $\frac{1}{n-1} \sum_{i=1}^n x_i \hat \varepsilon_i$ $x$ $\hat \varepsilon$ adalah ortogonal untuk setiap kolom dari matriks desain. Karenanya ada nol kovarians, dan nol korelasi, antara dan variabel prediktor apa pun . $\hat \varepsilon$ $x$

Jika Anda lebih suka tampilan yang lebih geometris , keinginan kami bahwa terletak sedekat mungkin dengan dalam cara Pythagoras , dan fakta bahwa dibatasi pada ruang kolom dari matriks desain , mendiktekan bahwa harus menjadi proyeksi ortogonal dari diamati pada ruang kolom itu. Karenanya vektor residual adalah orthogonal untuk setiap kolom , termasuk vektor yang $\hat y$ $y$ $\hat y$ $X$ $\hat y$ $y$ $\hat \varepsilon = y - \hat y$ $X$ $\mathbf{1_n}$ jika istilah intersep dimasukkan dalam model. Seperti sebelumnya, ini menyiratkan jumlah residual adalah nol, di mana ortogonalitas vektor residual dengan kolom memastikan itu tidak berkorelasi dengan masing-masing prediktor tersebut. $X$

Vektor dalam ruang subjek regresi berganda

Tapi tidak ada yang kami lakukan di sini yang mengatakan apa pun tentang kesalahan sebenarnya . Dengan asumsi ada istilah intersep dalam model kami, residual hanya tidak berkorelasi dengan sebagai konsekuensi matematis dari cara kami memilih untuk memperkirakan koefisien regresi . Cara kami memilih kami mempengaruhi nilai prediksi kami dan dan karenanya residual kami . Jika kita memilih oleh OLS, kita harus menyelesaikan persamaan normal dan ini menegakkan bahwa perkiraan residu kami tidak berkorelasi dengan $\varepsilon$ $\hat \varepsilon$ $x$ $\hat \beta$ $\hat \beta$ $\hat y$ $\hat \varepsilon = y - \hat y$ $\hat \beta$ $\hat \varepsilon$ $x$ . Pilihan kami mempengaruhi tetapi tidak dan karenanya tidak membebankan kondisi pada kesalahan sebenarnya . Akan menjadi kesalahan untuk berpikir bahwa entah bagaimana "mewarisi" ketidakcocokannya dengan dari asumsi OLS bahwa harus tidak berkorelasi dengan . Ketidakcocokan muncul dari persamaan normal. $\hat \beta$ $\hat y$ $\mathbb{E}(y)$ $\varepsilon = y - \mathbb{E}(y)$ $\hat \varepsilon$ $x$ $\varepsilon$ $x$

Gegat
sumber

1

apakah berarti regresi menggunakan data populasi? Atau apa artinya tepatnya?

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$

Penduduk utara

@ user1559897 Ya, beberapa buku pelajaran akan menyebutnya "garis regresi populasi" atau PRL. Ini adalah model teoritis yang mendasari populasi; Anda juga dapat melihat ini disebut "proses menghasilkan data" di beberapa sumber. (Saya cenderung sedikit berhati-hati untuk mengatakan itu adalah "regresi pada populasi" ... jika Anda memiliki populasi yang terbatas, misalnya 50 negara bagian AS, di mana Anda melakukan regresi, maka ini tidak sepenuhnya benar. Jika Anda benar-benar menjalankan populasi pada beberapa data dalam perangkat lunak Anda, Anda benar-benar berbicara tentang perkiraan versi regresi, dengan "topi")

Silverfish

Saya pikir saya mengerti apa yang Anda katakan. Jika saya mengerti Anda dengan benar, istilah kesalahan dalam model bisa memiliki harapan yang tidak nol karena ini adalah proses pembuatan teoretis, bukan regresi ols.

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$

Penduduk utara

Ini adalah jawaban yang bagus dari perspektif inferensi statistik. Menurut Anda apa pengaruhnya jika akurasi prediksi menjadi perhatian utama? Lihat hasil edit posting.

Penduduk utara

16

Contoh sederhana:

Biarkan menjadi jumlah burger yang saya beli pada kunjungan $x_{i,1}$ $i$
Biarkan menjadi jumlah roti yang saya beli. $x_{i,2}$
Biarkan menjadi harga burger $b_1$
Biarkan menjadi harga roti. $b_2$
Tidak tergantung pada pembelian burger dan roti saya, izinkan saya membelanjakan jumlah acak mana adalah skalar dan adalah rata-rata nol variabel acak. Kami memiliki . $a + \epsilon_i$ $a$ $\epsilon_i$ $\operatorname{E}[\epsilon_i | X] = 0$
Biarkan menjadi pengeluaran saya untuk perjalanan ke toko kelontong. $y_i$

Proses menghasilkan data adalah:

y_{i} = a + b_{1} x_{i, 1} + b_{2} x_{i, 2} + ϵ_{i}

$y_i = a + b_1x_{i,1} + b_2x_{i,2} + \epsilon_i$

Jika kami menjalankan regresi itu, kami akan mendapatkan taksiran , , dan , dan dengan data yang cukup, mereka akan konvergen pada , , dan masing-masing. $\hat{a}$ $\hat{b}_1$ $\hat{b}_2$ $a$ $b_1$ $b_2$

(Catatan teknis: Kami membutuhkan sedikit keacakan sehingga kami tidak membeli tepat satu roti untuk setiap burger yang kami beli di setiap kunjungan ke toko bahan makanan. Jika kami melakukan ini, dan akan menjadi collinear .) $x_1$ $x_2$

Contoh bias variabel yang dihilangkan:

Sekarang mari kita perhatikan modelnya:

y_{i} = a + b_{1} x_{i, 1} + u_{i}

$y_i = a + b_1x_{i,1} + u_i$

Amati bahwa . Karenanya $u_i = b_2x_{i,2} + \epsilon_i$

\begin{aligned} Cov (x_{1}, u) & = Cov (x_{1}, b_{2} x_{2} + ϵ) \\ = b_{2} Cov (x_{1}, x_{2}) + Cov (x_{1}, ϵ) \\ = b_{2} Cov (x_{1}, x_{2}) \end{aligned}

$\begin{align*} \operatorname{Cov}(x_{1}, u) &= \operatorname{Cov}(x_1,b_2x_2 + \epsilon )\\ &= b_2 \operatorname{Cov}(x_{1},x_2) + \operatorname{Cov}(x_{1},\epsilon) \\ &= b_2 \operatorname{Cov}(x_{1},x_2) \end{align*}$

Apakah ini nol? Hampir pasti tidak! Pembelian burger dan pembelian roti hampir pasti berkorelasi! Karenanya, dan berkorelasi! $x_1$ $x_2$ $u$ $x_1$

Apa yang terjadi jika Anda mencoba menjalankan regresi?

Jika Anda mencoba menjalankan:

y_{i} = \hat{a} + {\hat{b}}_{1} x_{i, 1} + {\hat{u}}_{i}

$y_i = \hat{a} + \hat{b}_1 x_{i,1} + \hat{u}_i$

Perkiraan Anda hampir pasti merupakan perkiraan buruk dari karena estimasi regresi OLS akan dibangun sehingga dan tidak berkorelasi dalam sampel Anda. Tapi sebenarnya berkorelasi dengan dalam populasi! $\hat{b}_1$ $b_1$ $\hat{a}, \hat{b}, \hat{u}$ $\hat{u}$ $x_1$ $u$ $x_1$

Apa yang akan terjadi dalam praktik jika Anda melakukan ini? Perkiraan Anda dari harga burger akan JUGA pickup harga roti. Katakanlah setiap kali Anda membeli burger $ 1, Anda cenderung membeli roti 0,50 (tetapi tidak setiap saat). Perkiraan Anda tentang harga burger mungkin 1,40. Anda akan mengambil saluran burger dan saluran roti dalam perkiraan harga burger Anda. $\hat{b}_1$

Matthew Gunn
sumber

Saya suka contoh roti burger Anda. Anda menjelaskan masalah dari perspektif inferensi statistik, yaitu menyimpulkan efek burger pada harga. Hanya ingin tahu apa efeknya jika yang saya pedulikan hanyalah prediksi, yaitu prediksi MSE pada dataset uji? Intuisi adalah bahwa itu tidak akan sebaik, tetapi apakah ada teori untuk membuatnya lebih tepat? (ini memperkenalkan lebih banyak bias, tetapi lebih sedikit variansnya, sehingga efek keseluruhannya tidak tampak bagi saya.)

penghuni utara

1

@ user1559897 Jika Anda hanya ingin memprediksi pengeluaran, maka memprediksi pengeluaran menggunakan jumlah burger dan memperkirakan karena sekitar $ 1,40 mungkin bekerja dengan cukup baik. Jika Anda memiliki cukup data, menggunakan jumlah burger dan roti pastinya akan bekerja lebih baik. Dalam sampel singkat, regularlization (LASSO) mungkin mengirim salah satu koefisien atau ke nol. Saya pikir Anda benar mengakui bahwa apa yang Anda lakukan dalam regresi memperkirakan fungsi harapan bersyarat. Maksud saya adalah untuk itu berfungsi untuk menangkap efek kausal, Anda perlu asumsi tambahan.

{\hat{b}}_{1}

$\hat{b}_1$

L_{1}

$L_1$

b_{1}

$b_1$

b_{2}

$b_2$

Matthew Gunn

3

Misalkan kita sedang membangun regresi dari berat seekor binatang pada ketinggiannya. Jelas, berat lumba-lumba akan diukur secara berbeda (dalam prosedur yang berbeda dan menggunakan instrumen yang berbeda) dari berat gajah atau ular. Ini berarti bahwa kesalahan model akan tergantung pada ketinggian, yaitu variabel penjelas. Mereka bisa bergantung dalam banyak cara berbeda. Misalnya, mungkin kita cenderung sedikit melebih-lebihkan bobot gajah dan sedikit meremehkan ular, dll.

Jadi, di sini kami menetapkan bahwa mudah untuk berakhir dengan situasi ketika kesalahan berkorelasi dengan variabel penjelas. Sekarang, jika kita mengabaikan ini dan melanjutkan ke regresi seperti biasa, kita akan melihat bahwa regresi residual yang tidak berkorelasi dengan matriks desain. Ini karena, dengan desain regresi memaksa residu menjadi tidak berkorelasi. Perhatikan, juga bahwa residual yang tidak pada kesalahan , mereka yang perkiraankesalahan. Jadi, terlepas dari apakah kesalahan itu sendiri berkorelasi atau tidak dengan variabel independen, estimasi kesalahan (residu) tidak akan berkorelasi dengan pembangunan solusi persamaan regresi.

Aksakal
sumber

Bagaimana istilah kesalahan regresi dapat dikorelasikan dengan variabel penjelas?

Jawaban:

Contoh sederhana:

Contoh bias variabel yang dihilangkan:

Apa yang terjadi jika Anda mencoba menjalankan regresi?