Asumsi untuk mendapatkan estimator OLS

Dapatkah seseorang menjelaskan secara singkat untuk saya, mengapa masing-masing dari enam asumsi diperlukan untuk menghitung estimator OLS? Saya hanya menemukan tentang multikolinieritas — bahwa jika ada, kami tidak dapat membalikkan (X'X) matriks dan pada gilirannya memperkirakan penaksir keseluruhan. Bagaimana dengan yang lain (misalnya, linearitas, nol kesalahan berarti, dll.)?

least-squares assumptions Ieva
sumber

Terkait: Apa daftar lengkap dari asumsi biasa untuk regresi linier?

gung - Reinstate Monica

Apakah Anda mencari penjelasan konseptual, atau apakah Anda memerlukan demonstrasi matematika?

gung - Reinstate Monica

Kuadrat terkecil biasa adalah prosedur numerik, Anda tidak perlu banyak asumsi untuk menghitungnya (selain dari keterbalikan). Asumsi diperlukan untuk membenarkan kesimpulan berdasarkan itu, lihat jawaban saya kemarin: stats.stackexchange.com/questions/148803/…

kjetil b halvorsen

Tepatnya "enam asumsi" apa yang Anda maksud? Anda hanya menyebutkan tiga.

whuber

Saya mengacu pada 1) linieritas 2) tidak adanya multikolinieritas 3) kesalahan rata-rata nol 4) kesalahan bola (homoscedasticity dan non autocorrelation) 5) regressor non-stokastik dan 6) distribusi normal. Jadi seperti yang saya mengerti dari jawaban di bawah ini, hanya tiga yang pertama diperlukan untuk mendapatkan estimator dan lainnya hanya diperlukan untuk memastikan estimator itu BIRU?

Ieva

Jawaban:

Anda selalu dapat menghitung penaksir OLS, selain dari kasus ketika Anda memiliki multikolinieritas sempurna. Dalam hal ini, Anda memiliki ketergantungan multilinear sempurna dalam matriks X Anda. Akibatnya, asumsi peringkat penuh tidak terpenuhi dan Anda tidak dapat menghitung penaksir OLS, karena masalah keterbalikan.

Secara teknis, Anda tidak perlu asumsi OLS lain untuk menghitung estimator OLS. Namun, menurut teorema Gauss-Markov Anda harus memenuhi asumsi OLS (asumsi clrm) agar estimator Anda menjadi BIRU.

Anda dapat menemukan diskusi ekstensif tentang teorema Gauss-Markov dan derivasi matematikanya di sini:

http://economictheoryblog.com/2015/02/26/markov_theorem/

Lebih jauh, jika Anda mencari gambaran umum dari asumsi OLS, yaitu berapa banyak yang ada, apa yang mereka butuhkan dan apa yang terjadi jika Anda melanggar asumsi OLS tunggal dapat menemukan diskusi yang rumit di sini:

http://economictheoryblog.com/2015/04/01/ols_assumptions/

Saya harap itu membantu, tepuk tangan!

Simon Degonda
sumber

Berikut ini didasarkan pada penampang sederhana, untuk deret waktu dan panel agak berbeda.

Dalam populasi, dan karena itu dalam sampel, model dapat ditulis sebagai: Ini adalah asumsi linearitas, yang terkadang disalahpahami. Model harus linier dalam parameter - yaitu. Anda bebas untuk melakukan apapun yang Anda inginkan dengansendiri. Log, kuadrat dll. Jika ini bukan masalahnya, maka model tidak dapat diperkirakan oleh OLS - Anda memerlukan beberapa penduga nonlinier lainnya. $\begin{aligned} Y & = β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k} + u \\ = X β + u \end{aligned}$ $\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$ $\beta_k$ $x_i$
Sampel acak (untuk penampang) Ini diperlukan untuk inferensi, dan properti sampel. Ini agak tidak relevan untuk mekanik murni OLS.
Tidak ada collinearity sempurna ini berarti bahwa tidak ada hubungan yang sempurna antara . Ini adalah asumsi yang memastikan bahwa adalah nonsingular, sehingga ada. $x_i$ $(X’X)$ $(X’X)^{-1}$
Berarti bersyarat nol: . Ini berarti bahwa Anda telah menentukan model dengan benar sehingga: tidak ada variabel yang dihilangkan, dan bentuk fungsional yang Anda perkirakan benar relatif terhadap model populasi (tidak diketahui). Ini selalu merupakan asumsi bermasalah dengan OLS, karena tidak ada cara untuk mengetahui apakah itu benar atau tidak. $E(u|X) = 0$
Varians dari istilah kesalahan adalah konstan, tergantung pada semua : Sekali lagi ini tidak berarti apa-apa untuk mekanisme OLS, tetapi memastikan bahwa kesalahan standar yang biasa valid. $X_i$ $\Var(u|X)=\sigma^2$
Normalitas; istilah kesalahan u tidak tergantung pada , dan mengikuti . Sekali lagi ini tidak relevan untuk mekanika OLS, tetapi memastikan bahwa distribusi sampling dari adalah normal, . $X_i$ $u \sim N(0,\sigma^2)$ $\beta_k$ $\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

Sekarang untuk implikasinya.

Di bawah 1 - 6 (asumsi model linier klasik) OLS adalah BIRU (penaksir tidak bias linier terbaik), terbaik dalam arti varian terendah. Ini juga efisien di antara semua penaksir linier, serta semua penaksir yang menggunakan beberapa fungsi x. Lebih penting lagi di bawah 1 - 6, OLS juga merupakan penaksir tidak bias varians minimum. Itu berarti bahwa di antara semua penaksir yang tidak memihak (bukan hanya linear) OLS memiliki varians terkecil. OLS juga konsisten.
Di bawah 1 - 5 (asumsi Gauss-Markov) OLS adalah BIRU dan efisien (seperti dijelaskan di atas).
Di bawah 1 - 4, OLS tidak bias, dan konsisten.

Sebenarnya OLS juga konsisten, di bawah asumsi lemah dari yaitu bahwa: dan . Perbedaan dari asumsi 4 adalah bahwa, berdasarkan asumsi ini, Anda tidak perlu memakukan hubungan fungsional dengan sempurna. $(4)$ $(1)\ E(u) = 0$ $(2)\ \Cov(x_j , u) = 0$

Repmat
sumber

Saya pikir Anda melukis gambar terlalu gelap tentang kondisi nol rata-rata. Jika ada bias, maka meminimalkan jumlah penyimpangan kuadrat tidak akan menjadi hal yang tepat untuk dilakukan, tetapi di sisi lain, Anda dapat menangkap bias dengan menggeser persamaan regresi (menyerap bias menjadi

), dan kemudian Anda memang memiliki nilai 0. Dengan kata lain, 4 tidak mungkin diverifikasi dan mudah diabaikan.

β_{0}

$\beta_0$

user3697176

Maaf, tapi saya tidak setuju. Atau mungkin saya hanya salah paham dengan Anda? Bisakah Anda mengurangi atau memberikan referensi.

Repmat

Saya tidak berbicara tentang estimasi yang sengaja terdistorsi (seperti regresi ridge), yang saya percaya OP tidak tertarik. Saya berbicara tentang model bentuk

di mana --- untuk beberapa alasan aneh --- sisa

memiliki rata-rata

. Dalam hal ini mudah untuk melakukan transformasi formal ke

y = β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + ϵ

$y=\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \epsilon$

ϵ

$\epsilon$

α \neq 0

$\alpha\ne0$

, di mana rata-rata

adalah nol.

y = α + β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + η

$y=\alpha+\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \eta$

η

$\eta$

user3697176

@ user3697176 Apa yang Anda tulis tidak benar. Saya baru saja mengirim jawaban untuk menjelaskan alasannya.

Alecos Papadopoulos

Jika asumsi 1 tidak puas, tidak bisakah kita masih menggunakan OLS untuk memperkirakan kovarians populasi (meskipun kita tahu tidak ada hubungan linier)?

maks

Sebuah komentar dalam pertanyaan lain menimbulkan keraguan tentang pentingnya kondisi , dengan alasan bahwa hal itu dapat diperbaiki dengan memasukkan istilah konstan dalam spesifikasi regresi, dan dengan demikian "dapat dengan mudah diabaikan". $E(\mathbf u \mid \mathbf X) =0$

Ini tidak benar. Dimasukkannya istilah konstan dalam regresi akan menyerap rata-rata kondisional yang mungkin tidak nol dari istilah kesalahan jika kita mengasumsikan bahwa rata-rata bersyarat ini sudah konstan dan bukan fungsi dari regressor . Ini adalah asumsi penting yang harus dibuat secara independen apakah kita memasukkan istilah yang konstan atau tidak:

E (u ∣ X) = c o n s t .

$E(\mathbf u \mid \mathbf X) =const.$

Jika ini berlaku, maka mean non-nol menjadi gangguan yang bisa kita selesaikan dengan memasukkan istilah yang konstan.

Tetapi jika ini tidak berlaku , (yaitu jika rata-rata bersyarat bukan nol atau konstanta tidak nol ), dimasukkannya istilah konstan tidak menyelesaikan masalah: apa yang akan "diserap" dalam kasus ini adalah besarnya itu tergantung pada sampel spesifik dan realisasi dari para regressor. Pada kenyataannya koefisien yang tidak diketahui yang melekat pada deretan yang, tidak benar-benar konstan tetapi variabel, tergantung pada regressor melalui rata-rata bersyarat non-konstan dari istilah kesalahan.

Apa artinya ini? Untuk menyederhanakan, anggap kasus paling sederhana, di mana ( indeks pengamatan) tetapi . Yaitu bahwa istilah kesalahan berarti bebas dari regressor kecuali dari yang sezaman (dalam kami tidak termasuk serangkaian yang). $E(u_i \mid \mathbf X_{-i})=0$ $i$ $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$ $\mathbf X$

Asumsikan bahwa kami menentukan regresi dengan dimasukkannya istilah konstan (sebuah regresi dari serangkaian yang).

y = a + X β + ε

$\mathbf y = \mathbf a + \mathbf X\mathbf β + \mathbf ε$

dan notasi pemadatan

y = Z γ + ε

$\mathbf y = \mathbf Z\mathbf γ + \mathbf ε$

di mana , , , . $\mathbf a = (a,a,a...)'$ $\mathbf Z = [\mathbf 1: \mathbf X]$ $\mathbf γ = (a, \mathbf β)'$ $\mathbf ε = \mathbf u - \mathbf a$

Maka estimator OLS akan menjadi

\hat{γ} = γ + {(Z^{'} Z)}^{- 1} Z^{'} ε

$\hat {\mathbf γ} = \mathbf γ + \left(\mathbf Z'\mathbf Z\right)^{-1}\mathbf Z'\mathbf ε$

Untuk ketidakberpihakan kita membutuhkan . Tapi $E\left[\mathbf ε\mid \mathbf Z\right] =0$

E [ε_{i} ∣ x_{i}] = E [u_{i} - a ∣ x_{i}] = h (x_{i}) - a

$E\left[ ε_i\mid \mathbf x_i\right] = E\left[u_i-a\mid \mathbf x_i\right] = h(\mathbf x_i)-a$

$i$ $h(\mathbf x_i)$

E [ε ∣ Z] \neq 0 ⟹ E (\hat{γ}) \neq γ

$E\left[\mathbf ε\mid \mathbf Z\right] \neq 0 \implies E(\hat {\mathbf γ}) \neq \mathbf γ$

dan

$E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ , then even if we include a constant term in the regression, the OLS estimator will not be unbiased, meaning also that the Gauss-Markov result on efficiency, is lost.

Moreover, the error term $\mathbf ε$ has a different mean for each $i$ , and so also a different variance (i.e. it is conditionally heteroskedastic). So its distribution conditional on the regressors differs across the observations $i$ .

But this means that even if the error term $u_i$ is assumed normal, then the distribution of the sampling error $\hat {\mathbf γ} - \mathbf γ$ will be normal but not zero-mean mormal, and with unknown bias. And the variance will differ. So

If $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ , then even if we include a constant term in the regression, Hypothesis testing is no longer valid.

In other words, "finite-sample" properties are all gone.

We are left only with the option to resort to asymptotically valid inference, for which we will have to make additional assumptions.

So simply put, Strict Exogeneity cannot be "easily ignored".

Alecos Papadopoulos
sumber

I'm not completely sure I understand this. Isn't assuming that the mean is a not a function of the regressors equivalent to assuming homoscedasticity?

Batman

@Batman To what part of my post are you referring to?

Alecos Papadopoulos

When you say "The inclusion of a constant term in the regression will absorb the possibly non-zero conditional mean of the error term if we assume that this conditional mean is already a constant and not a function of the regressors. This is the crucial assumption that must be made independently of whether we include a constant term or not." Isn't assuming that the conditional mean isn't a function of the regressors exactly what we're assuming when we assume homoscedasticity?

Batman

@Batman Homoskedasticity is an assumption about the variance. Assuming mean -independence does not imply that

E (u_{j}^{2} ∣ x)

$E(u^2_j \mid \mathbf x)$ is also a constant, which is also needed for conditional homoskedasticity. In fact, mean-independence,

E (u ∣ x) = c o n s t .

$E(u \mid x) =const.$ together with conditional heteroskedasticity,

E (u^{2} ∣ x) = g (x)

$E(u^2 \mid x) = g(x)$ is a standard model variant.

Alecos Papadopoulos