72

Apa asumsi biasa untuk regresi linier?

Apakah mereka termasuk:

hubungan linear antara variabel independen dan dependen
kesalahan independen
distribusi kesalahan normal
homoseksualitas

Apakah ada yang lain?

regression assumptions tony
sumber

3

Anda dapat menemukan daftar yang agak lengkap di buku kecil William Berry tentang "Memahami Asumsi Regresi": books.google.com/books/about/…

3

Sementara responden telah mendaftar beberapa sumber yang bagus, itu adalah pertanyaan yang sulit dijawab dalam format ini, dan (banyak) buku telah dikhususkan hanya untuk topik ini. Tidak ada buku masak, juga tidak boleh diberikan berbagai potensi situasi yang bisa ditanggung oleh regresi linier.

Andy W

3

Secara teknis, regresi linier (biasa) adalah model dari bentuk , iid. Pernyataan matematika sederhana itu mencakup semua asumsi. Hal ini membuat saya berpikir, @Andy W, bahwa Anda mungkin menafsirkan pertanyaan secara lebih luas, mungkin dalam arti seni dan praktik regresi. Pikiran Anda lebih lanjut tentang ini mungkin berguna di sini.

E [Y_{i}] = X_{i} β

$\mathbb{E}[Y_i] = \mathbf{X}_i \beta$

Y_{i}

$Y_i$

whuber

2

@Andy WI tidak berusaha menyarankan interpretasi Anda salah. Komentar Anda menyarankan cara berpikir tentang pertanyaan yang melampaui asumsi teknis, mungkin menunjuk pada apa yang mungkin diperlukan untuk interpretasi yang valid dari hasil regresi. Tidak perlu menulis risalah sebagai tanggapan, tetapi bahkan daftar dari beberapa masalah yang lebih luas dapat menerangi dan mungkin memperluas ruang lingkup dan minat utas ini.

whuber

1

@whuber, jika ini berarti bahwa berarti berbeda untuk berbeda , maka tidak dapat iid :)

E Y_{i} = X_{i} β

$EY_i=X_i\beta$

i

$i$

Y_{i}

$Y_i$

mpiktas

78

Jawabannya sangat bergantung pada bagaimana Anda mendefinisikan lengkap dan biasa. Misalkan kita menulis model regresi linier dengan cara berikut: $\newcommand{\x}{\mathbf{x}} \newcommand{\bet}{\boldsymbol\beta} \DeclareMathOperator{\E}{\mathbb{E}} \DeclareMathOperator{\Var}{Var} \DeclareMathOperator{\Cov}{Cov} \DeclareMathOperator{\Tr}{Tr}$

y_{i} = x_{i}^{'} β + u_{i}

$y_i = \x_i'\bet + u_i$

di mana adalah vektor variabel prediktor, adalah parameter yang menarik, adalah variabel respons, dan adalah gangguan. Salah satu perkiraan yang mungkin dari adalah perkiraan kuadrat terkecil: $\mathbf{x}_i$ $\beta$ $y_i$ $u_i$ $\beta$

\hat{β} = {argmin}_{β} \sum (y_{i} - x_{i} β)^{2} = {(\sum x_{i} x_{i}^{'})}^{- 1} \sum x_{i} y_{i} .

$\hat\bet = \textrm{argmin}_{\bet}\sum(y_i-\x_i\bet)^2 = \left(\sum \x_i \x_i'\right)^{-1} \sum \x_i y_i .$

Sekarang hampir semua buku teks berurusan dengan asumsi ketika perkiraan ini memiliki sifat yang diinginkan, seperti ketidakberpihakan, konsistensi, efisiensi, beberapa sifat distribusi, dll. $\hat\bet$

Masing-masing properti ini memerlukan asumsi tertentu, yang tidak sama. Jadi pertanyaan yang lebih baik adalah menanyakan asumsi yang dibutuhkan untuk properti yang diinginkan dari estimasi LS.

Properti yang saya sebutkan di atas memerlukan beberapa model probabilitas untuk regresi. Dan di sini kita memiliki situasi di mana model yang berbeda digunakan dalam bidang terapan yang berbeda.

Kasus sederhana adalah memperlakukan sebagai variabel acak independen, dengan menjadi non-acak. Saya tidak suka kata biasa, tetapi kita dapat mengatakan bahwa ini adalah kasus yang biasa di sebagian besar bidang yang diterapkan (sejauh yang saya tahu). $y_i$ $\x_i$

Berikut adalah daftar beberapa sifat perkiraan statistik yang diinginkan:

Estimasi itu ada.
Ketidakcocokan: . $E\hat\bet=\bet$
Konsistensi: as ( sini adalah ukuran sampel data). $\hat\bet \to \bet$ $n\to\infty$ $n$
Efisiensi: lebih kecil dari untuk taksiran alternatif dari . $\Var(\hat\bet)$ $\Var(\tilde\bet)$ $\tilde\bet$ $\bet$
Kemampuan untuk memperkirakan atau menghitung fungsi distribusi dari . $\hat\bet$

Adanya

Properti keberadaan mungkin tampak aneh, tetapi sangat penting. Dalam definisi kita membalikkan matriks $\hat\beta$ $\sum \x_i \x_i'.$

Tidak dijamin bahwa kebalikan dari matriks ini ada untuk semua varian yang mungkin dari . Jadi kami segera mendapatkan asumsi pertama kami: $\x_i$

Matriks harus memiliki peringkat penuh, yaitu tidak dapat dibalik. $\sum \x_i \x_i'$

Ketidakcocokan

Kami memiliki jika

E \hat{β} = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum x_{i} E y_{i}) = β,

$\E\hat\bet = \left(\sum \x_i \x_i' \right)^{-1}\left(\sum \x_i \E y_i \right) = \bet,$

E y_{i} = x_{i} β .

$\E y_i = \x_i \bet.$

Kami mungkin menganggapnya sebagai asumsi kedua, tetapi kami mungkin telah menyatakannya langsung, karena ini adalah salah satu cara alami untuk mendefinisikan hubungan linier.

Perhatikan bahwa untuk mendapatkan kami hanya mensyaratkan bahwa untuk semua , dan adalah konstanta. Properti kemerdekaan tidak diperlukan. $\E y_i = \x_i \bet$ $i$ $\x_i$

Konsistensi

Untuk mendapatkan asumsi konsistensi, kita perlu menyatakan dengan lebih jelas apa yang dimaksud dengan . Untuk urutan variabel acak kami memiliki mode konvergensi yang berbeda: dalam probabilitas, hampir pasti, dalam distribusi dan -th sense sense. Misalkan kita ingin mendapatkan konvergensi dalam probabilitas. Kita dapat menggunakan hukum jumlah besar, atau langsung menggunakan ketidaksetaraan Chebyshev multivarian (menggunakan fakta bahwa ): $\to$ $p$ $\E \hat\bet = \bet$

Pr (‖ \hat{β} - β ‖ > ε) \leq \frac{Tr (Var (\hat{β}))}{ε^{2}} .

$\Pr(\lVert \hat\bet - \bet \rVert >\varepsilon)\le \frac{\Tr(\Var(\hat\bet))}{\varepsilon^2}.$

(Varian ketidaksetaraan ini datang langsung dari penerapan ketidaksetaraan Markov ke , mencatat bahwa .) $\lVert \hat\bet - \bet\rVert^2$ $\E \lVert \hat\bet - \bet\rVert^2 = \Tr \Var(\hat\bet)$

Karena konvergensi dalam probabilitas berarti bahwa istilah sebelah kiri harus lenyap untuk setiap sebagai , kita memerlukan sebagai . Ini sangat masuk akal karena dengan lebih banyak data presisi yang kami perkirakan akan meningkat. $\varepsilon>0$ $n\to\infty$ $\Var(\hat\bet)\to 0$ $n\to\infty$ $\bet$

Kami memiliki

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} \sum_{j} x_{i} x_{j}^{'} Cov (y_{i}, y_{j})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) =\left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \sum_j \x_i \x_j' \Cov(y_i, y_j) \right) \left(\sum \mathbf{x}_i\mathbf{x}_i'\right)^{-1}.$

Independensi memastikan bahwa , oleh karena itu ungkapan disederhanakan menjadi $\Cov(y_i, y_j) = 0$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} x_{i} x_{i}^{'} Var (y_{i})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) = \left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \x_i \x_i' \Var(y_i) \right) \left( \sum \x_i \x_i' \right)^{-1} .$

Sekarang asumsikan , lalu $\Var(y_i) = \text{const}$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} Var (y_{i}) .

$\Var(\hat\beta) = \left(\sum \x_i \x_i' \right)^{-1} \Var(y_i) .$

Sekarang jika kita juga mengharuskan dibatasi untuk setiap , kita segera mendapatkan $\frac{1}{n} \sum \x_i \x_i'$ $n$

Var (β) \to 0 as n \to \infty .

$\Var(\bet) \to 0 \text{ as } n \to \infty.$

Jadi untuk mendapatkan konsistensi kami berasumsi bahwa tidak ada autokorelasi ( ), varians adalah konstan, dan tidak tumbuh terlalu banyak. Asumsi pertama puas jika berasal dari sampel independen. $\Cov(y_i, y_j) = 0$ $\Var(y_i)$ $\x_i$ $y_i$

Efisiensi

Hasil klasiknya adalah teorema Gauss-Markov . Kondisi untuk itu adalah persis dua kondisi pertama untuk konsistensi dan kondisi untuk ketidakberpihakan.

Sifat distribusi

Jika normal, kami segera mendapatkan bahwa adalah normal, karena merupakan kombinasi linear dari variabel acak normal. Jika kita mengasumsikan asumsi sebelumnya yaitu independensi, tidak berkorelasi dan varians konstan kita dapatkan bahwa mana . $y_i$ $\hat\bet$

\hat{β} \sim N (β, σ^{2} {(\sum x_{i} x_{i}^{'})}^{- 1})

$\hat\bet \sim \mathcal{N}\left(\bet, \sigma^2\left(\sum \x_i \x_i' \right)^{-1} \right)$

Var (y_{i}) = σ^{2}

$\Var(y_i)=\sigma^2$

Jika tidak normal, tetapi independen, kita bisa mendapatkan perkiraan distribusi berkat teorema limit pusat. Untuk ini kita perlu berasumsi bahwa untuk beberapa matriks . Varians konstan untuk normalitas asimptotik tidak diperlukan jika kita mengasumsikan bahwa $y_i$ $\hat\bet$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} \to A

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \to A$

A

$A$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} Var (y_{i}) \to B .

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \Var(y_i) \to B.$

Perhatikan bahwa dengan varians konstan , kita mendapati bahwa . Teorema batas pusat kemudian memberi kita hasil berikut: $y$ $B = \sigma^2 A$

\sqrt{n} (\hat{β} - β) \to N (0, A^{- 1} B A^{- 1}) .

$\sqrt{n}(\hat\bet - \bet) \to \mathcal{N}\left(0, A^{-1} B A^{-1} \right).$

Jadi dari sini kita melihat bahwa independensi dan varian konstan untuk dan asumsi tertentu untuk memberi kita banyak properti yang berguna untuk estimasi LS . $y_i$ $\mathbf{x}_i$ $\hat\bet$

Masalahnya adalah asumsi-asumsi ini bisa santai. Sebagai contoh, kami mengharuskan bukan variabel acak. Asumsi ini tidak layak dalam aplikasi ekonometrik. Jika kita membiarkan menjadi acak, kita bisa mendapatkan hasil yang serupa jika menggunakan ekspektasi bersyarat dan memperhitungkan keacakan dari . Asumsi independensi juga bisa santai. Kami sudah menunjukkan bahwa kadang-kadang hanya ketidakcocokan diperlukan. Bahkan ini dapat lebih santai dan masih mungkin untuk menunjukkan bahwa perkiraan LS akan konsisten dan asimptoticaly normal. Lihat misalnya buku White untuk lebih jelasnya. $\x_i$ $\x_i$ $\x_i$

mpiktas
sumber

Sebuah komentar tentang teorema Gauss-Markov. Ini hanya menyatakan bahwa OLS lebih baik daripada penduga lain yang merupakan fungsi linier dari data. Namun, banyak penduga yang umum digunakan, kemungkinan maksimum (ML) khususnya, bukan fungsi linier dari data, dan dapat jauh lebih efisien daripada OLS dalam kondisi teorema Gauss-Markov.

Peter Westfall

@PeterWestfall Untuk kesalahan normal gaussian, MLE adalah OLS :) Dan Anda tidak bisa mendapatkan lebih efisien daripada MLE. Saya mencoba menjadi ringan dengan detail matematika di posting ini.

mpiktas

1

Maksud saya adalah bahwa ada banyak penduga yang lebih efisien daripada OLS di bawah distribusi tidak normal ketika kondisi GM bertahan. GM pada dasarnya tidak berguna sebagai pernyataan bahwa OLS "baik" di bawah non-normalitas, karena penaksir terbaik dalam kasus non-normal adalah fungsi data yang nonlinier.

Peter Westfall

@mpiktas Jadi kita dapat mengambil sebagai tidak acak, dan menggunakan estimator atau kita mengambil secara acak dan menggunakan estimator ?

x

$\mathbf x$

\hat{Y}

$\mathbf{\hat{Y}}$

x

$\mathbf x$

\hat{Y | x}

$\mathbf{\hat{Y|x}}$

Parthiban Rajendran

16

Ada sejumlah jawaban bagus di sini. Terpikir oleh saya bahwa ada satu asumsi yang belum dinyatakan (setidaknya tidak secara eksplisit). Secara khusus, model regresi mengasumsikan bahwa (nilai-nilai variabel penjelas / prediktor Anda) adalah tetap dan diketahui , dan bahwa semua ketidakpastian dalam situasi ada dalam variabelSelain itu, ketidakpastian ini diasumsikan hanya sebagai kesalahan pengambilan sampel . $\mathbf X$ $Y$

Berikut adalah dua cara untuk memikirkan hal ini: Jika Anda sedang membangun model penjelas (memodelkan hasil eksperimen), Anda tahu persis apa level variabel independen, karena Anda memanipulasi / mengelolanya. Selain itu, Anda memutuskan level apa itu sebelum Anda mulai mengumpulkan data. Jadi, Anda mengkonseptualisasikan semua ketidakpastian dalam hubungan yang ada dalam respons. Di sisi lain, jika Anda membangun model prediktif, memang benar bahwa situasinya berbeda, tetapi Anda masih memperlakukan prediktor seolah-olah mereka diperbaiki dan diketahui, karena, di masa depan, ketika Anda menggunakan model untuk membuat prediksi tentang nilai kemungkinan , Anda akan memiliki vektor, $y$ $\mathbf x$ , dan model ini dirancang untuk memperlakukan nilai-nilai itu seolah-olah mereka benar. Artinya, Anda akan menganggap ketidakpastian sebagai nilai tidak diketahui . $y$

Asumsi-asumsi ini dapat dilihat dalam persamaan untuk model regresi prototipikal: Model dengan ketidakpastian (mungkin karena kesalahan pengukuran) di juga mungkin memiliki proses menghasilkan data yang sama, tetapi model tersebut yang diperkirakan akan terlihat seperti ini: mana merupakan kesalahan pengukuran acak. (Situasi seperti yang terakhir menyebabkan kesalahan pada model variabel ; hasil dasarnya adalah jika ada kesalahan pengukuran di , maka naif

y_{i} = β_{0} + β_{1} x_{i} + ε_{i}

$y_i = \beta_0 + \beta_1x_i + \varepsilon_i$

x

$x$

y_{i} = {\hat{β}}_{0} + {\hat{β}}_{1} (x_{i} + η_{i}) + {\hat{ε}}_{i},

$y_i = \hat\beta_0 + \hat\beta_1(x_i + \eta_i) + \hat\varepsilon_i,$

η

$\eta$

x

$x$

{\hat{β}}_{1}

$\hat\beta_1$ akan dilemahkan - lebih dekat ke 0 dari nilai sebenarnya, dan bahwa jika ada kesalahan pengukuran dalam , uji statistik dari akan kurang bertenaga, tetapi sebaliknya tidak bias.)

y

$y$

\hat{β}

$\hat\beta$

Salah satu konsekuensi praktis dari asinsetri intrinsik dalam asumsi tipikal adalah bahwa kemunduran pada berbeda dari kemunduran pada . (Lihat jawaban saya di sini: Apa perbedaan antara melakukan regresi linier pada y dengan x versus x dengan y? Untuk diskusi yang lebih rinci tentang fakta ini.) $y$ $x$ $x$ $y$

gung - Reinstate Monica
sumber

Apa artinya "diperbaiki" | "acak" dalam bahasa sederhana? Dan bagaimana membedakan antara efek tetap dan acak (= faktor)? Saya pikir dalam desain saya ada 1 faktor yang diketahui tetap dengan 5 level. Baik?

stan

1

@stan, saya mengenali kebingungan Anda. Terminologi dalam statistik seringkali membingungkan & tidak membantu. Dalam kasus ini, "fix" tidak persis sama dengan fix di 'fixed effect & random effects' (walaupun keduanya terkait). Di sini, kita tidak berbicara tentang efek - kita berbicara tentang data , yaitu variabel prediktor / penjelas Anda. Cara termudah untuk memahami gagasan data Anda sedang diperbaiki adalah dengan memikirkan percobaan yang direncanakan. Sebelum Anda melakukan apa pun, ketika Anda merancang percobaan, Anda memutuskan apa tingkat penjelasan Anda, Anda tidak akan menemukannya di sepanjang jalan.

X

$X$

X

$X$

gung - Reinstate Monica

Dengan pemodelan prediktif, itu tidak sepenuhnya benar, tetapi kami akan memperlakukan data kami seperti itu di masa mendatang, ketika kami menggunakan model untuk membuat prediksi.

X

$X$

gung - Reinstate Monica

Mengapa βs dan ε memiliki topi di persamaan bawah, tetapi tidak di atas?

user1205901

2

@ user1205901, model teratas adalah proses pembuatan data, bagian bawah adalah perkiraan Anda untuk itu.

gung - Reinstate Monica

8

Asumsi model regresi linier klasik meliputi:

Parameter Linier dan spesifikasi model yang benar
Peringkat Lengkap dari X Matrix
Variabel Penjelasan haruslah eksogen
Ketentuan Kesalahan yang Independen dan Terdistribusi Secara Identik
Istilah Kesalahan Terdistribusi Normal dalam Populasi

Meskipun jawaban di sini sudah memberikan gambaran yang baik tentang asumsi OLS klasik, Anda dapat menemukan deskripsi yang lebih komprehensif tentang asumsi model regresi linier klasik di sini:

https://economictheoryblog.com/2015/04/04/ols_assumptions/

Selain itu, artikel tersebut menjelaskan konsekuensi jika seseorang melanggar asumsi tertentu.

Tristian Onari
sumber

6

Asumsi yang berbeda dapat digunakan untuk membenarkan OLS

Dalam beberapa situasi, penulis menguji residu untuk normalitas.
- Tetapi dalam situasi lain, residu tidak normal dan penulis tetap menggunakan OLS!
Anda akan melihat teks yang mengatakan bahwa homoseksualitas adalah asumsi.
- Tetapi Anda melihat peneliti menggunakan OLS ketika homoseksualitas dilanggar.

Apa yang menyebabkannya ?!

Jawabannya adalah bahwa set asumsi yang agak berbeda dapat digunakan untuk membenarkan penggunaan estimasi kuadrat terkecil (OLS). OLS adalah alat seperti palu: Anda dapat menggunakan palu pada kuku tetapi Anda juga dapat menggunakannya pada pasak, untuk memecah es, dll ...

Dua kategori besar asumsi adalah yang berlaku untuk sampel kecil dan yang bergantung pada sampel besar sehingga teorema batas pusat dapat diterapkan.

1. Asumsi sampel kecil

Asumsi sampel kecil seperti yang dibahas dalam Hayashi (2000) adalah:

Linearitas
Eksogenitas yang ketat
Tidak ada multikolinieritas
Kesalahan bulat (homoseksualitas)

Di bawah (1) - (4), teorema Gauss-Markov berlaku, dan estimator kuadrat terkecil biasa adalah estimator tidak bias linear terbaik.

Normalitas istilah kesalahan

Selanjutnya asumsi istilah kesalahan normal memungkinkan pengujian hipotesis . Jika istilah kesalahan normal bersyarat, distribusi estimator OLS juga bersyarat normal.

Poin penting lainnya adalah bahwa dengan normalitas, penaksir OLS juga merupakan penaksir kemungkinan maksimum .

2. Asumsi sampel besar

Asumsi-asumsi ini dapat dimodifikasi / dilonggarkan jika kita memiliki sampel yang cukup besar sehingga kita dapat bersandar pada hukum angka besar (untuk konsistensi penduga OLS) dan teorema batas pusat (sehingga distribusi pengambilan sampel penduga OLS menyatu dengan distribusi normal dan kita bisa melakukan pengujian hipotesis, bicara tentang nilai-p dll ...).

Hayashi adalah seorang ahli ekonomi makro dan asumsi sampel besarnya diformulasikan dengan konteks deret waktu:

linearitas
stasioner ergodik
regresi yang telah ditentukan sebelumnya: istilah kesalahan adalah ortogonal dari ketentuan kesalahan kontemporer mereka.
$\operatorname{E}[\mathbf{x}\mathbf{x}']$ adalah peringkat penuh
$\mathbf{x}_i \epsilon_i$ adalah urutan perbedaan martingale dengan momen kedua hingga.
Hingga saat 4 dari para regressor

Anda dapat menemukan versi yang lebih kuat dari asumsi ini, misalnya, bahwa istilah kesalahan independen.

Asumsi sampel besar yang tepat membawa Anda ke distribusi sampel estimator OLS yang normal asimptotik .

Referensi

Hayashi, Fumio, 2000, Ekonometrika

Matthew Gunn
sumber

5

Ini semua tentang apa yang ingin Anda lakukan dengan model Anda. Bayangkan jika kesalahan Anda condong positif / tidak normal. Jika Anda ingin membuat interval prediksi, Anda bisa melakukan lebih baik daripada menggunakan distribusi-t. Jika varians Anda lebih kecil pada nilai prediksi yang lebih kecil, sekali lagi, Anda akan membuat interval prediksi yang terlalu besar.

Lebih baik untuk memahami mengapa asumsi itu ada.

Adam
sumber

4

Diagram berikut menunjukkan asumsi mana yang diperlukan untuk mendapatkan implikasi mana dalam skenario terbatas dan asimptotik.

Saya pikir penting untuk memikirkan tidak hanya apa asumsi itu, tetapi apa implikasi dari asumsi itu. Misalnya, jika Anda hanya peduli memiliki koefisien yang tidak bias, maka Anda tidak perlu homoskedastisitas.

DVL
sumber

2

Berikut ini adalah asumsi analisis Regresi Linier.

Spesifikasi yang benar . Bentuk fungsional linier ditentukan dengan benar.

Eksogenitas yang ketat . Kesalahan dalam regresi harus bersyarat rata-rata nol.

Tidak ada multikolinieritas . Semua regresi dalam X harus bebas linear.

Homoscedasticity yang berarti bahwa istilah kesalahan memiliki varians yang sama dalam setiap pengamatan.

Tidak ada autokorelasi : kesalahan tidak berkorelasi di antara pengamatan.

Normalitas. Kadang-kadang juga diasumsikan bahwa kesalahan memiliki distribusi normal tergantung pada regressor.

Pengamatan Iid : independen dari, dan memiliki distribusi yang sama dengan, untuk semua . $(x_i, y_i)$ $(x_j, y_j)$ $i\neq j$

Untuk informasi lebih lanjut, kunjungi halaman ini .

statistik cinta
sumber

4

Daripada "tidak ada multikolinearitas" saya akan mengatakan "tidak ada ketergantungan linear". Collinearity sering digunakan sebagai ukuran kontinu daripada kategoris. Hanya kolinearitas yang ketat atau tepat yang dilarang.

Peter Flom - Kembalikan Monica

2

Bagaimana dengan regresi deret waktu? Bagaimana dengan kuadrat terkecil umum? Daftar Anda sedikit mirip dengan daftar perintah ketika pada kenyataannya 4 asumsi terakhir dapat menjadi terlalu ketat jika kita hanya peduli tentang konsistensi dan normalitas asimtotik dari estimasi kuadrat terkecil.

mpiktas

1

Multikolinieritas menimbulkan masalah interpretasi (terkait dengan pengidentifikasian beberapa parameter) tetapi jelas bukan asumsi standar model regresi linier. Dekat multikolinieritas terutama merupakan masalah komputasi tetapi juga menimbulkan masalah interpretasi yang serupa.

whuber

@whuber & Peter Flom: Seperti yang saya baca di buku Gujarati di halaman no. 65-75. tiny.cc/cwb2g Ini menghitung "no multicollinearity" sebagai asumsi analisis regresi.

love-stats

@mpiktas: Jika Anda mengunjungi URL yang diberikan dalam jawaban, maka Anda akan menemukan asumsi tentang regresi deret waktu.

statistik cinta

2

Tidak ada yang namanya daftar tunggal asumsi, akan ada setidaknya 2: satu untuk diperbaiki dan satu untuk matriks desain acak. Plus, Anda mungkin ingin melihat asumsi untuk regresi deret waktu (lihat hal.13)

Kasus ketika desain matriks yang tetap bisa menjadi salah satu yang paling umum, dan asumsi yang sering dinyatakan sebagai teorema Gauss-Markov . Desain tetap berarti bahwa Anda benar-benar mengendalikan para pelanggar. Misalnya, Anda melakukan percobaan dan dapat mengatur parameter seperti suhu, tekanan, dll. Lihat juga hal.13 di sini . $X$

Sayangnya, dalam ilmu sosial seperti ekonomi Anda jarang dapat mengontrol parameter percobaan. Biasanya, Anda mengamati apa yang terjadi dalam ekonomi, mencatat metrik lingkungan, lalu mundur. Ternyata itu adalah situasi yang sangat berbeda dan lebih sulit, yang disebut desain acak . Dalam hal ini teorema Gauss-Markov dimodifikasi juga lihat hal.12 di sini . Anda dapat melihat bagaimana kondisi sekarang dinyatakan dalam probabilitas kondisional , yang bukan merupakan perubahan tidak berbahaya.

Dalam ekonometrika, asumsi memiliki nama:

linearitas
eksogenitas yang ketat
tidak ada multikolinieritas
varians kesalahan bola (termasuk homoscedasticity dan tidak ada korelasi)

Perhatikan bahwa saya tidak pernah menyebut normalitas. Itu bukan asumsi standar. Ini sering digunakan dalam kursus regresi intro karena membuat beberapa derivasi lebih mudah, tetapi tidak diperlukan untuk regresi untuk bekerja dan memiliki sifat yang bagus.

Aksakal
sumber

1

Asumsi linearitas adalah bahwa model linier dalam parameter. Tidak masalah untuk memiliki model regresi dengan efek kuadrat atau urutan yang lebih tinggi selama fungsi daya dari variabel independen adalah bagian dari model aditif linier. Jika model tidak mengandung syarat tatanan yang lebih tinggi ketika seharusnya, maka kurangnya kecocokan akan terlihat jelas dalam plot residu. Namun, model regresi standar tidak memasukkan model di mana variabel independen dinaikkan ke kekuatan parameter (meskipun ada pendekatan lain yang dapat digunakan untuk mengevaluasi model tersebut). Model semacam itu mengandung parameter non-linear.

StatistikDoc Konsultasi
sumber

1

Koefisien regresi kuadrat terkecil menyediakan cara untuk merangkum tren urutan pertama dalam jenis data apa pun. Jawaban @mpiktas adalah perawatan menyeluruh dari kondisi di mana kuadrat terkecil semakin optimal. Saya ingin pergi ke arah lain dan menunjukkan kasus paling umum ketika kotak paling tidak bekerja. Mari kita lihat formulasi paling umum dari persamaan kuadrat-terkecil:

E [Y | X] = α + β X

$E[Y|X] = \alpha + \beta X$

Itu hanya model linier untuk rata-rata kondisional dari respons.

Catatan Saya telah menolak istilah kesalahan. Jika Anda ingin merangkum ketidakpastian , maka Anda harus mengajukan banding ke teorema limit pusat. Kelas yang paling umum dari penduga kuadrat kuadrat bertemu menjadi normal ketika kondisi Lindeberg terpenuhi : dididihkan, kondisi Lindeberg untuk kuadrat terkecil mensyaratkan bahwa fraksi residu kuadrat terbesar dengan jumlah jumlah residu kuadrat harus pergi ke 0 sebagai . Jika desain Anda akan terus mengambil sampel residu yang lebih besar dan lebih besar, maka percobaan "mati di air". $\beta$ $n \rightarrow \infty$

Ketika kondisi Lindeberg terpenuhi, parameter regresi didefinisikan dengan baik, dan estimator adalah estimator yang tidak bias yang memiliki distribusi perkiraan yang diketahui. Pengukur yang lebih efisien mungkin ada. Dalam kasus lain heteroskedastisitas, atau data berkorelasi, biasanya penduga tertimbang lebih efisien . Itu sebabnya saya tidak akan pernah menganjurkan menggunakan metode naif ketika yang lebih baik tersedia. Tetapi mereka sering tidak! $\beta$ $\hat{\beta}$

AdamO
sumber

1

Untuk para ahli ekonometrika: Perlu menunjukkan bahwa kondisi ini menyiratkan eksogenitas yang ketat, sehingga eksogenitas yang ketat tidak perlu dinyatakan sebagai asumsi dalam model mean bersyarat. Secara otomatis benar, secara matematis. (Berbicara teori di sini, bukan perkiraan.)

Peter Westfall

Apa daftar lengkap dari asumsi biasa untuk regresi linier?

Jawaban:

Asumsi yang berbeda dapat digunakan untuk membenarkan OLS

1. Asumsi sampel kecil

2. Asumsi sampel besar

Referensi