Dalam kasus regresi linier sederhana , Anda dapat memperoleh estimator kuadrat terkecil sehingga Anda tidak perlu tahu untuk memperkirakanβ 1 = Σ ( x i - ˉ x ) ( y i - ˉ y )β 0 β 1
Misalkan saya memiliki , bagaimana cara memperoleh tanpa memperkirakan ? atau ini tidak mungkin?β 1 β 2
Jawaban:
Derivasi dalam notasi matriks
Mulai dari , yang benar-benar sama dengany=Xb+ϵ
semuanya bermuara pada meminimalkan :e′e
Jadi meminimalkane′e′ memberi kita:
e ′ e = ( y - X b ) ′ ( y - X b )minb e′e=(y−Xb)′(y−Xb)
e ′ e = y ′ y - 2 b ′ X ′ y + b ′ X ′ X bminb e′e=y′y−2b′X′y+b′X′Xb
Satu hal matematika terakhir, syarat orde kedua minimum mensyaratkan bahwa matriks adalah positif pasti. Persyaratan ini dipenuhi jika memiliki peringkat penuh.XX′X X
Derivasi yang lebih akurat yang melewati semua langkah dalam dept yang lebih besar dapat ditemukan di bawah http://economictheoryblog.com/2015/02/19/ols_estimator/
sumber
*
adalah a+
? Juga, bukankah seharusnya bukannya untuk mendapatkan dimensi yang cocok? b NDimungkinkan untuk memperkirakan hanya satu koefisien dalam regresi berganda tanpa memperkirakan yang lainnya.
Perkiraan diperoleh dengan menghapus efek dari variabel lain dan kemudian mengembalikan residu terhadap residual . Ini dijelaskan dan diilustrasikan Bagaimana tepatnya seseorang mengontrol variabel lain? dan Bagaimana cara menormalkan (a) koefisien regresi? . Keindahan dari pendekatan ini adalah bahwa ia tidak memerlukan kalkulus, tidak ada aljabar linier, dapat divisualisasikan hanya dengan geometri dua dimensi, secara numerik stabil, dan mengeksploitasi hanya satu ide mendasar dari regresi berganda: yaitu mengambil (atau "mengendalikan") ) efek dari satu variabel.x 2 y x 1β1 x2 y x1
Dalam kasus ini , regresi berganda dapat dilakukan dengan menggunakan tiga langkah regresi biasa:
Regres pada (tanpa istilah konstan!). Biarkan fit menjadi . Perkiraannya adalah Karenanya residualnya adalah Secara geometris, adalah apa yang tersisa dari setelah proyeksi ke dikurangi.x 2 y = α y , 2 x 2 + δ α y , 2 = ∑ i y i x 2 iy x2 y=αy,2x2+δ δ=y-αy,2x2. δyx2
Regress pada (tanpa istilah yang konstan). Biarkan kecocokannya menjadi . Perkiraannya adalah adalahSecara geometris, adalah yang tersisa dari setelah proyeksi ke dikurangi.x1 x2 x1=α1,2x2+γ
Regress on (tanpa suku konstan). Perkiraannya adalah adalah . Secara geometris, adalah komponen (yang mewakili dengan diambil) dalam arah (yang mewakili dengan dikeluarkan).δ γ δ=
Perhatikan bahwa belum diperkirakan.β2 Dengan mudah dapat dipulihkan dari apa yang telah diperoleh sejauh ini (seperti dalam kasus regresi biasa dengan mudah diperoleh dari estimasi kemiringan ). The adalah residu untuk regresi bivariat dari pada dan .β^0 β^1 ε y x1 x2
Paralel dengan regresi biasa adalah kuat: langkah (1) dan (2) adalah analog dengan mengurangi rata-rata dalam rumus biasa. Jika Anda membiarkan menjadi vektor, Anda sebenarnya akan memulihkan rumus yang biasa.x2
Ini menggeneralisasi dengan cara yang jelas untuk regresi dengan lebih dari dua variabel: untuk memperkirakan , mundur dan secara terpisah terhadap semua variabel lainnya, kemudian mundur residualnya satu sama lain. Pada saat itu tidak ada koefisien lain dalam regresi berganda belum diestimasi.yx1yβ^1 y x1 y
sumber
Estimasi kuadrat terkecil biasa dari adalah fungsi linier dari variabel responsβ . Sederhananya, estimasi OLS dari koefisien, , dapat ditulis hanya menggunakan variabel dependen ( ) dan variabel independen ( 's).β Yi Xki
Untuk menjelaskan fakta ini untuk model regresi umum, Anda perlu memahami aljabar linear kecil. Misalkan Anda ingin memperkirakan koefisien dalam model regresi berganda,(β0,β1,...,βk)
di mana untuk . Matriks desain adalah matriks mana setiap kolom berisi pengamatan dari variabel dependen . Anda dapat menemukan banyak penjelasan dan derivasi di sini dari rumus yang digunakan untuk menghitung perkiraan koefisien , yaitui = 1 , . . . , N X n × k n k t h X k β = ( β 0 , ß 1 , . . . , Β k )ϵi∼iidN(0,σ2) i=1,...,n X n×k n kth Xk β^=(β^0,β^1,...,β^k)
dengan asumsi bahwa kebalikannya ada. Koefisien estimasi adalah fungsi dari data, bukan dari koefisien estimasi lainnya.(X′X)−1
sumber
Satu catatan kecil tentang teori vs praktik. Secara matematis dapat diperkirakan dengan rumus berikut:β0,β1,β2...βn
di mana adalah data input asli dan adalah variabel yang ingin kami perkirakan. Ini mengikuti dari meminimalkan kesalahan. Saya akan membuktikan ini sebelum membuat poin praktis kecil.X Y
Biarkan menjadi kesalahan yang regresi linier pada titik . Kemudian:ei i
Total kuadrat total yang kami buat adalah sekarang:
Karena kami memiliki model linier, kami tahu bahwa:
Yang dapat ditulis ulang dalam notasi matriks sebagai:
Kami tahu itu
Kami ingin meminimalkan kesalahan kuadrat total, sehingga ekspresi berikut harus sekecil mungkin
Ini sama dengan:
Penulisan ulang mungkin tampak membingungkan tetapi mengikuti dari aljabar linier. Perhatikan bahwa matriks berperilaku mirip dengan variabel ketika kita mengalikannya dalam beberapa hal.
Kami ingin menemukan nilai sehingga ungkapan ini sekecil mungkin. Kita perlu membedakan dan menetapkan turunan sama dengan nol. Kami menggunakan aturan rantai di sini.β
Ini memberi:
Sehingga akhirnya:
Jadi secara matematis kita tampaknya telah menemukan solusi. Namun ada satu masalah, dan itu adalah sangat sulit untuk dihitung jika matriks sangat sangat besar. Ini mungkin memberikan masalah akurasi numerik. Cara lain untuk menemukan nilai optimal untuk dalam situasi ini adalah dengan menggunakan jenis metode gradient descent. Fungsi yang ingin kami optimalkan tidak terikat dan cembung sehingga kami juga akan menggunakan metode gradien dalam praktiknya jika perlu.(X′X)−1 X β
sumber
Derivasi sederhana dapat dilakukan hanya dengan menggunakan interpretasi geometris LR.
Regresi linier dapat diartikan sebagai proyeksi dari ke ruang kolom . Dengan demikian, kesalahan, adalah ortogonal terhadap ruang kolom dari .Y X ϵ^ X
Oleh karena itu, produk dalam antara dan kesalahan harus 0, yaitu,X′
Yang menyiratkan bahwa,
Sekarang hal yang sama dapat dilakukan oleh:
(1) Memproyeksikan ke (kesalahan ), ,Y X2 δ=Y−X2D^ D^=(X′2X2)−1X′2y
(2) Memproyeksikan ke (kesalahan ), ,X1 X2 γ=X1−X2G^ G^=(X′1X1)−1X1X2
dan akhirnya,
(3) Memproyeksikan ke ,δ γ β^1
sumber