Untuk pemahaman saya sendiri, saya tertarik untuk secara manual mereplikasi perhitungan kesalahan standar estimasi koefisien sebagai, misalnya, datang dengan output dari lm()
fungsi R
, tetapi belum dapat menjabarkannya. Apa formula / implementasi yang digunakan?
114
Jawaban:
Model linier ditulis sebagai di mana menunjukkan vektor respons, adalah vektor parameter efek tetap, adalah matriks desain yang sesuai yang kolomnya adalah nilai-nilai variabel penjelas, dan adalah vektor kesalahan acak. y β X ϵ
Sudah diketahui bahwa perkiraan diberikan oleh (merujuk, misalnya, ke artikel wikipedia ) Karenanya [pengingat: , untuk beberapa vektor acak dan beberapa matriks non-acak ]ß = ( X ' X ) - 1 X ' y . Var ( β ) = ( X ' X ) - 1 X 'β
sehingga mana dapat diperoleh dengan Mean Square Error (MSE) di tabel ANOVA.
Contoh dengan regresi linier sederhana dalam R
Ketika ada variabel penjelas tunggal, model berkurang menjadi dan sehingga dan rumus menjadi lebih transparan. Misalnya, kesalahan standar perkiraan kemiringan adalah
sumber
lm.fit
/summary.lm
sedikit berbeda, untuk stabilitas dan efisiensi ...Rumus untuk ini dapat ditemukan dalam teks perantara pada statistik, khususnya, Anda dapat menemukannya di Sheather (2009, Bab 5) , dari mana latihan berikut juga diambil (halaman 138).
Kode R berikut menghitung estimasi koefisien dan kesalahan standarnya secara manual
yang menghasilkan output
Bandingkan dengan output dari
lm()
:yang menghasilkan output:
sumber
solve()
fungsinya. Ini akan menjadi sedikit lebih lama tanpa aljabar matriks. Apakah ada cara ringkas untuk melakukan saluran tertentu hanya dengan operator dasar?Sebagian dari jawaban Ocram salah. Sebenarnya:
Dan komentar dari jawaban pertama menunjukkan bahwa diperlukan lebih banyak penjelasan tentang varian koefisien:
Sunting
Terima kasih, saya mengabaikan topi versi beta itu. Pengurangan di atas adalah . Hasil yang benar adalah:wrongly wrong
1.(Untuk mendapatkan persamaan ini, tetapkan turunan urutan pertama dari pada sama dengan nol, untuk memaksimalkan )β^=(X′X)−1X′y. SSR β SSR
2.E(β^|X)=E((X′X)−1X′(Xβ+ϵ)|X)=β+((X′X)−1X′)E(ϵ|X)=β.
3.Var(β^)=E(β^−E(β^|X))2=Var((X′X)−1X′ϵ)=(X′X)−1X′σ2IX(X′X)−1=σ2(X′X)−1
Semoga bermanfaat.
sumber