Apakah residual, e, penduga kesalahan,

8

Pertanyaan ini muncul di utas lain yang saya mulai jadi saya pikir saya akan mendapatkan lebih banyak pendapat orang tentang itu. Pertanyaanku adalah

Apakah residual, e, penduga kesalahan, ϵ?

Alasan yang saya tanyakan adalah sebagai berikut. Dalam OLS, varian dari residu,RSS(nK), dikenal sebagai varian dari regresi (di mana RSS adalah jumlah kuadrat kuadrat). Demikian pula akar kuadrat dari varian ini,RSS(nK), adalah standar kesalahan regresi. Mengingat fakta bahwa akar kuadrat dari varians,RSS(nK), adalah kesalahan standar, itu harus berarti bahwa varian ini adalah varian dari estimator. Kita sudah tahu bahwa itu adalah varian dari residual, oleh karena itu, residual adalah estimator ?? (Saya menganggapϵ)

Pikiran??

EconStats
sumber

Jawaban:

10

Tentu saja residu adalah semacam pendugaϵ(agar lebih jelas, definisi residual adalah estimator, residual yang diamati adalah estimasi). Jika modelnya benar, maka kadang-kadang mereka mungkin merupakan estimasi yang cukup baik.

Memang

e=yy^=Xβ+ϵX(XX)1X(Xβ+ϵ)=(IH)ϵ,

dimana H=X(XX)1X adalah topi-matriks (karena 'memakai topi' y) - juga kadang-kadang disebut matriks proyeksi.

http://en.wikipedia.org/wiki/Hat_matrix

Itu adalah eMasing - masing adalah kombinasi linear dari ϵini; jika1hii cukup besar dibandingkan dengan jihij (jika H adalah 'kecil' relatif terhadap I), maka sebagian besar berat berada di ith kesalahan (meskipun hal ini sering tidak terjadi).

Catat itu ei/1hii akan memiliki harapan dan varian yang sama dengan ϵidan jika elemen H kecil , dengan cara yang baru saja dijelaskan, akan sangat berkorelasi dengan itu - pada kenyataannya, jika saya telah melakukan aljabar saya dengan benar, korelasi antaraei dan ϵi sebenarnya: corr(ei,ϵi)=1hii.

Glen_b -Reinstate Monica
sumber
Terima kasih atas bantuannya Glen_b. Pertanyaan cepat: Apa itu matriks H ? Satu-satunya matriks saya tahu berkaitan dengan regresi adalah Proyeksi Matrix, P , dan pembuat Residual, M . Dan saya tentu saja.
EconStats
Definisi dan tautan ditambahkan.
Glen_b -Reinstate Monica
Keren, ini hanya Matriks Proyeksi, saya pernah melihatnya sebelumnya!
EconStats
Untuk jawaban di atas, saya pikir ada kesalahan kecil bahwa e seharusnya (IH) (X \ beta + \ epsilon)
Chen Wang
(IH)Xβ=0
Glen_b -Reinstate Monica