Membandingkan residu antara regresi OLS dan non-OLS

9

Misalkan Anda ingin memperkirakan model linier: ( pengamatan respons, dan prediktor) np+1

E(yi)=β0+j=1pβjxij

Salah satu cara untuk melakukan ini adalah melalui solusi OLS, yaitu memilih koefisien sehingga jumlah kesalahan kuadrat minimum:

(β0,β1,,βhal)T=argminβ0,β1,,βhalsaya=1n(ysaya-β0-j=1halβjxsayaj)2

Atau, Anda dapat menggunakan fungsi kerugian lain, seperti jumlah dari penyimpangan absolut, sehingga:

(β0,β1,,βhal)T=argminβ0,β1,,βhalsaya=1n|ysaya-β0-j=1halβjxsayaj|

Misalkan Anda telah menemukan parameter untuk dua model, dan ingin memilih model dengan nilai terkecil dari fungsi kerugian. Bagaimana Anda bisa membandingkan nilai minimum yang diperoleh dengan fungsi kerugian secara umum? (Yaitu bukan hanya kasus khusus ini - kita juga bisa mencoba fungsi kerugian berbasis L_p lainnya L.hal) Tampaknya ada perbedaan dalam skala fungsi - satu berurusan dengan kotak sedangkan yang lain tidak.

Comp_Warrior
sumber
1
Nah, asumsi Markov mari kita tunjukkan bahwa persamaan pertama adalah BIRU, atau penaksir tidak bias linier terbaik . Dalam hal ini "Terbaik" ditentukan dengan memiliki kesalahan standar terkecil dari semua estimator yang mungkin. Apakah itu bukan statistik yang memadai?
gregmacfarlane
2
perhatikan bahwa danx2x1nx2
argminβ0,β1,,βhalsaya=1n(ysaya-β0-j=1halβjxsayaj)2argminβ0,β1,,βhalsaya=1n|ysaya-β0-j=1halβjxsayaj|(n)argminβ0,β1,,βhalsaya=1n(ysaya-β0-j=1halβjxsayaj)2
Manuel
1
@ gmacfarlane Saya ingin mendefinisikan "terbaik" di sini dalam hal nilai minimum dari fungsi kerugian, alih-alih kesalahan standar pada estimasi parameter. (hanya ingin tahu)
Comp_Warrior
2
Saya pikir Anda tidak dapat membandingkan kecocokan yang berasal dari 2 fungsi kerugian yang berbeda, karena mereka adalah jawaban untuk pertanyaan yang berbeda. Setelah Anda memutuskan bahwa fungsi kerugian yang diberikan adalah yang sesuai untuk situasi Anda, fit akan mengikuti dari keputusan itu. Anda tidak dapat melipatnya kembali untuk memvalidasi pilihan fungsi kerugian tanpa ini menjadi melingkar. Jika Anda memiliki kriteria lain yang dapat dipahami mencakup kedua fungsi kerugian, Anda dapat menggunakannya, tetapi Anda harus menentukannya terlebih dahulu.
gung - Reinstate Monica
1
Perhatikan bahwa jika model untuk ekspektasi itu benar dan ukuran sampel cukup besar sehingga kedua perkiraan efektif pada nilai populasi, maka pertanyaannya akan secara efektif dikonversi menjadi "Bagaimana saya membandingkan deviasi rata-rata dengan deviasi standar"? Di bawah asumsi distribusi yang diberikan Anda kemudian dapat membandingkan ukuran yang diharapkan, tetapi tentu saja dalam sampel kecil perkiraannya sendiri berbeda.
Glen_b -Reinstate Monica

Jawaban:

4

(Mengubah komentar saya menjadi jawaban.)

Saya pikir Anda tidak dapat membandingkan kecocokan yang berasal dari fungsi kerugian yang berbeda, karena mereka adalah jawaban untuk pertanyaan yang berbeda. Setelah Anda memutuskan bahwa fungsi kerugian yang diberikan adalah yang sesuai untuk situasi Anda, fit akan mengikuti dari keputusan itu. Anda tidak dapat melipatnya kembali untuk memvalidasi pilihan fungsi kerugian tanpa ini menjadi melingkar. Jika Anda memiliki kriteria lain yang dapat dipahami oleh kedua fungsi kerugian, Anda bisa menggunakannya, tetapi Anda harus menentukannya terlebih dahulu.

gung - Pasang kembali Monica
sumber