Bagaimana Anda menemukan bobot untuk regresi kuadrat terkecil tertimbang?

Saya agak tersesat dalam proses regresi WLS. Saya telah diberikan dataset dan tugas saya adalah untuk menguji apakah ada heteroskedascity, dan jika demikian saya harus menjalankan regresi WLS.

Saya telah melakukan tes dan menemukan bukti untuk heteroskedascity, jadi saya perlu menjalankan WLS. Saya telah diberitahu bahwa WLS pada dasarnya adalah regresi OLS dari model yang ditransformasikan, tetapi saya agak bingung menemukan fungsi transformasi. Saya telah membaca beberapa artikel yang menyarankan bahwa transformasi dapat menjadi fungsi dari kuadrat residu dari regresi OLS, tetapi saya akan menghargai jika seseorang dapat membantu saya untuk mendapatkan di jalur yang benar.

Regresi tertimbang kuadrat (WLS) bukan model yang diubah. Sebaliknya, Anda hanya memperlakukan setiap observasi sebagai lebih atau kurang informatif tentang hubungan yang mendasari antara dan Y . Poin-poin yang lebih informatif diberi lebih banyak 'bobot', dan poin-poin yang kurang informatif diberi bobot lebih sedikit. Anda benar bahwa regresi kuadrat tertimbang (WLS) secara teknis hanya valid jika bobotnya diketahui a-priori. $X$$Y$

$X$situasi. Sebagai hasilnya, Anda dapat mencoba memperkirakan fungsi yang menghubungkan varians residu dengan level variabel prediktor Anda.

Ada beberapa masalah yang berkaitan dengan bagaimana estimasi tersebut harus dilakukan:

1. Ingat bahwa bobot harus merupakan kebalikan dari varians (atau apa pun yang Anda gunakan).

2. $X$$X$

3. $X$plot(model, which=2)$X$median deviasi absolut dari median .

4. $X$$X$

5. Mendapatkan bobot Anda dari residu regresi OLS adalah wajar karena OLS tidak bias, bahkan di hadapan heteroskedastisitas. Meskipun demikian, bobot tersebut bergantung pada model asli, dan dapat mengubah kesesuaian model WLS berikutnya. Dengan demikian, Anda harus memeriksa hasil Anda dengan membandingkan perkiraan beta dari dua regresi. Jika mereka sangat mirip, Anda baik-baik saja. Jika koefisien WLS berbeda dari yang OLS, Anda harus menggunakan estimasi WLS untuk menghitung residu secara manual (residu yang dilaporkan dari kecocokan WLS akan mempertimbangkan bobotnya). Setelah menghitung set residu baru, tentukan bobot lagi dan gunakan bobot baru dalam regresi WLS kedua. Proses ini harus diulangi sampai dua set beta yang diperkirakan cukup serupa (walaupun melakukan ini sekali tidak biasa).

Jika proses ini membuat Anda agak tidak nyaman, karena bobotnya diperkirakan, dan karena mereka bergantung pada model sebelumnya yang salah, opsi lain adalah menggunakan penduga 'sandwich' Huber-White . Ini konsisten bahkan di hadapan heteroskedastisitas tidak peduli seberapa parah, dan itu tidak bergantung pada model. Ini juga berpotensi mengurangi kerumitan.

Saya mendemonstrasikan versi sederhana kuadrat terkecil tertimbang dan penggunaan sandwich SE dalam jawaban saya di sini: Alternatif untuk ANOVA satu arah untuk data heteroskedastik .

Saat melakukan WLS, Anda harus mengetahui bobotnya. Ada beberapa cara untuk menemukan mereka sebagaimana dikatakan pada halaman 191 dari Pengantar Analisis Regresi Linier oleh Douglas C. Montgomery, Elizabeth A. Peck, G. Geoffrey Vining. Sebagai contoh:

1. Pengalaman atau informasi sebelumnya menggunakan beberapa model teoritis.
2. ${\rm var}(\varepsilon_i)=\sigma^2x_i$$w_i=1/x_i$
3. $n_i$$x_i$${\rm var}(y_i)={\rm var}(\varepsilon_i)=\sigma^2/n_i$$w_i=n_i$
4. Kadang-kadang kita tahu bahwa pengamatan yang berbeda telah diukur dengan instrumen yang berbeda yang memiliki akurasi (diketahui atau diperkirakan). Dalam hal ini kami dapat memutuskan untuk menggunakan bobot sebagai berbanding terbalik dengan varians kesalahan pengukuran.