Apa keuntungan yang ditawarkan oleh "residual pelajar secara internal" dibandingkan residual mentah yang diperkirakan dalam hal mendiagnosis titik data potensial yang berpengaruh?

Alasan saya menanyakan hal ini adalah karena tampaknya residual yang dipelajarinya secara internal tampaknya memiliki pola yang sama dengan residual yang diperkirakan mentah. Akan lebih bagus jika seseorang bisa memberikan penjelasan.

Asumsikan model regresi dengan matriks desain ( kolom diikuti oleh prediktor Anda), prediksi (di mana adalah "hat-matrix"), dan residu . Model regresi mengasumsikan bahwa kesalahan sebenarnya semua memiliki varian yang sama (homoskedastisitas):$\bf{y} = \bf{X} \bf{\beta} + \bf{\epsilon}$$\bf{X}$$\bf{1}$$\hat{\bf{y}} = \bf{X} (\bf{X}' \bf{X})^{-1} \bf{X}' \bf{y} = \bf{H} \bf{y}$$\bf{H}$$\bf{e} = \bf{y} - \hat{\bf{y}}$$\bf{\epsilon}$

Matriks kovarians residual adalah . Ini berarti bahwa residual mentah memiliki varian berbeda - diagonal dari matriks . Elemen diagonal adalah nilai-nilai .$V(\bf{e}) = \sigma^{2} (\bf{I} - \bf{H})$$e_{i}$$\sigma^{2} (1-h_{ii})$$\sigma^{2} (\bf{I} - \bf{H})$$\bf{H}$$h_{ii}$

Dengan demikian residu yang benar-benar terstandarisasi dengan varians 1 adalah . Masalahnya adalah bahwa varians kesalahan tidak diketahui, dan residual yang dididik secara internal / eksternal dihasilkan dari pilihan tertentu untuk perkiraan .$\bf{e} / (\sigma \sqrt{1 - h_{ii}})$$\sigma$ $\bf{e} / (\hat{\sigma} \sqrt{1 - h_{ii}})$$\hat{\sigma}$

Karena residu mentah diharapkan bersifat heteroskedastik bahkan jika homoskedastik, residu mentah secara teoritis kurang cocok untuk mendiagnosis masalah dengan asumsi homoskedastisitas dibandingkan residual terstandarisasi atau pelajar.$\epsilon$

Jenis data apa yang Anda gunakan pada plot pengujian Anda? Ketika semua asumsi bertahan (atau mendekati) maka saya tidak akan berharap banyak perbedaan antara residu mentah dan mahasiswa, keuntungan utama adalah ketika ada poin yang sangat berpengaruh. Pertimbangkan data (simulasi) ini yang memiliki tren linier positif dan pencilan yang sangat berpengaruh:

Berikut adalah plot dari nilai yang dipasang vs residu mentah:

Perhatikan bahwa nilai residu dari titik pengaruh kita lebih dekat ke 0 daripada residu minimum dan maksimum dari sisa titik (tidak dalam 3 residu baku paling ekstrim).

Sekarang di sini adalah plot dengan residu terstandarisasi (internalisasi mahasiswa):

Dalam plot ini residu terstandarisasi menonjol karena pengaruhnya telah diperhitungkan.

Dalam contoh sederhana ini mudah untuk melihat apa yang terjadi, tetapi bagaimana jika kita memiliki lebih dari 1 variabel dan titik yang sangat berpengaruh, tetapi tidak biasa dalam plot 2 dimensi? Tidak akan terlihat jelas dari plot residu mentah, tetapi residu yang dipelajarinya akan menunjukkan bahwa residu lebih ekstrem.$x$