Apakah residu "diprediksi dikurangi aktual" atau "diprediksi dikurangi aktual"

Saya telah melihat "residual" didefinisikan dengan beragam sebagai "prediksi minus nilai aktual" atau "aktual dikurangi nilai prediksi". Untuk tujuan ilustrasi, untuk menunjukkan bahwa kedua formula digunakan secara luas, bandingkan pencarian Web berikut:

• residual "diprediksi dikurangi aktual"
• residual "minus aktual yang diprediksi"

Dalam praktiknya, hampir tidak pernah ada bedanya, karena tanda residu invidividual biasanya tidak penting (misalnya jika kuadrat atau nilai absolut diambil). Namun, pertanyaan saya adalah: apakah salah satu dari dua versi ini (prediksi pertama vs aktual pertama) dianggap "standar"? Saya ingin konsisten dalam penggunaan saya, jadi jika ada standar konvensional yang mapan, saya lebih suka mengikutinya. Namun, jika tidak ada standar, saya senang menerimanya sebagai jawaban, jika dapat dibuktikan secara meyakinkan bahwa tidak ada konvensi standar.

Residu selalu aktual dikurangi prediksi. Modelnya adalah: Oleh karena itu, residual , yang merupakan perkiraan kesalahan : ε ε ε = y -

Saya setuju dengan @whuber bahwa tandanya tidak terlalu penting secara matematis. Tapi ada baiknya mengadakan konvensi. Dan konvensi saat ini seperti dalam jawaban saya.

Karena OP menantang otoritas saya tentang hal ini, saya menambahkan beberapa referensi:

• " (2008) Sisa. Dalam: Ensiklopedia Statistik Ringkas. Springer, New York, NY , yang memberikan definisi yang sama.
• "Metode Statistik untuk Pekerja Penelitian" Fisher 1925, memiliki definisi yang sama juga, lihat Bagian 26 dalam versi 1934 ini . Meskipun judulnya sederhana, ini adalah karya penting dalam konteks sejarah

Saya baru saja menemukan alasan kuat untuk satu jawaban menjadi yang benar.

Regresi (dan sebagian besar model statistik dalam bentuk apa pun) menyangkut bagaimana distribusi kondisional dari respons bergantung pada variabel penjelas. Elemen penting dari karakterisasi distribusi-distribusi tersebut adalah ukuran yang biasanya disebut "skewness" (walaupun berbagai formula berbeda telah ditawarkan): merujuk pada cara paling mendasar di mana bentuk distribusi berangkat dari simetri. Berikut adalah contoh data bivariat (respons dan variabel penjelas tunggal ) dengan respons kondisional condong positif:$y$$x$

Kurva biru adalah yang paling cocok kotak kuadrat. Itu plot nilai-nilai yang dipasang.

Ketika kita menghitung selisih antara respons dan nilai pasnya , kami menggeser lokasi distribusi bersyarat, tetapi sebaliknya tidak mengubah bentuknya. Secara khusus, kemiringannya tidak akan berubah.$y$$\hat y$

Ini adalah plot diagnostik standar yang menunjukkan bagaimana distribusi bersyarat yang bergeser berbeda dengan nilai yang diprediksi. Secara geometris, ini hampir sama dengan "sampai" scatterplot sebelumnya.

Jika sebaliknya kita menghitung selisih dalam urutan lain, ini akan bergeser dan kemudian membalikkan bentuk distribusi kondisional. Kemiringannya akan menjadi negatif dari distribusi bersyarat asli.$\hat y - y,$

Ini menunjukkan jumlah yang sama dengan gambar sebelumnya, tetapi residu telah dihitung dengan mengurangi data dari kecocokannya - yang tentu saja sama dengan meniadakan residu sebelumnya.

Meskipun kedua angka sebelumnya secara matematis setara dalam segala hal - satu diubah menjadi yang lain hanya dengan membalikkan titik-titik melintasi cakrawala biru - salah satunya memiliki hubungan visual yang jauh lebih langsung ke plot asli.

Akibatnya, jika tujuan kami adalah untuk menghubungkan karakteristik distribusi residu dengan karakteristik data asli - dan yang hampir selalu demikian - maka lebih baik hanya menggeser respons daripada menggeser dan membalikkannya.

Jawaban yang benar jelas: hitung residu Anda sebagai$y - \hat y.$

Green & Tashman (2008, Foresight ) melaporkan survei kecil tentang pertanyaan analog untuk kesalahan perkiraan. Saya akan meringkas argumen untuk kedua konvensi sebagaimana dilaporkan oleh mereka:

Argumen untuk "prediksi aktual"

1. Konvensi statistik adalah .$y=\hat{y}+\epsilon$

2. Setidaknya satu responden dari seismologi menulis bahwa ini juga merupakan konvensi untuk memodelkan waktu tempuh gelombang seismik. "Ketika gelombang seismik aktual tiba sebelum waktu yang diprediksi oleh model, kami memiliki sisa waktu perjalanan negatif (kesalahan)." ( sic )

3. Konvensi ini masuk akal jika kita menafsirkan sebagai anggaran, rencana, atau target. Di sini, kesalahan positif berarti bahwa anggaran / rencana / target telah terlampaui.$\hat{y}$

4. Konvensi ini membuat rumus untuk pemulusan eksponensial agak lebih intuitif. Kita bisa menggunakan tanda . Dengan konvensi lain, kita perlu menggunakan tanda .$+$$-$

Argumen untuk "diprediksi-aktual"

1. Jika , maka kesalahan positif menunjukkan bahwa ramalan itu terlalu tinggi. Ini lebih intuitif daripada yang sebaliknya.$y=\hat{y}-\epsilon$

   Terkait, jika bias positif didefinisikan sebagai kesalahan yang diharapkan positif , itu berarti bahwa perkiraan rata-rata terlalu tinggi dengan konvensi ini.

   Dan ini adalah satu-satunya argumen yang diberikan untuk konvensi ini. Kemudian lagi, mengingat kesalahpahaman yang dapat ditimbulkan oleh konvensi lain (kesalahan positif = ramalan terlalu rendah), ini adalah yang kuat.

Pada akhirnya, saya berpendapat bahwa itu tergantung pada siapa Anda perlu mengomunikasikan residu Anda. Dan mengingat bahwa pasti ada dua sisi dalam diskusi ini, masuk akal untuk secara eksplisit mencatat konvensi mana yang Anda ikuti.

Terminologi yang berbeda menunjukkan konvensi yang berbeda. Istilah "residual" menyiratkan bahwa itu adalah apa yang tersisa setelah semua variabel penjelas telah diperhitungkan, yaitu prediksi aktual. "Prediction error" menyiratkan bahwa seberapa jauh prediksi menyimpang dari aktual, yaitu prediksi-aktual.

Konsepsi pemodelan seseorang juga memengaruhi konvensi mana yang lebih alami. Misalkan Anda memiliki kerangka data dengan satu atau beberapa kolom fitur , kolom respons , dan kolom prediksi .y $X = x_1,x_2...$$y$$\hat y$

Satu konsepsi adalah bahwa adalah nilai "nyata", dan hanyalah sebuah versi ditransformasikan . Dalam konsepsi ini, dan adalah variabel acak ( sebagai yang diturunkan). Meskipun adalah yang benar-benar menarik bagi kita, adalah yang dapat kita amati, jadi digunakan sebagai proksi untuk . "Kesalahan" adalah berapa banyak menyimpang dari nilai "benar" ini . Ini menyarankan mendefinisikan kesalahan sebagai mengikuti arah deviasi ini, yaitu .y X y y y y y y y y y e = y - $y$$\hat y$$X$$y$$\hat y$$\hat y$$y$$\hat y$$\hat y$$y$$\hat y$$y$$e = \hat y -y$

Namun, ada konsepsi lain yang menganggap sebagai nilai "nyata". Yaitu, y tergantung pada melalui beberapa proses deterministik; keadaan menimbulkan nilai deterministik tertentu. Nilai ini kemudian terganggu oleh beberapa proses acak. Jadi kita memiliki . Dalam konsepsi ini, adalah nilai "nyata" dari y. Misalnya, Anda mencoba menghitung nilai g, akselerasi karena gravitasi. Anda menjatuhkan banyak objek, Anda mengukur seberapa jauh mereka jatuh ( ) dan berapa lama mereka jatuh ( ). Anda kemudian menganalisis data dengan model y = XXx→f(X)→f(X)+error() y Xy$\hat y$$X$$X$$x \rightarrow f(X)\rightarrow f(X)+error()$$\hat y$$X$$y$$\sqrt{\frac{2x}{g}}$. Anda menemukan bahwa tidak ada nilai g yang membuat persamaan ini bekerja dengan tepat. Jadi Anda kemudian memodelkan ini sebagai

$\hat y = \sqrt{\frac{2x}{g}}$
$y = \hat y +error$

$\hat y$$y$$\hat y$$X$

$\sqrt{\frac{2x}{g}}$$y = \hat y +error$

$X$

$\hat y = f(X)$
$y = \hat y+g(?)$
$g = y-\hat y$

Jawaban oleh @Aksakal sepenuhnya benar, tetapi saya hanya akan menambahkan satu elemen tambahan yang saya temukan membantu saya (dan murid-murid saya).

Moto: Statistik itu "sempurna". Seperti, saya selalu dapat memberikan prediksi yang sempurna (saya tahu beberapa alis mata sedang naik sekarang ... jadi dengarkan saya).

$y_i$$\hat{y}_i$

$\epsilon_i$

$\newcommand{\e}{\varepsilon}$ Saya akan menggunakan kasus khusus dari regresi linier kuadrat. Jika kita mengambil model kita untuk menjadi kemudian sebagai @Aksakal poin kita alami berakhir dengan sehingga . Jika bukan kita mengambil sebagai model kami, yang kami tentu bebas untuk melakukan, maka kita mendapatkan . Pada titik ini benar-benar tidak ada alasan untuk memilih satu daripada yang lain selain dari preferensi yang samar untuk lebih dari .$Y = X\beta + \e$$\e = Y - X\beta$$\hat \e = Y - \hat Y$$Y = X\beta - \e$$\e = X\beta - Y \implies \hat \e = \hat Y - Y$$1$$-1$

Tetapi jika maka kita memperoleh residual kami melalui , di mana adalah matriks idempoten memproyeksikan ke dalam ruang orthogonal untuk ruang kolom dari desain matriks . Jika kita malah menggunakan maka kita berakhir dengan . Tapi itu sendiri tidak idempoten sebagai . Jadi benar-benar adalah negatif dari matriks proyeksi, yaitu . Jadi saya melihat ini sebagai membatalkan negatif yang diperkenalkan dengan menggunakan , jadi demi kekikiran lebih baik hanya menggunakan$\hat \e = Y - \hat Y$$(I - P_X)Y$$I - P_X$$X$$Y = X\beta - \e$$\hat \e = (P_X - I)Y$$P_X - I$P X - I I - P X Y = X β - ε Y = X β + ε Y - $(P_X - I)^2 = P_X^2 - 2P_X + I = -(P_X - I)$$P_X - I$$I - P_X$$Y = X\beta - \e$$Y = X\beta + \e$ yang pada gilirannya memberi kita sebagai residual.$Y - \hat Y$

Seperti disebutkan di tempat lain itu tidak seperti apa istirahat jika kita menggunakan , tapi kami berakhir dengan situasi negatif ganda ini yang saya pikir adalah alasan yang cukup baik untuk hanya menggunakan .Y -$\hat Y - Y$$Y - \hat Y$