Memahami pita kepercayaan dari regresi polinomial

Saya mencoba memahami hasil yang saya lihat pada grafik saya di bawah ini. Biasanya, saya cenderung menggunakan Excel dan mendapatkan garis regresi linier tetapi dalam kasus di bawah ini saya menggunakan R dan saya mendapatkan regresi polinomial dengan perintah:

ggplot(visual1, aes(ISSUE_DATE,COUNTED)) + geom_point() + geom_smooth()

Jadi pertanyaan saya sampai pada ini:

1. Berapakah area abu-abu (panah # 1) di sekitar garis regresi biru? Apakah ini standar deviasi dari regresi polinomial?

2. Dapatkah saya mengatakan bahwa apa pun yang berada di luar area abu-abu (panah # 2) adalah 'outlier' dan apa pun yang berada di dalam wilayah abu-abu (panah # 3) berada dalam standar deviasi?

Pita abu-abu adalah pita kepercayaan untuk garis regresi. Saya tidak cukup akrab dengan ggplot2 untuk mengetahui dengan pasti apakah itu adalah band kepercayaan 1 SE atau band kepercayaan 95%, tapi saya percaya itu adalah yang pertama ( Edit: jelas itu adalah CI 95% ). Pita kepercayaan memberikan representasi ketidakpastian tentang garis regresi Anda. Dalam arti tertentu, Anda dapat berpikir bahwa garis regresi yang sebenarnya adalah setinggi bagian atas pita itu, serendah bagian bawahnya, atau bergoyang secara berbeda di dalam pita tersebut. (Perhatikan bahwa penjelasan ini dimaksudkan untuk bersifat intuitif, dan secara teknis tidak benar, tetapi penjelasan yang sepenuhnya benar sulit bagi kebanyakan orang untuk mengikuti.)

Anda harus menggunakan pita kepercayaan diri untuk membantu Anda memahami / memikirkan garis regresi. Anda tidak boleh menggunakannya untuk memikirkan poin data mentah. Ingat bahwa garis regresi mewakili rata-rata pada setiap titik dalam X (jika Anda perlu memahami ini lebih lengkap, ini dapat membantu Anda membaca jawaban saya di sini: Apa intuisi di balik distribusi Gaussian bersyarat? ). Di sisi lain, Anda tentu tidak mengharapkan setiap titik data yang diamati sama dengan rata-rata bersyarat. Dengan kata lain, Anda tidak boleh menggunakan pita kepercayaan untuk menilai apakah suatu titik data merupakan outlier. $Y$$X$

( Sunting: catatan ini adalah periferal untuk pertanyaan utama, tetapi berusaha mengklarifikasi poin untuk OP. )

Regresi polinomial bukanlah regresi non-linear, meskipun yang Anda dapatkan tidak terlihat seperti garis lurus. Istilah 'linier' memiliki makna yang sangat spesifik dalam konteks matematika, khususnya, bahwa parameter yang Anda perkirakan - beta - semuanya adalah koefisien. Regresi polinomial hanya berarti bahwa kovariat Anda adalah , X 2 , X 3 , dll. Yaitu, mereka memiliki hubungan non-linear satu sama lain, tetapi beta Anda masih koefisien, sehingga masih merupakan model linier. Jika beta Anda, katakanlah, eksponen, maka Anda akan memiliki model non-linear. $X$$X^2$$X^3$

$X$$X^2$$X_2$$X_1$$X^2$$X$$(X,\ Y)$

Untuk menambah jawaban yang sudah ada, pita mewakili interval kepercayaan rata-rata, tetapi dari pertanyaan Anda, Anda jelas mencari interval prediksi . Interval prediksi adalah rentang yang jika Anda menggambar satu titik baru titik itu secara teoritis akan terkandung dalam kisaran X% dari waktu (di mana Anda dapat mengatur tingkat X).

library(ggplot2)
set.seed(5)
x <- rnorm(100)
y <- 0.5*x + rt(100,1)
MyD <- data.frame(cbind(x,y))

Kami dapat menghasilkan jenis plot yang sama dengan yang Anda tunjukkan dalam pertanyaan awal Anda dengan interval kepercayaan di sekitar rata-rata garis regresi loess yang dihaluskan (standarnya adalah interval kepercayaan 95%).

ConfiMean <- ggplot(data = MyD, aes(x,y)) + geom_point() + geom_smooth()
ConfiMean

Untuk contoh interval prediksi yang cepat dan kotor, di sini saya membuat interval prediksi menggunakan regresi linier dengan smoothing splines (sehingga tidak harus berupa garis lurus). Dengan data sampel tidak cukup baik, untuk 100 poin hanya 4 yang berada di luar kisaran (dan saya menentukan interval 90% pada fungsi prediksi).

#Now getting prediction intervals from lm using smoothing splines
library(splines)
MyMod <- lm(y ~ ns(x,4), MyD)
MyPreds <- data.frame(predict(MyMod, interval="predict", level = 0.90))
PredInt <- ggplot(data = MyD, aes(x,y)) + geom_point() + 
           geom_ribbon(data=MyPreds, aes(x=fit,ymin=lwr, ymax=upr), alpha=0.5)
PredInt

Sekarang beberapa catatan lagi. Saya setuju dengan Ladislav bahwa Anda harus mempertimbangkan metode peramalan deret waktu karena Anda memiliki deret berkala sejak tahun 2007 dan jelas dari plot Anda jika Anda melihat keras ada musim (menghubungkan titik-titik akan membuatnya lebih jelas). Untuk ini saya akan menyarankan memeriksa fungsi forecast.stl dalam paket perkiraan di mana Anda dapat memilih jendela musiman dan menyediakan dekomposisi yang kuat dari musiman dan tren menggunakan Loess. Saya menyebutkan metode yang kuat karena data Anda memiliki beberapa lonjakan yang terlihat.

Lebih umum untuk data seri non-waktu saya akan mempertimbangkan metode kuat lainnya jika Anda memiliki data dengan outlier sesekali. Saya tidak tahu cara membuat interval prediksi menggunakan Loess secara langsung, tetapi Anda dapat mempertimbangkan regresi kuantil (tergantung pada seberapa ekstrim interval prediksi yang diperlukan). Kalau tidak, jika Anda hanya ingin menjadi non-linear, Anda dapat mempertimbangkan splines untuk memungkinkan fungsi bervariasi lebih dari x.

Ya, garis biru adalah regresi lokal yang mulus . Anda dapat mengontrol kegoyahan garis dengan spanparameter (dari 0 hingga 1). Tetapi contoh Anda adalah "rangkaian waktu" jadi cobalah mencari beberapa metode analisis yang lebih tepat daripada hanya cocok dengan kurva yang halus (yang seharusnya hanya berfungsi untuk mengungkapkan tren yang mungkin).

Menurut dokumentasi untuk ggplot2(dan pesan di komentar di bawah): stat_smooth adalah interval kepercayaan dari kelancaran yang ditunjukkan dengan warna abu-abu. Jika Anda ingin mematikan interval kepercayaan, gunakan se = FALSE.