Bagaimana saya menghitung apakah regresi linier saya memiliki perbedaan yang signifikan secara statistik dari garis teoretis yang diketahui?

Saya punya beberapa data yang sesuai dengan garis linear:

Ketika saya melakukan regresi linier dari nilai-nilai ini, saya mendapatkan persamaan linear:

Dalam dunia yang ideal, persamaan harus menjadi $y = x$ .

Jelas, nilai linear saya dekat dengan ideal itu, tetapi tidak persis. Pertanyaan saya adalah, bagaimana saya bisa menentukan apakah hasil ini signifikan secara statistik?

Apakah nilai 0,997 berbeda secara signifikan dari 1? Apakah -0,01 berbeda secara signifikan dari 0? Atau apakah secara statistik sama dan saya dapat menyimpulkan bahwa $y=x$ dengan tingkat kepercayaan yang wajar?

Apa tes statistik yang baik yang bisa saya gunakan?

Terima kasih

Jenis situasi ini dapat ditangani dengan uji-F standar untuk model bersarang . Karena Anda ingin menguji kedua parameter terhadap model nol dengan parameter tetap, hipotesis Anda adalah:

Uji-F melibatkan pemasangan kedua model dan membandingkan jumlah sisa kuadratnya, yaitu:

Statistik pengujian adalah:

Nilai p yang sesuai adalah:

Implementasi dalam R: Misalkan data Anda dalam bingkai data yang disebut DATAdengan variabel yang disebut ydan x. Uji-F dapat dilakukan secara manual dengan kode berikut. Dalam data tiruan simulasi yang saya gunakan, Anda dapat melihat bahwa koefisien yang diestimasi dekat dengan yang ada di hipotesis nol, dan nilai p tes tidak menunjukkan bukti signifikan untuk memalsukan hipotesis nol bahwa fungsi regresi yang sebenarnya adalah fungsi identitas.

#Generate mock data (you can substitute your data if you prefer)
set.seed(12345);
n    <- 1000;
x    <- rnorm(n, mean = 0, sd = 5);
e    <- rnorm(n, mean = 0, sd = 2/sqrt(1+abs(x)));
y    <- x + e;
DATA <- data.frame(y = y, x = x);

#Fit initial regression model
MODEL <- lm(y ~ x, data = DATA);

#Calculate test statistic
SSE0   <- sum((DATA$y-DATA$x)^2);
SSEA   <- sum(MODEL$residuals^2);
F_STAT <- ((n-2)/2)*((SSE0 - SSEA)/SSEA);
P_VAL  <- pf(q = F_STAT, df1 = 2, df2 = n-2, lower.tail = FALSE);

#Plot the data and show test outcome
plot(DATA$x, DATA$y,
     main = 'All Residuals',
     sub  = paste0('(Test against identity function - F-Stat = ',
            sprintf("%.4f", F_STAT), ', p-value = ', sprintf("%.4f", P_VAL), ')'),
     xlab = 'Dataset #1 Normalized residuals',
     ylab = 'Dataset #2 Normalized residuals');
abline(lm(y ~ x, DATA), col = 'red', lty = 2, lwd = 2);

The summaryoutput dan plotuntuk ini terlihat data seperti ini:

summary(MODEL);

Call:
lm(formula = y ~ x, data = DATA)

Residuals:
    Min      1Q  Median      3Q     Max 
-4.8276 -0.6742  0.0043  0.6703  5.1462 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.02784    0.03552  -0.784    0.433    
x            1.00507    0.00711 141.370   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.122 on 998 degrees of freedom
Multiple R-squared:  0.9524,    Adjusted R-squared:  0.9524 
F-statistic: 1.999e+04 on 1 and 998 DF,  p-value: < 2.2e-16

F_STAT;
[1] 0.5370824

P_VAL;
[1] 0.5846198

Berikut adalah metode grafis keren yang saya tulis dari buku bagus Julian Faraway "Linear Models With R (Second Edition)". Ini interval kepercayaan 95% simultan untuk mencegat dan kemiringan, diplot sebagai elips.

Sebagai ilustrasi, saya membuat 500 pengamatan dengan variabel "x" memiliki distribusi N (rata-rata = 10, sd = 5) dan kemudian variabel "y" yang distribusinya adalah N (rata-rata = x, sd = 2). Itu menghasilkan korelasi sedikit di atas 0,9 yang mungkin tidak seketat data Anda.

Anda dapat memeriksa elips untuk melihat apakah titik (intersep = 0, kemiringan = 1) berada di dalam atau di luar interval kepercayaan simultan.

library(tidyverse)
library(ellipse)
#> 
#> Attaching package: 'ellipse'
#> The following object is masked from 'package:graphics':
#> 
#>     pairs

set.seed(50)
dat <- data.frame(x=rnorm(500,10,5)) %>% mutate(y=rnorm(n(),x,2))

lmod1 <- lm(y~x,data=dat)
summary(lmod1)
#> 
#> Call:
#> lm(formula = y ~ x, data = dat)
#> 
#> Residuals:
#>     Min      1Q  Median      3Q     Max 
#> -6.9652 -1.1796 -0.0576  1.2802  6.0212 
#> 
#> Coefficients:
#>             Estimate Std. Error t value Pr(>|t|)    
#> (Intercept)  0.24171    0.20074   1.204    0.229    
#> x            0.97753    0.01802  54.246   <2e-16 ***
#> ---
#> Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
#> 
#> Residual standard error: 2.057 on 498 degrees of freedom
#> Multiple R-squared:  0.8553, Adjusted R-squared:  0.855 
#> F-statistic:  2943 on 1 and 498 DF,  p-value: < 2.2e-16

cor(dat$y,dat$x)
#> [1] 0.9248032

plot(y~x,dat)
abline(0,1)

confint(lmod1)
#>                  2.5 %    97.5 %
#> (Intercept) -0.1526848 0.6361047
#> x            0.9421270 1.0129370

plot(ellipse(lmod1,c("(Intercept)","x")),type="l")
points(coef(lmod1)["(Intercept)"],coef(lmod1)["x"],pch=19)

abline(v=confint(lmod1)["(Intercept)",],lty=2)
abline(h=confint(lmod1)["x",],lty=2)

points(0,1,pch=1,size=3)
#> Warning in plot.xy(xy.coords(x, y), type = type, ...): "size" is not a
#> graphical parameter

abline(v=0,lty=10)
abline(h=0,lty=10)

^{Dibuat pada 2019-01-21 oleh paket reprex (v0.2.1)}

Anda dapat menghitung koefisien dengan sampel n bootstrap. Ini kemungkinan akan menghasilkan nilai koefisien terdistribusi normal (teorema batas pusat). Dengan itu Anda kemudian dapat membangun interval kepercayaan (misalnya 95%) dengan nilai-t (n-1 derajat kebebasan) di sekitar rata-rata. Jika CI Anda tidak termasuk 1 (0), itu berbeda secara statistik, atau lebih tepat: Anda dapat menolak hipotesis nol dari kemiringan yang sama.

$\beta_0=0$$\beta_1=1$

Anda harus cocok dengan regresi linier dan periksa interval kepercayaan 95% untuk dua parameter. Jika CI lereng termasuk 1 dan CI offset termasuk 0 uji dua sisi tidak signifikan. pada tingkat (95%) ^ 2 - saat kami menggunakan dua tes terpisah, risiko typ-I meningkat.

Menggunakan R:

fit = lm(Y ~ X)
confint(fit)

atau Anda gunakan

summary(fit)

dan hitung interval 2 sigma sendiri.