Apakah -squared memiliki -value?

18

Saya sepertinya telah membingungkan diri saya sendiri mencoba memahami jika nilai -quared juga memiliki -value. $r$ $p$

Seperti yang saya pahami, dalam korelasi linier dengan sekumpulan titik data dapat memiliki nilai mulai dari hingga dan nilai ini, apa pun itu, dapat memiliki nilai yang menunjukkan jika berbeda secara signifikan dari (yaitu , jika ada korelasi linier antara kedua variabel). $r$ $-1$ $1$ $p$ $r$ $0$

Pindah ke regresi linier, suatu fungsi dapat dipasang ke data, dijelaskan oleh persamaan . dan (intersep dan slope) juga memiliki nilai- untuk menunjukkan apakah mereka berbeda secara signifikan dari . $Y = a + bX$ $a$ $b$ $p$ $0$

Dengan asumsi saya sejauh ini telah memahami segalanya dengan benar, apakah nilai untuk dan nilai untuk adalah hal yang sama? Maka apakah benar mengatakan bahwa itu bukan kuadrat yang memiliki nilai- melainkan atau yang memiliki? $p$ $r$ $p$ $b$ $r$ $p$ $r$ $b$

statistical-significance p-value r-squared pengguna1357
sumber

14

Selain banyak (yang benar) komentar oleh pengguna lain menunjukkan bahwa $p$ -nilai untuk $r^2$ identik dengan $p$ -nilai untuk global $F$ tes, catatan bahwa Anda juga bisa mendapatkan $p$ -nilai terkait dengan $r^2$ " langsung "menggunakan fakta bahwa $r^2$ bawah hipotesis nol didistribusikan sebagai , di manadanadalah derajat pembilang dan penyebut kebebasan, masing-masing, untuk-statisticterkait. $\textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$ $v_n$ $v_d$ $F$

Poin ke-3 dalam turunan dari subbagian distribusi lain dari entri Wikipedia tentang distribusi beta memberi tahu kita bahwa:

Jika dan independen, maka $X \sim \chi^2(\alpha)$ $Y \sim \chi^2(\beta)$ . $\frac{X}{X+Y} \sim \textrm{Beta}(\frac{\alpha}{2}, \frac{\beta}{2})$

Kita bisa menulis di $r^2$ Formulir $\frac{X}{X+Y}$

Biarkan adalah jumlah total kotak untuk variabel , adalah jumlah dari kesalahan kuadrat untuk regresi pada beberapa variabel lain, dan menjadi "jumlah kuadrat berkurang," yaitu, . Kemudian $SS_Y$ $Y$ $SS_E$ $Y$ $SS_R$ $SS_R=SS_Y-SS_E$ Dan tentu saja, sebagai jumlah kuadrat,dankeduanya didistribusikan sebagaidengandanderajat kebebasan, masing-masing. Oleh karena itu,

r^{2} = 1 - \frac{S S_{E}}{S S_{Y}} = \frac{S S_{Y} - S S_{E}}{S S_{Y}} = \frac{S S_{R}}{S S_{R} + S S_{E}}

$r^2=1-\frac{SS_E}{SS_Y}=\frac{SS_Y-SS_E}{SS_Y}=\frac{SS_R}{SS_R+SS_E}$

S S_{R}

$SS_R$

S S_{E}

$SS_E$

χ^{2}

$\chi^2$

v_{n}

$v_n$

v_{d}

$v_d$

(Tentu saja, saya tidak menunjukkan bahwa kedua chi-square itu independen. Mungkin seorang komentator dapat mengatakan sesuatu tentang itu.)

r^{2} \sim Beta (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$r^2 \sim \textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$

Demonstrasi dalam R (meminjam kode dari @ung):

set.seed(111)
x = runif(20)
y = 5 + rnorm(20)
cor.test(x,y)

# Pearson's product-moment correlation
# 
# data:  x and y
# t = 1.151, df = 18, p-value = 0.2648
# alternative hypothesis: true correlation is not equal to 0
# 95 percent confidence interval:
#  -0.2043606  0.6312210
# sample estimates:
#       cor 
# 0.2618393 

summary(lm(y~x))

# Call:
#   lm(formula = y ~ x)
# 
# Residuals:
#     Min      1Q  Median      3Q     Max 
# -1.6399 -0.6246  0.1968  0.5168  2.0355 
# 
# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)    
# (Intercept)   4.6077     0.4534  10.163 6.96e-09 ***
# x             1.1121     0.9662   1.151    0.265    
# ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 1.061 on 18 degrees of freedom
# Multiple R-squared:  0.06856,  Adjusted R-squared:  0.01681 
# F-statistic: 1.325 on 1 and 18 DF,  p-value: 0.2648

1 - pbeta(0.06856, 1/2, 18/2)

# [1] 0.2647731

Jake Westfall
sumber

6

Saya harap jawaban keempat ini (!) Mengklarifikasi lebih lanjut.

Dalam regresi linier sederhana, ada tiga tes setara:

uji-t untuk kemiringan populasi nol $X$
uji-t untuk korelasi nol populasi antara dan respon $X$ $Y$
Uji F untuk populasi nol R-kuadrat, yaitu tidak ada variabilitas dapat dijelaskan dengan berbeda . $Y$ $X$

Ketiga tes memeriksa hubungan linier antara dan dan, untungnya (!), Semuanya mengarah pada hasil yang sama. Statistik pengujian mereka setara. (Tes 1 & 2 didasarkan pada distribusi Student dengan df yang sesuai dengan distribusi sampel F tes 3, hanya dengan statistik uji kuadrat). $X$ $Y$ $n-2$

Contoh cepat dalam R:

# Input
set.seed(3)

n <- 100
X <- runif(n)
Y <- rnorm(n) + X

cor.test(~ X + Y) # For test 2 (correlation)

# Output (part)
# t = 3.1472, df = 98, p-value = 0.002184
# alternative hypothesis: true correlation is not equal to 0

# Input (for the other two tests)
fit <- lm(Y ~ X)
summary(fit)      

# Output (partial)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -0.03173    0.18214  -0.174  0.86204   
X            1.02051    0.32426   3.147  0.00218 **
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.9239 on 98 degrees of freedom
Multiple R-squared:  0.09179,   Adjusted R-squared:  0.08253 
F-statistic: 9.905 on 1 and 98 DF,  p-value: 0.002184

Seperti yang Anda lihat, ketiga tes menghasilkan nilai p yang sama 0,00218. Perhatikan bahwa tes 3 adalah yang ada di baris terakhir dari output.

Jadi uji F Anda untuk kuadrat-R adalah yang sangat sering, meskipun tidak banyak ahli statistik menafsirkannya sebagai tes untuk kuadrat-R.

Michael M.
sumber

5

Anda tampaknya memiliki pemahaman yang layak kepada saya. Kita bisa mendapatkan nilai- untuk , tetapi karena ini adalah fungsi (non-stokastik) dari , s akan identik. $p$ $r^2$ $r$ $p$

gung - Reinstate Monica
sumber

Saya kira tidak. Menghubungkan inferensi tentang

dan

ke inferensi tentang

dan

dari OLS,

signifikan jika

adalah nol, terlepas dari

. Namun,

adalah signifikan jika

atau

tidak nol. Ini membantu memvisualisasikan penilaian masing-masing tes.

ρ

$\rho$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

ρ

$\rho$

β

$\beta$

α

$\alpha$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

AdamO

1

@ AdamO, saya tidak bisa mengikuti argumen dalam komentar Anda. Mirip dengan Michael Mayer posting di bawah, di R coba: set.seed(111); x = runif(20); y = 5 + rnorm(20); cor.test(x,y); summary(lm(y~x)). P untuk r adalah .265. P untuk b & untuk uji F global identik, meskipun p untuk a adalah 6.96e-09.

gung - Reinstate Monica

Poin saya tepat.

berbeda dari

dan

-value mereka TIDAK identik.

mungkin merupakan fungsi

, tetapi itu bahkan bukan fungsi monoton.

dapat menjadi signifikan ketika

tidak. Apa yang diukur

? Ini adalah kesalahan standar residual setelah menggambar trendline OLS dan menghitung residu. Dalam contoh Anda, apakah varian sisa kurang dari varian

tanpa syarat ? Benar.

r

$r$

r^{2}

$r^2$

p

$p$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

Y

$Y$

r^{2}

$r^2$ itu penting. Anda dapat menghitung karakteristik operasi dengan bootstrap dan koneksi antara ANOVA dan kuadrat terkecil biasa juga menjelaskan masalah ini.

AdamO

4

Anda juga bisa mendapatkan nilai-

terkait dengan

"langsung" menggunakan fakta bahwa

bawah hipotesis nol didistribusikan sebagai

p

$p$

r^{2}

$r^2$

r^{2}

$r^2$

, di mana

dan

adalah derajat pembilang dan penyebut kebebasan, masing-masing, untuk

-statisticterkait. (Lihat identitas ke-3 di sini:en.wikipedia.org/wiki/….) Jadi, dengan menggunakan contoh data @ gung, jika dalamkita memasukkankita dapatkan.

B e t a (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$Beta(\frac{v_n}{2},\frac{v_d}{2})$

v_{n}

$v_n$

v_{d}

$v_d$

F

$F$ R1 - pbeta(0.06856, 1/2, 18/2)0.2647731

Jake Westfall

4

@ AdamO, saya masih tidak mengerti. Mereka berdua .265, bagaimana mereka tidak identik?

gung - Reinstate Monica

4

Ada beberapa cara untuk memperoleh statistik uji untuk tes korelasi Pearson, . Untuk mendapatkan nilai- , perlu ditekankan bahwa Anda memerlukan tes dan distribusi sampel statistik uji di bawah hipotesis nol. Judul dan pertanyaan Anda tampaknya memiliki beberapa kebingungan antara korelasi Pearson dan "perbedaan dijelaskan" . Saya akan mempertimbangkan koefisien korelasi terlebih dahulu. $\rho$ $p$ $r^2$

Tidak ada cara "terbaik" untuk menguji korelasi Pearson yang saya sadari. Transformasi Fisher's Z adalah salah satu cara, berdasarkan transformasi hiperbolik, sehingga kesimpulannya sedikit lebih efisien. Ini tentu saja merupakan pendekatan "baik", tetapi yang menyedihkan adalah bahwa inferensi untuk parameter ini konsisten dengan inferensi tentang parameter slope untuk asosiasi: mereka menceritakan kisah yang sama dalam jangka panjang. $\beta$

Alasan mengapa ahli statistik memiliki (secara klasik) tes yang sepenuhnya lebih disukai dari adalah karena kami memang memiliki tes "terbaik": regresi linier, yang merupakan estimator BLUE. Di masa statistik modern, kita tidak benar-benar peduli jika tes itu "terbaik" lagi, tetapi regresi linier memiliki banyak sifat fantastis lainnya yang membenarkan penggunaannya yang berkelanjutan untuk menentukan hubungan antara dua variabel. Secara umum, intuisi Anda benar: intinya hal yang sama, dan kami memfokuskan perhatian kami pada sebagai ukuran asosiasi yang lebih praktis. $\beta$ $\beta$

The adalah fungsi dari kedua lereng dan mencegat. Jika salah satu dari nilai-nilai ini bukan nol, harus memiliki distribusi sampel yang dapat dilihat relatif terhadap apa yang diharapkan jika parameter linier adalah nol. Namun, menurunkan distribusi bawah nol dan membandingkan dengan $r^2$ $r^2$ $r^2$ $r^2$ di bawah beberapa hipotesis alternatif tidak memberi saya kepercayaan diri bahwa tes ini memiliki banyak kekuatan untuk mendeteksi apa yang kita inginkan. Hanya firasat. Sekali lagi beralih ke penaksir "terbaik", OLS memberi kami perkiraan "terbaik" untuk kemiringan dan penyadapan, jadi kami memiliki keyakinan bahwa pengujian kami setidaknya baik untuk menentukan hubungan yang sama (jika ada) dengan langsung menguji parameter model . Bagi saya, bersama-sama menguji dan dengan OLS lebih unggul daripada tes apa pun tentang kecuali dalam kasus yang jarang terjadi (mungkin) aplikasi kalibrasi pemodelan prediksi non-bersarang ... tapi BIC mungkin akan menjadi ukuran yang lebih baik dalam skenario itu bagaimanapun. $\alpha$ $\beta$ $r^2$

AdamO
sumber

1

"The

adalah fungsi dari kedua lereng dan mencegat." Mungkin saya melewatkan sesuatu tetapi ... bukankah itu hanya fungsi lereng? Mungkin Anda bisa memberikan demonstrasi nyata?

r^{2}

$r^2$

Jake Westfall

Tentu. Ingatlah bahwa jika data yang diamati sangat sesuai dengan garis tren, maka

tepat. Pertimbangkan data "respons datar" tanpa variabilitas tetapi intersep yang tidak nol, sehingga semua tupel berbentuk

untuk semua

.

seperti yang disinggung. Koefisien determinasi berfungsi sebagai ringkasan yang masuk akal dari kemampuan prediksi untuk persamaan linier, dan untuk mendapatkan prediksi tersebut membutuhkan kemiringan dan intersep.

r^{2} = 1

$r^2 = 1$

(x_{i}, β_{0})

$(x_i, \beta_0)$

i \in {1, 2, \dots n}

$i \in \{ 1, 2, \ldots n \}$

r^{2} = 1

$r^2 = 1$

AdamO

1

Ini bukan cara saya menafsirkan banyak hal. Saya tidak berpikir saya akan pernah menghitung nilai untuk atau . dan adalah ukuran kualitatif dari suatu model, bukan ukuran yang kami bandingkan dengan distribusi, sehingga nilai tidak masuk akal. $p$ $r$ $r^2$ $r$ $r^2$ $p$

$p$ $b$ $b$ $0$ $r$ $r^2$ $r^2$

$p$ $a$ $0$ $0$ $0$

$p$ $r^2$

Duncan
sumber

4

F

$F$

R^{2}

$R^2$

F

$F$

R^{2}

$R^2$

n

$n$

F = (n - 2) R^{2} / (1 - R^{2})

$F = (n-2)R^2/(1-R^2)$

b

$b$

R^{2}

$R^2$

Dalam praktiknya sepertinya orang tidak berpikir dalam arti pentingnya r atau r ^ 2. Yang mungkin lebih bermanfaat adalah interval kepercayaan di sekitar mereka.

N Brouwer

Apakah -squared memiliki -value?

Jawaban: