Contoh koefisien korelasi kuat dengan nilai p tinggi

Saya bertanya-tanya, mungkinkah memiliki koefisien korelasi yang sangat kuat (katakanlah 0,9 atau lebih tinggi), dengan nilai p tinggi (katakanlah, 25 atau lebih tinggi)?

Berikut ini contoh koefisien korelasi yang rendah, dengan nilai p tinggi:

set.seed(10)
y <- rnorm(100)
x <- rnorm(100)+.1*y
cor.test(x,y)

cor = 0,03908927, p = 0,6994

Koefisien korelasi tinggi, nilai p rendah:

y <- rnorm(100)
x <- rnorm(100)+2*y
cor.test(x,y)

cor = 0.8807809, p = 2.2e-16

Koefisien korelasi rendah, nilai p rendah:

y <- rnorm(100000)
x <- rnorm(100000)+.1*y
cor.test(x,y)

cor = 0,1035018, p = 2.2e-16

Koefisien korelasi tinggi, nilai p tinggi: ???

Garis bawah

Koefisien korelasi sampel diperlukan untuk menolak hipotesis bahwa koefisien korelasi benar (Pearson) adalah nol menjadi kecil cukup cepat seiring dengan meningkatnya ukuran sampel. Jadi, secara umum, tidak ada, Anda tidak dapat secara bersamaan memiliki besar (besarnya) koefisien korelasi dan secara bersamaan besar -nilai$p$ .

Baris Atas (Detail)

Tes yang digunakan untuk koefisien korelasi Pearson dalam fungsi adalah versi yang sangat sedikit dimodifikasi dari metode yang saya bahas di bawah ini.$R$cor.test

Misalkan adalah iid bivariat vektor acak normal dengan korelasi . Kami ingin menguji hipotesis nol bahwa versus . Biarkan menjadi koefisien korelasi sampel. Menggunakan teori regresi linier standar, tidak sulit untuk menunjukkan bahwa statistik uji, memiliki t n - 2 distribusi di bawah hipotesis nol. Untuk yang besarρ ρ = 0 ρ ≠ 0 r T = r $(X_1,Y_1), (X_2,Y_2),\ldots,(X_n,Y_n)$$\rho$$\rho = 0$$\rho \neq 0$$r$ tn-2T2T2∼F1,n-2χ2

$$T = \frac{r \sqrt{n-2}}{\sqrt{(1-r^2)}}$$ $t_{n-2}$,mendekati standar normal. Maka$n$$t_{n-2}$$T^2$kira-kira chi-squared didistribusikan dengan satu derajat kebebasan. (Berdasarkan asumsi yang kami buat, dalam kenyataannya, tetapi perkiraan membuat lebih jelas apa yang sedang terjadi, saya pikir.)$T^2 \sim F_{1,n-2}$$\chi^2_1$

Jadi,

$$\mathbb P\left(\frac{r^2}{1-r^2} (n-2) \geq q_{1-\alpha} \right) \approx \alpha \>,$$ mana adalah kuantil dari distribusi chi-squared dengan satu derajat kebebasan.$q_{1-\alpha}$$(1-\alpha)$

Sekarang, perhatikan bahwa meningkat karena meningkat. Menyusun ulang kuantitas dalam pernyataan probabilitas, kami memiliki itu untuk semua kita akan mendapatkan penolakan terhadap hipotesis nol pada level . Jelas sisi kanan berkurang dengan .$r^2/(1-r^2)$$r^2$

$$|r| \geq \frac{1}{\sqrt{1+(n-2)/q_{1-\alpha}}}$$ $\alpha$$n$

Sebuah jalan cerita

Berikut adalah plot wilayah penolakansebagai fungsi dari ukuran sampel. Jadi, misalnya, ketika ukuran sampel melebihi 100, korelasi (absolut) hanya perlu sekitar 0,2 untuk menolak nol pada tingkat .$|r|$$\alpha = 0.05$

Simulasi

Kita dapat melakukan simulasi sederhana untuk menghasilkan sepasang vektor mean-nol dengan tepat koefisien korelasi yang . Di bawah ini adalah kode. Dari sini kita bisa melihat output dari cor.test.

k <- 100
n <- 4*k

# Correlation that gives an approximate p-value of 0.05
# Change 0.05 to some other desired p-value to get a different curve
pval <- 0.05
qval <- qchisq(pval,1,lower.tail=F)
rho  <- 1/sqrt(1+(n-2)/qval)

# Zero-mean orthogonal basis vectors
b1 <- rep(c(1,-1),n/2)
b2 <- rep(c(1,1,-1,-1),n/4)

# Construct x and y vectors with mean zero and an empirical
# correlation of *exactly* rho
x <- b1
y <- rho * b1 + sqrt(1-rho^2) * b2

# Do test
ctst <- cor.test(x,y)

Seperti yang diminta dalam komentar, berikut adalah kode untuk mereproduksi plot, yang dapat dijalankan segera setelah kode di atas (dan menggunakan beberapa variabel yang didefinisikan di sana).

png("cortest.png", height=600, width=600)
m  <- 3:1000
yy <- 1/sqrt(1+(m-2)/qval)
plot(m, yy, type="l", lwd=3, ylim=c(0,1),
     xlab="sample size", ylab="correlation")
polygon( c(m[1],m,rev(m)[1]), c(1,yy,1), col="lightblue2", border=NA)
lines(m,yy,lwd=2)
text(500, 0.5, "p < 0.05", cex=1.5 )
dev.off()

cor.test(c(1,2,3),c(1,2,2))

cor = 0,866, p = 0,333

Estimasi tinggi koefisien korelasi dengan nilai p tinggi hanya bisa terjadi dengan ukuran sampel yang sangat kecil. Saya baru saja akan memberikan ilustrasi, tetapi Aaron baru saja melakukannya!

$1 / \sqrt{n-3}$$\hat{\rho} > 0$$p$

$$p = 2 - 2 \Phi\left(\operatorname{atanh}(\hat{\rho})\sqrt{n-3}\right),$$ $\Phi$$H_0: \rho = 0$

$n$$\hat{\rho}$$p$

 #get n for sample correlation and p-value, 2-sided test of 0 correlation
 n.size <- function(rho.hat,p.val) {
   n <- 3 + ((qnorm(1 - 0.5 * p.val)) / atanh(rho.hat))^2
 }

$\hat{\rho} = 0.5$$p = 0.2$

print(n.size(0.5,0.2))

[1] 8.443062

$n, p$$\hat{\rho}$

Iya nih. Nilai p tergantung pada ukuran sampel, sehingga sampel kecil dapat memberikan ini.

Katakan ukuran efek sebenarnya sangat kecil, dan Anda menggambar sampel kecil. Untungnya, Anda mendapatkan beberapa poin data dengan korelasi yang sangat tinggi. Nilai p akan tinggi, sebagaimana mestinya. Korelasi tinggi tetapi bukan hasil yang sangat bisa diandalkan.

Korelasi sampel dari R's cor () akan memberi Anda perkiraan korelasi terbaik (diberikan sampel). Nilai-p TIDAK mengukur kekuatan korelasi. Ini mengukur seberapa besar kemungkinan hal itu muncul seandainya sebenarnya tidak ada efek, mengingat ukuran sampel.

Cara lain untuk melihat ini: Jika Anda memiliki ukuran efek yang sama, tetapi mendapatkan lebih banyak sampel, nilai p selalu menjadi nol.

(Jika Anda ingin lebih dekat mengintegrasikan gagasan tentang perkiraan ukuran efek dan kepercayaan tentang perkiraan, mungkin lebih baik menggunakan interval kepercayaan; atau, gunakan teknik Bayesian.)