Mengapa jalan acak saling terkait?

Saya telah mengamati bahwa, rata-rata, nilai absolut dari koefisien korelasi Pearson adalah hampir konstan untuk setiap pasangan jalan acak independen, terlepas dari panjang jalan.0.560.42

Adakah yang bisa menjelaskan fenomena ini?

Saya berharap korelasinya menjadi lebih kecil dengan meningkatnya panjang berjalan, seperti dengan urutan acak.

Untuk percobaan saya, saya menggunakan jalan gaussian acak dengan langkah rata-rata 0 dan langkah standar deviasi 1.

MEMPERBARUI:

Saya lupa untuk memusatkan data, itu sebabnya itu 0.56bukan 0.42.

Berikut ini skrip Python untuk menghitung korelasinya:

import numpy as np
from itertools import combinations, accumulate
import random

def compute(length, count, seed, center=True):
    random.seed(seed)
    basis = []
    for _i in range(count):
        walk = np.array(list(accumulate( random.gauss(0, 1) for _j in range(length) )))
        if center:
            walk -= np.mean(walk)
        basis.append(walk / np.sqrt(np.dot(walk, walk)))
    return np.mean([ abs(np.dot(x, y)) for x, y in combinations(basis, 2) ])

print(compute(10000, 1000, 123))

Proses independen Anda tidak berkorelasi! Jika dan adalah jalan acak independen:Y $X_t$$Y_t$

• Koefisien korelasi tanpa syarat waktu tidak ada. (Jangan bicara tentang .)$\operatorname{Corr}(X, Y)$
• Untuk setiap saat , memang 0.Corr ( X t , Y t$t$$\operatorname{Corr}(X_t, Y_t)$
• Tetapi statistik sampel berdasarkan rata - rata deret waktu tidak akan menyatu dengan apa pun! Koefisien korelasi sampel yang Anda hitung berdasarkan rata-rata beberapa pengamatan dari waktu ke waktu tidak ada artinya.

Secara intuitif, Anda mungkin menebak (secara tidak benar) bahwa:

1. Independensi antara dua proses dan menyiratkan mereka memiliki nol korelasi. (Untuk dua jalan acak, tidak ada.){ Y t } Corr ( X , Y $\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X, Y)$
2. Rangkaian waktu, korelasi sampel (yaitu koefisien korelasi yang dihitung menggunakan deret waktu, statistik sampel seperti ) akan bertemu pada koefisien korelasi populasi sebagai . ^ μ X =$\hat{\rho}_{XY}$ρXYT→$\hat{\mu_X} = \frac{1}{T} \sum_{\tau = 1}^T X_\tau$$\rho_{XY}$$T \rightarrow \infty$

Masalahnya adalah bahwa kedua pernyataan ini tidak berlaku untuk jalan-jalan acak! (Mereka benar untuk proses berperilaku lebih baik.)

Untuk proses non-stasioner:

• Anda dapat berbicara tentang korelasi antara proses dan pada dua titik waktu tertentu (mis. adalah pernyataan yang masuk akal.){ Y t } Kor ( X 2 , Y 3$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X_2, Y_3)$
• Tetapi tidak masuk akal untuk berbicara tentang korelasi antara kedua seri tanpa syarat tepat waktu! tidak memiliki arti yang jelas.$\operatorname{Corr}(X, Y)$

Masalah dalam kasus jalan acak?

1. Untuk perjalanan acak, momen populasi tanpa syarat (yaitu yang tidak bergantung pada waktu ), seperti , tidak ada. (Dalam beberapa pengertian longgar, mereka tidak terbatas.) Demikian pula, koefisien korelasi tanpa syarat antara dua jalan acak independen bukanlah nol; sebenarnya tidak ada!E [ X ] ρ X $t$$\operatorname{E}[X]$$\rho_{XY}$
2. Asumsi-asumsi teorema ergodic tidak berlaku dan berbagai rata-rata deret waktu (mis. ) tidak konvergen ke arah apa pun seperti . T→$\frac{1}{T} \sum_\tau X_\tau$$T \rightarrow \infty$
   • Untuk urutan stasioner, rata-rata deret waktu akhirnya akan bertemu pada rata-rata yang tanpa syarat tepat waktu. Tetapi untuk urutan non-stasioner, tidak ada berarti bahwa tanpa syarat tepat waktu!

Jika Anda memiliki berbagai pengamatan dari dua jalan acak independen dari waktu ke waktu (mis. , , dll ... dan , , ....) dan Anda menghitung koefisien korelasi sampel, Anda akan mendapatkan angka antara dan . Tapi itu tidak akan menjadi perkiraan koefisien korelasi populasi (yang tidak ada).X 2 Y 1 Y 2 - 1 $X_1$$X_2$$Y_1$$Y_2$$-1$$1$

Sebagai gantinya, (dihitung menggunakan rata-rata deret waktu dari hingga ) pada dasarnya akan menjadi variabel acak (mengambil nilai dalam ) yang mencerminkan dua jalur tertentu yang diambil secara acak oleh jalur acak (yaitu jalur yang ditentukan oleh undian diambil dari ruang sampel .) Berbicara dengan sangat longgar (dan tidak tepat):t=1t=T[-1,1]ohm$\hat{\rho}_{XY}(T)$$t=1$$t=T$$[-1, 1]$$\omega$$\Omega$

• Jika dan keduanya berjalan ke arah yang sama, Anda akan mendeteksi hubungan positif palsu.Y $X_t$$Y_t$
• Jika dan berjalan ke arah yang berbeda, Anda akan mendeteksi hubungan negatif palsu.Y $X_t$$Y_t$
• Jika dan kebetulan berkeliaran di satu sama lain, Anda akan mendeteksi hubungan yang hampir nol.Y $X_t$$Y_t$

Anda dapat Google lebih lanjut tentang ini dengan persyaratan spurious regression random walk.

Jalan acak tidak diam dan mengambil rata-rata dari waktu ke waktu tidak akan menyatu pada apa yang akan Anda dapatkan dengan mengambil iid draw dari dalam ruang sampel . Seperti disebutkan dalam komentar di atas, Anda dapat mengambil perbedaan pertama dan untuk jalan acak, proses itu adalah diam.ω Ω Δ x t = x t - x t - 1 { Δ x t$t$$\omega$$\Omega$$\Delta x_t = x_t - x_{t-1}$$\{\Delta x_t\}$

Ide gambaran besar:

Pengamatan berganda dari waktu ke waktu BUKAN sama dengan banyak pengundian dari ruang sampel!

Ingat bahwa proses stokastik waktu diskrit adalah fungsi dari kedua waktu ( ) dan ruang sampel .t ∈ N$\{ X_t \}$$t \in \mathbb{N}$$\Omega$

Untuk rata-rata dari waktu untuk bertemu dengan ekspektasi terhadap ruang sampel , Anda memerlukan stasioneritas dan ergodisitas . Ini adalah masalah inti dalam banyak analisis deret waktu. Dan jalan-acak bukanlah proses yang stasioner.$t$$\Omega$

Koneksi ke jawaban WHuber:

Jika Anda dapat mengambil rata-rata di beberapa simulasi (yaitu mengambil beberapa undian dari ) alih-alih dipaksa untuk mengambil rata-rata sepanjang waktu , sejumlah masalah Anda hilang.$\Omega$$t$

Tentu saja Anda dapat mendefinisikan sebagai koefisien korelasi sampel yang dihitung pada dan dan ini juga akan menjadi proses stokastik.X1...XtY1...Y$\hat{\rho}_{XY}(t)$$X_1\ldots X_t$$Y_1 \ldots Y_t$

Anda dapat mendefinisikan beberapa variabel acak sebagai:$Z_t$

$$Z_t = |\hat{\rho}_{XY}(t)|$$

Untuk dua jalan acak yang dimulai dari dengan kenaikan , mudah untuk menemukan dengan simulasi (yaitu mengambil beberapa undian dari .)N ( 0 , 1 ) E [ Z 10000 ] $0$$\mathcal{N}(0,1)$$E[Z_{10000}]$$\Omega$

Di bawah ini, saya menjalankan simulasi 10.000 perhitungan sampel koefisien korelasi Pearson. Setiap kali saya:

• Simulasi dua 10.000 jalan acak panjang (dengan kenaikan bertahap yang didistribusikan secara normal dari ).$\mathcal{N}(0,1)$
• Menghitung koefisien korelasi sampel di antara mereka.

Di bawah ini adalah histogram yang menunjukkan distribusi empiris lebih dari 10000 koefisien korelasi yang dihitung.

Anda dapat dengan jelas mengamati bahwa variabel acak dapat berada di semua tempat dalam interval . Untuk dua jalur tetap dan , koefisien korelasi sampel tidak konvergen ke apa pun ketika panjang deret waktu meningkat.[-1,1]X$\hat{\rho}_{XY}(10000)$$[-1, 1]$$X$$Y$

Di sisi lain, untuk waktu tertentu (mis. ), koefisien korelasi sampel adalah variabel acak dengan rata-rata terbatas, dll ... Jika saya mengambil nilai absolut dan menghitung rata-rata di atas semua simulasi, saya menghitung sekitar 0,42. Saya tidak yakin mengapa Anda ingin melakukan ini atau mengapa ini sama sekali berarti ??, tetapi tentu saja Anda bisa.$t=10,000$

Kode:

for i=1:10000 
  X = randn(10000,2); 
  Y = cumsum(X); 
  z(i) = corr(Y(:,1), Y(:,2));
end;
histogram(z,20);
mean(abs(z))

Matematika yang diperlukan untuk mendapatkan hasil yang tepat adalah berantakan, tetapi kita dapat memperoleh nilai yang tepat untuk koefisien korelasi kuadrat yang diharapkan relatif tanpa rasa sakit. Ini membantu menjelaskan mengapa nilai dekat terus muncul dan mengapa menambah panjang jalan acak tidak akan mengubah banyak hal.$1/2$$n$

Ada potensi kebingungan tentang istilah standar. Korelasi absolut yang dirujuk dalam pertanyaan, bersama dengan statistik yang membuatnya - varian dan kovarian - adalah formula yang dapat diterapkan pada pasangan realisasi berjalan acak. Pertanyaannya menyangkut apa yang terjadi ketika kita melihat banyak realisasi independen. Untuk itu, kita perlu mengambil ekspektasi atas proses berjalan acak.

---

(Edit)

Sebelum kami melanjutkan, saya ingin berbagi beberapa wawasan grafis dengan Anda. Sepasang jalan acak independen adalah jalan acak dalam dua dimensi. Kita dapat memplot jalur yang melangkah dari masing-masing ke . Jika jalur ini cenderung ke bawah (dari kiri ke kanan, diplot pada sumbu XY biasa) kemudian untuk mempelajari nilai absolut korelasi , mari kita meniadakan semua nilai-nilai. Plot jalan-jalan di sumbu berukuran untuk memberikan nilai dan sama dengan standar deviasi dan menempatkan lebih cocok kuadrat-terkecil dari ke( X t , Y t ) X t + 1 , Y t + 1 Y X Y Y X 0 $(X,Y)$$(X_t,Y_t)$$X_{t+1},Y_{t+1}$$Y$$X$$Y$$Y$$X$. Kemiringan garis-garis ini akan menjadi nilai absolut dari koefisien korelasi, selalu berada di antara dan .$0$$1$

Gambar ini menunjukkan jalan tersebut, masing-masing dengan panjang (dengan perbedaan Normal standar). Lingkaran terbuka kecil menandai titik awal mereka. Lingkaran hitam menandai lokasi terakhir mereka.$15$$960$

Lereng ini cenderung cukup besar. Plot scatter acak sempurna dari banyak titik ini akan selalu memiliki kemiringan yang mendekati nol. Jika kita harus menggambarkan pola yang muncul di sini, kita dapat mengatakan bahwa sebagian besar jalan acak 2D secara bertahap berpindah dari satu lokasi ke lokasi lain. (Namun, ini belum tentu lokasi awal dan titik akhir!) Kira-kira separuh waktu, bahwa migrasi terjadi dalam arah diagonal - dan kemiringannya tinggi.

Sisa posting ini membuat sketsa analisis situasi ini.

---

Jalan acak adalah urutan jumlah parsial ( W 1 , W 2 , ... , W n ) di mana W i adalah variabel bebas nol rata-rata yang terdistribusi secara identik. Biarkan varian umum mereka menjadi .$(X_i)$$(W_1, W_2, \ldots, W_n)$$W_i$$\sigma^2$

Dalam realisasi dari jalan tersebut, "varians" akan dihitung seolah-olah ini adalah dataset:$x = (x_1, \ldots, x_n)$

$$\operatorname{V}(x) = \frac{1}{n}\sum (x_i-\bar x)^2.$$

Cara yang bagus untuk menghitung nilai ini adalah dengan mengambil setengah rata-rata dari semua perbedaan kuadrat:

$$\operatorname{V}(x) = \frac{1}{n(n-1)}\sum_{j \gt i} (x_j-x_i)^2.$$

Ketika dipandang sebagai hasil dari random walk dari langkah, harapan ini$x$$X$$n$

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} \mathbb{E}(X_j-X_i)^2.$$

Perbedaannya adalah jumlah variabel iid,

$$X_j - X_i = W_{i+1} + W_{i+2} + \cdots + W_j.$$

Perluas alun-alun dan ambil harapan. Karena independen dan memiliki nol berarti, harapan semua istilah lintas adalah nol. Yang tersisa hanya istilah seperti , yang ekspektasinya adalah . Demikian$W_k$$W_k$$\sigma^2$

$$\mathbb{E}((W_{i+1} + W_{i+2} + \cdots + W_j^2)) = (j-i)\sigma^2.$$

Dengan mudah mengikuti itu

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} (j-i)\sigma^2 = \frac{n+1}{6}\sigma^2.$$

Kovarians antara dua realisasi independen dan lagi dalam arti dataset, bukan variabel acak - dapat dihitung dengan teknik yang sama (tetapi membutuhkan kerja aljabar yang lebih banyak; jumlah quadruple terlibat). Hasilnya adalah kuadrat kovarians yang diharapkan$x$$y$

$$\mathbb{E}(\operatorname{C}(X,Y)^2) = \frac{3n^6-2n^5-3n^2+2n}{480n^2(n-1)^2}\sigma^4.$$

Akibatnya harapan dari koefisien korelasi kuadrat antara dan , diambil ke langkah, adalah$X$$Y$$n$

$$\rho^2(n) = \frac{\mathbb{E}(\operatorname{C}(X,Y)^2)}{\mathbb{E}(\operatorname{V}(X))^2} = \frac{3}{40}\frac{3n^3-2n^2+3n-2}{n^3-n}.$$

Meskipun ini tidak konstan, ia dengan cepat mendekati nilai pembatas . Akar kuadratnya, sekitar , karenanya mendekati nilai absolut yang diharapkan dari (dan meremehkannya).$9/40$$0.47$$\rho(n)$

---

Saya yakin saya telah membuat kesalahan komputasi, tetapi simulasi menunjukkan akurasi asimptotik. Dalam hasil berikut ini menunjukkan histogram untuk simulasi masing-masing, garis merah vertikal menunjukkan rata-rata sedangkan garis biru putus-putus menunjukkan nilai rumus. Jelas itu salah, tetapi asimptotik itu benar. Jelas seluruh distribusi mendekati batas dengan meningkatnya . Demikian pula dengan distribusi(yang merupakan jumlah bunga) akan mendekati batas.$\rho^2(n)$$1000$$\rho^2(n)$$n$$|\rho(n)|$

Ini adalah Rkode untuk menghasilkan gambar.

f <- function(n){
  m <- (2 - 3* n + 2* n^2 -3 * n^3)/(n - n^3) * 3/40 
}
n.sim <- 1e4
par(mfrow=c(1,4))
for (n in c(3, 10, 30, 100)) {
  u <- matrix(rnorm(n*n.sim), nrow=n)
  v <- matrix(rnorm(n*n.sim), nrow=n)
  x <- apply(u, 2, cumsum)
  y <- apply(v, 2, cumsum)
  sim <- rep(NA_real_, n.sim)
  for (i in 1:n.sim)
    sim[i] <- cor(x[,i], y[,i])^2
  z <- signif(sqrt(n.sim)*(mean(sim) - f(n)) / sd(sim), 3)
  hist(sim,xlab="rho(n)^2", main=paste("n =", n), sub=paste("Z =", z))
  abline(v=mean(sim), lwd=2, col="Red")
  abline(v=f(n), col="Blue", lwd=2, lty=3)
}