Memahami bahwa secara intuitif

Saya baru saja melihat pertanyaan ini dan jawaban yang diterima dengan indah di forum ini. Saya kemudian dipicu untuk mencoba memahami secara intuitif mengapa pembagian menormalkan kovarians:$S_xS_y$

$$\frac{\operatorname{COV}(X,Y)}{S_xS_y} \in [-1,1]$$

Saya pikir ini akan sangat membantu jika saya hanya mengerti mengapa menormalkan menjadi . Tentu saja saya mengerti bahwa menurut definisi mereka sama. Tapi pertanyaan saya pada dasarnya adalah ini: Menggunakan terminologi dari jawaban yang diterima, mengapa jumlah total merah dalam plot persis (lebih akurat, sejauh yang saya mengerti, adalah untuk mengatakan jumlah dari segi empat yang dibagi oleh harus ). Maksud saya, jika kita mengambil sampel pengamatan, daripada kita memiliki persegi panjang, saat menggunakan definisi, kita harus menemukan rata-rata hanya nilai.$S_xS_x$$\operatorname{COV}(X,X)$$1$$S_xS_x = \operatorname{VAR}(X)$$n^2$$\operatorname{VAR}(X)$$10$$45$$10$

Posting ini menyajikan metode penalaran yang kuat yang menghindari banyak aljabar dan perhitungan. Bagi mereka yang terbiasa dengan metode ini, pekerjaannya sangat otomatis dan alami sehingga respons awal seseorang terhadap pertanyaan seperti ini adalah "sudah jelas!" Tapi mungkin itu tidak begitu jelas sampai Anda telah melihat metodenya. Karena itu, semua detail dijelaskan, langkah demi langkah.

Latar Belakang

Ada beberapa rumus untuk varian data (dengan rata-rata ), termasuk$\mathbf{x}=x_1, x_2, \ldots, x_n$$\bar x = (x_1+\cdots + x_n)/n$

$$\operatorname{Var}(\mathbf{x}) = \frac{1}{n}\sum_{i=1}^n (x_i - \bar x)^2 = \frac{1}{n}\left(\sum_{i=1}^n x_i^2\right) - \bar x^2.\tag{1}$$

Ini menentukan kovarians dari data berpasangan melalui$(x_1,y_1), \ldots, (x_n, y_n)$

$$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{4}\left(\operatorname{Var}(\mathbf{x}+\mathbf{y}) - \operatorname{Var}(\mathbf{x}-\mathbf{y})\right).$$

Rumus yang tersirat dalam posting kovarians-dengan-krayon yang dirujuk adalah

$$C(\mathbf{x}, \mathbf{y}) = \sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i) = \frac{1}{2}\sum_{i,j=1}^n (x_j - x_i)(y_j - y_i).\tag{2}$$

Posting itu menegaskan sebanding dengan kovarians. Konstanta proporsionalitas dapat (dan memang) bervariasi dengan . Jadi, ketika salah satu implikasi dari pernyataan ini adalah itu$C$$c(n)$$n$$\mathbf{x}=\mathbf{y}$

$$C(\mathbf{x}, \mathbf{x}) = c(n) \operatorname{Var}(\mathbf{x}).$$

---

Analisis

Meskipun ini dapat dibuktikan dengan aljabar kasar, ada cara yang lebih baik: mari kita manfaatkan sifat-sifat dasar kovarian. Properti seperti apa itu? Saya ingin menyarankan yang berikut ini dasar:

1. Kemandirian lokasi. Yaitu, untuk nomor apa saja . (Ekspresi merujuk pada dataset .)

   $$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}-\mathbf{a}, \mathbf{y})$$ $a$$\mathbf{x}-\mathbf{a}$$x_1-a, x_2-a, \ldots, x_n-a$

2. Multilinearitas. Ini menyiratkan untuk nomor berapapun . (Ekspresi merujuk pada dataset .)

   $$\operatorname{Cov}(\lambda\,\mathbf{x}, \mathbf{y}) = \lambda\,\operatorname{Cov}(\mathbf{x}, \mathbf{y})$$ $\lambda$$\lambda\mathbf{x}$$\lambda x_1, \lambda x_2, \ldots, \lambda x_n$

3. Simetri. Kovarians dan adalah kovarians dari dan :$\mathbf{x}$$\mathbf{y}$$\mathbf{y}$$\mathbf{x}$

   $$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) =\operatorname{Cov}(\mathbf{y}, \mathbf{x}).$$

4. Invarian di bawah permutasi. Kovarians tidak berubah ketika kami mengindeks ulang . Secara formal, untuk permutasi apa pun . (Ekspresi seperti mewakili pemesanan ulang sesuai dengan , sehingga )$(x_i, y_i)$

   $$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}^\sigma, \mathbf{y}^\sigma)$$ $\sigma\in\mathfrak{S}_n$$\mathbf{x}^\sigma$$x_i$$\sigma$$\mathbf{x}^\sigma = x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}.$

Semua properti ini jelas menahan dan untuk memeriksa bentuk ekspresi dan . Satu-satunya yang mungkin perlu penjelasan adalah independensi lokasi. Namun, pergeseran nilai konstan tidak mengubah residual maupun perbedaan:$\operatorname{Var}$$C$$(1)$$(2)$$x_i$

$$x_i - \bar{x} = (x_i - a) - \overline{x - a}$$

dan

$$x_j - x_i = (x_j - a) - (x_i - a).$$

Akibatnya, memang jelas bahwa versi pertama dan independen terhadap lokasi.$(1)$$(2)$

---

Larutan

Inilah alasannya. Karena simetris dan multilinear, itu adalah bentuk kuadrat yang sepenuhnya ditentukan oleh koefisien :$C$$c_{ij} = c_{ji}$

$$C(\mathbf{x}, \mathbf{y}) = \sum_{i, j=1}^n c_{ij}\, x_i y_j.$$

Karena ini adalah permutasi-invarian, untuk indeks apa pun yang mana dan ; juga, untuk semua indeks dan . Jadi, ditentukan oleh hanya dua angka, katakanlah dan . Akhirnya, salah satu dari angka-angka ini menentukan dua lainnya berdasarkan invarian lokasi: kondisi itu berarti$c_{ij} = c_{i^\prime j^\prime}$$i,j,i^\prime,j^\prime$$i\ne j$$i^\prime \ne j^\prime$$c_{ii} = c_{i^\prime i^\prime}$$i$$i^\prime$$C$$c_{11}$$c_{12}$

$$0 = C(\mathbf{0},\mathbf{0}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{0}) \overset{\text{symmetry}}{=} C(\mathbf{0},\mathbf{1}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{1})$$

(di mana " " dan " " merujuk ke konstanta vektor dengan nilai-nilai ini). Tapi$\mathbf{0}$$\mathbf{1}$$n$

$$0=C(\mathbf{1},\mathbf{1}) = \sum_{i,j}^n c_{ij} = nc_{11} + (n^2-n)c_{12},$$ menentukan masing-masing dari dan dalam hal yang lain.$c_{11}$$c_{12}$

Ini sudah membuktikan poin utama: harus sebanding dengan , karena masing-masing ditentukan oleh salah satu dari koefisien mereka. Untuk menemukan konstanta proporsionalitas, periksa dua rumus dan , mencari semua tampilan : Anda dapat membaca nilai terkait dari mereka. Dari versi kedua , koefisien jelas adalah . Dari versi pertama , dengan , koefisien jelas adalah$C$$\operatorname{Cov}$$(1)$$(2)$$x_1^2$$c_{11}$$(1)$$x_1^2$$1/n - (1/n)^2$$(2)$$\mathbf{y} = \mathbf{x}$$x_1^2$$n-1$. (Secara geometris, setiap titik di sebar dipasangkan dengan lainnya, di mana kuadrat koordinatnya akan muncul kali.) Oleh karena itu$(\mathbf{x},\mathbf{x})$$n-1$$n-1$

$$c(n) = \frac{n-1}{1/n - (1/n)^2} = n^2,$$

QED . Ini adalah satu-satunya perhitungan yang diperlukan untuk menunjukkan

$$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}C(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}\sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i).$$