Apakah mungkin untuk memiliki sepasang variabel acak Gaussian yang distribusi bersamanya bukan Gaussian?

Seseorang bertanya kepada saya pertanyaan ini dalam wawancara kerja dan saya menjawab bahwa distribusi bersama mereka selalu Gaussian. Saya pikir saya selalu bisa menulis Gaussian bivariat dengan sarana dan varians serta kovarian mereka. Saya bertanya-tanya apakah mungkin ada kasus di mana probabilitas gabungan dari dua Gaussians bukan Gaussian?

Distribusi normal bivariat adalah pengecualian , bukan aturannya!

Penting untuk mengetahui bahwa "hampir semua" distribusi bersama dengan marginal normal bukan distribusi normal bivariat. Artinya, sudut pandang umum bahwa distribusi bersama dengan marginal normal yang bukan normal bivariat entah bagaimana "patologis", agak salah arah.

Tentu saja, multivarian normal sangat penting karena kestabilannya di bawah transformasi linear, dan karenanya menerima banyak perhatian dalam aplikasi.

Contohnya

Berguna untuk memulai dengan beberapa contoh. Gambar di bawah ini berisi peta panas enam distribusi bivariat, yang semuanya memiliki margin normal standar. Yang kiri dan tengah di baris atas adalah normals bivariat, sisanya tidak (seperti yang seharusnya terlihat). Mereka dijelaskan lebih lanjut di bawah ini.

Tulang telanjang copulas

Sifat ketergantungan sering dianalisis secara efisien menggunakan kopula . Sebuah kerja penghubung bivariat adalah hanya sebuah nama indah untuk distribusi probabilitas pada unit persegi dengan seragam marginal.$[0,1]^2$

Misalkan adalah kopula bivariat. Kemudian, segera dari yang di atas, kita tahu bahwa , dan , misalnya.C ( u , v ) ≥ 0 C ( u , 1 ) = u C ( 1 , v ) = $C(u,v)$$C(u,v) \geq 0$$C(u,1) = u$$C(1,v) = v$

Kita dapat membuat variabel acak bivariat pada bidang Euclidean dengan margin yang ditentukan sebelumnya dengan transformasi sederhana dari kopula bivariat. Biarkan dan menjadi distribusi marginal yang ditentukan untuk sepasang variabel acak . Kemudian, jika adalah kopula bivariat, adalah fungsi distribusi bivariat dengan marginal dan . Untuk melihat fakta terakhir ini, perlu diketahui bahwa Argumen yang sama berfungsi untuk .F 2 ( X , Y ) C ( u , v ) F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) ) F 1 F $F_1$$F_2$$(X,Y)$$C(u,v)$

$$F(x,y) = C(F_1(x), F_2(y))$$ $F_1$$F_2$ $$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$$ $F_2$

Untuk terus menerus dan , teorema Sklar ini menegaskan sebuah converse menyiratkan keunikan. Yaitu, mengingat distribusi bivariat dengan marginal kontinu , , kopula yang sesuai adalah unik (pada ruang rentang yang sesuai).$F_1$$F_2$$F(x,y)$$F_1$$F_2$

Normal bivariat luar biasa

Teorema Sklar memberi tahu kita (pada dasarnya) bahwa hanya ada satu kopula yang menghasilkan distribusi normal bivariat. Ini, tepatnya dinamai, Gaussian copula yang memiliki kepadatan pada mana pembilangnya adalah distribusi normal bivariat dengan korelasi dievaluasi pada dan .$[0,1]^2$

$$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$$ $\rho$$\Phi^{-1}(u)$$\Phi^{-1}(v)$

Tetapi, ada banyak kopula lain dan semuanya akan memberikan distribusi bivariat dengan marginal normal yang bukan normal bivariat dengan menggunakan transformasi yang dijelaskan pada bagian sebelumnya.

Beberapa detail pada contoh

Perhatikan bahwa jika adalah copula acak dengan kepadatan , kepadatan bivariat yang sesuai dengan standar marginal normal di bawah transformasi adalah $C(u,v)$$c(u,v)$$F(x,y) = C(\Phi(x),\Phi(y))$

$$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$$

Perhatikan bahwa dengan menerapkan Gaussian copula dalam persamaan di atas, kami memulihkan kepadatan normal bivariat. Tetapi, untuk pilihan , kami tidak akan melakukannya.$c(u,v)$

Contoh-contoh dalam gambar dibangun sebagai berikut (melintasi setiap baris, satu kolom pada satu waktu):

1. Bivariat normal dengan komponen independen.
2. Bivariat normal dengan .$\rho = -0.4$
3. The contoh yang diberikan dalam jawaban ini dari Dilip Sarwate . Dapat dengan mudah dilihat diinduksi oleh copula dengan densitas .$C(u,v)$$c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
4. Dihasilkan dari Frank copula dengan parameter .$\theta = 2$
5. Dihasilkan dari copula Clayton dengan parameter .$\theta = 1$
6. Dihasilkan dari modifikasi asimetris dari Clayton copula dengan parameter .$\theta = 3$

Memang benar bahwa setiap elemen dari vektor normal multivariat itu sendiri terdistribusi secara normal, dan Anda dapat menyimpulkan cara dan variansnya. Namun, tidak benar bahwa dua variabel acak Guassian didistribusikan bersama secara normal. Berikut ini sebuah contoh:

Sunting: Menanggapi konsensus bahwa variabel acak yang merupakan titik massa dapat dianggap sebagai variabel terdistribusi normal dengan , saya mengubah contoh saya.$\sigma^2=0$

---

Mari dan membiarkan di mana adalah variabel acak. Yaitu, masing-masing dengan probabilitas .$X \sim N(0,1)$$Y = X \cdot (2B-1)$$B$${\rm Bernoulli}(1/2)$$Y = \pm X$$1/2$

Kami pertama kali menunjukkan bahwa memiliki distribusi normal standar. $Y$Dengan hukum probabilitas total ,

$$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$$

Lanjut,

$$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$$

di mana adalah CDF normal standar . Demikian pula,$\Phi$

$$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$$

Karena itu,

$$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$$

jadi, CDF dari adalah , dengan demikian .$Y$$\Phi(\cdot)$$Y \sim N(0,1)$

Sekarang kami menunjukkan bahwa tidak terdistribusi secara normal. $X,Y$Sebagaimana ditunjukkan oleh @ cardinal, satu karakterisasi dari multivariate normal adalah bahwa setiap kombinasi linear dari elemen-elemennya terdistribusi secara normal. tidak memiliki properti ini, sejak$X,Y$

$$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$$

Oleh karena itu adalah campuran dari variabel acak dan massa titik pada 0, sehingga tidak dapat didistribusikan secara normal.$Y+X$$50/50$$N(0,4)$

Posting berikut berisi garis besar bukti, hanya untuk memberikan ide-ide utama dan membantu Anda memulai.

Misalkan menjadi dua variabel acak Gaussian independen dan misalkan menjadi $z = (Z_1, Z_2)$$x = (X_1, X_2)$

$$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$$

Setiap , tetapi karena keduanya merupakan kombinasi linear dari r.vs independen yang sama, keduanya saling bergantung.$X_i \sim N(\mu_i, \sigma_i^2)$

Definisi Sepasang r.vs dikatakan bivariat yang terdistribusi normal jika dapat ditulis sebagai kombinasi linier dari r.vs normal yang independen .$x = (X_1, X_2)$$x = Az$$z = (Z_1, Z_2)$

Lemma Jika adalah Gaussian bivariat, maka kombinasi linear lainnya adalah variabel acak normal.$x = (X_1, X_2)$

Bukti . Sepele, dilewati untuk tidak menyinggung siapapun.

Properti Jika tidak berkorelasi, maka mereka independen dan sebaliknya.$X_1, X_2$

Distribusi$X_1 | X_2$

Asumsikan adalah Gaussian r.vs yang sama seperti sebelumnya, tetapi anggaplah mereka memiliki varian positif dan rata-rata nol untuk kesederhanaan.$X_1, X_2$

Jika adalah subruang yang direntang oleh , misalkan dan .$\mathbf S$$X_2$$X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$$X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ dan adalah kombinasi linear dari , jadi juga. Mereka bersama-sama Gaussian, tidak berkorelasi (membuktikannya) dan independen.$X_2$$z$$X_2, X_1^{\mathbf S^\perp}$

Dekomposisi berlaku dengan

$$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$$ $\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

$$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$$

Lalu

$$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$$

Dua variabel acak Gaussian univariat adalah Gaussian bersama jika kondisi dan juga Gaussian.$X, Y$$X | Y$$Y|X$