Distribusi mana yang tidak berkorelasi menyiratkan kemerdekaan?

Pengingat waktu yang terhormat dalam statistik adalah "tidak berkorelasi tidak menyiratkan independensi". Biasanya pengingat ini dilengkapi dengan pernyataan psikologis yang menenangkan (dan secara ilmiah benar) "ketika, meskipun demikian, kedua variabel tersebut didistribusikan bersama secara normal , maka ketidakterkaitan memang menyiratkan independensi".

Saya dapat meningkatkan jumlah pengecualian bahagia dari satu menjadi dua: ketika dua variabel terdistribusi Bernoulli , sekali lagi, ketidakkorelasi menyiratkan independensi. Jika dan adalah dua Bermoulli rv's, , yang kita miliki , dan secara analog untuk , kovariansnya adalah $X$ $Y$ $X \sim B(q_x),\; Y \sim B(q_y)$ $P(X=1) = E(X) = q_x$ $Y$

Cov (X, Y) = E (X Y) - E (X) E (Y) = \sum_{S_{X Y}} p (x, y) x y - q_{x} q_{y}

$\operatorname{Cov}(X,Y)= E(XY) - E(X)E(Y) = \sum_{S_{XY}}p(x,y)xy - q_xq_y$

= P (X = 1, Y = 1) - q_{x} q_{y} = P (X = 1 ∣ Y = 1) P (Y = 1) - q_{x} q_{y}

$= P(X=1,Y=1) - q_xq_y = P(X=1\mid Y=1)P(Y=1)-q_xq_y$

= (P (X = 1 ∣ Y = 1) - q_{x}) q_{y}

$= \Big(P(X=1\mid Y=1)-q_x\Big)q_y$

Untuk ketidakcocokan kita membutuhkan kovarians menjadi nol begitu

Cov (X, Y) = 0 \Rightarrow P (X = 1 ∣ Y = 1) = P (X = 1)

$\operatorname{Cov}(X,Y) = 0 \Rightarrow P(X=1\mid Y=1) = P(X=1)$

\Rightarrow P (X = 1, Y = 1) = P (X = 1) P (Y = 1)

$\Rightarrow P(X=1,Y=1) = P(X=1)P(Y=1)$

yang merupakan kondisi yang juga diperlukan untuk variabel menjadi independen.

Jadi pertanyaan saya adalah: Apakah Anda tahu ada distribusi lain (terus menerus atau terpisah) yang tidak berkorelasi menyiratkan kemerdekaan?

Artinya: Asumsikan dua variabel acak yang memiliki distribusi marginal yang termasuk dalam distribusi yang sama (mungkin dengan nilai yang berbeda untuk parameter distribusi yang terlibat), tetapi katakanlah dengan dukungan yang sama misalnya. dua eksponensial, dua triangular, dll. Apakah semua solusi untuk persamaan sedemikian rupa sehingga mereka juga menyiratkan independensi, berdasarkan bentuk / sifat fungsi distribusi yang terlibat? Ini adalah kasus dengan marjinal Normal (mengingat juga bahwa mereka memiliki distribusi normal bivariat), serta dengan marjinal Bernoulli - apakah ada kasus lain? $X,Y$ $\operatorname{Cov}(X,Y) = 0$

Motivasi di sini adalah bahwa biasanya lebih mudah untuk memeriksa apakah kovarians adalah nol, dibandingkan dengan memeriksa apakah independensi berlaku. Jadi jika, mengingat distribusi teoretis, dengan memeriksa kovarians Anda juga memeriksa independensi (seperti halnya dengan Bernoulli atau kasus normal), maka ini akan menjadi hal yang berguna untuk diketahui.
Jika kita diberikan dua sampel dari dua rv yang memiliki marginal normal, kita tahu bahwa jika kita dapat menyimpulkan secara statistik dari sampel bahwa kovariansnya nol, kita dapat juga mengatakan bahwa mereka independen (tetapi hanya karena mereka memiliki marginal normal). Akan berguna untuk mengetahui apakah kita dapat menyimpulkan juga dalam kasus-kasus di mana kedua rv memiliki marjinal yang dimiliki oleh beberapa distribusi lainnya.

probability distributions correlation mathematical-statistics independence Alecos Papadopoulos
sumber

Logikanya, tidak ada pertanyaan di sini: ambil pasangan variabel bebas apa pun sebagai distribusi. Apakah mereka berkorelasi atau tidak, mereka independen oleh fiat ! Anda benar-benar harus lebih tepat tentang apa yang Anda maksud dengan "distribusi" dan jawaban seperti apa yang menurut Anda berguna.

whuber

@whuber Saya tidak mengerti komentar Anda. Saya mulai dengan tidak berkorelasi dan bertanya "apakah saya dapat membuktikan bahwa mereka tidak berkorelasi kapan ini menyiratkan bahwa mereka juga independen"? Karena dua hasil yang dinyatakan dalam pertanyaan tergantung pada rv yang memiliki distribusi spesifik (normal atau Bernoulli), saya bertanya "apakah ada distribusi lain yang diketahui, jika dua variabel mengikutinya, hasil ini berlaku"?

Alecos Papadopoulos

Ambil dua variabel bebas dan biarkan menjadi distribusinya. adalah jawaban yang valid untuk pertanyaan Anda. Perhatikan bahwa Anda meminta untuk membuktikan suatu persyaratan, yang menurut definisi adalah benar setiap kali konsekuensinya benar, tidak peduli apa nilai kebenaran dari pendahulunya. Jadi, dengan aturan logika dasar, semua distribusi variabel independen adalah jawaban untuk pertanyaan Anda.

X, Y

$X,Y$

F

$F$

F

$F$

whuber

@ Wouber, Anda ternyata benar. Saya menambahkan beberapa teks yang berkaitan dengan motivasi untuk pertanyaan ini, yang saya harap menjelaskan apa motivasi saya.

Alecos Papadopoulos

Informasi apa yang Anda mulai ketika membuat keputusan ini? Dari formulasi contoh Anda, sepertinya Anda diberi pdf marginal untuk setiap variabel dan informasi bahwa setiap pasangan variabel tidak berkorelasi. Anda kemudian memutuskan apakah mereka juga independen. Apakah ini akurat?

probabilityislogic

"Namun demikian, jika kedua variabel terdistribusi secara normal, maka ketidaksesuaian menyiratkan independensi" adalah kesalahan yang sangat umum .

Itu hanya berlaku jika mereka didistribusikan bersama secara normal.

Contoh tandingan yang paling sering saya lihat adalah normal dan Rademacher independen (jadi 1 atau -1 dengan probabilitas 0,5 masing-masing); maka juga normal (jelas dari mempertimbangkan fungsi distribusinya), (masalahnya di sini adalah untuk menunjukkan misalnya dengan mengulangi harapan pada , dan mencatat bahwa adalah atau dengan probabilitas masing-masing 0,5) dan jelas variabel-variabelnya bergantung (misalnya jika saya tahu maka baik atau , jadi informasi tentang $X \sim N(0,1)$ $Y$ $Z=XY$ $\operatorname{Cov}(X,Z)=0$ $\mathbb{E}(XZ)=0$ $Y$ $XZ$ $X^2$ $-X^2$ $X>2$ $Z>2$ $Z<-2$ $X$ memberi saya informasi tentang ). $Z$

Perlu juga diingat bahwa distribusi marjinal tidak secara unik menentukan distribusi bersama. Ambil dua RV nyata dan dengan marginal dan . Kemudian untuk fungsinya: $X$ $Y$ $F_X(x)$ $G_Y(y)$ $\alpha<1$

H_{X, Y} (x, y) = F_{X} (x) G_{Y} (y) (1 + α (1 - F_{X} (x)) (1 - F_{Y} (y)))

$H_{X,Y}(x,y)=F_X(x)G_Y(y)\left(1+\alpha\big(1-F_X(x)\big)\big(1-F_Y(y)\big)\right)$

akan menjadi CDF bivariat. (Untuk mendapatkan marginal dari ambil batas ketika menuju infinity, di mana Begitu juga sebaliknya untuk ) Jelas dengan memilih nilai yang berbeda dari Anda dapat memperoleh distribusi gabungan yang berbeda! $F_X(x)$ $H_{X,Y}(x,y)$ $y$ $F_Y(y)=1$ $Y$ $\alpha$

Gegat
sumber

Memang. Saya lupa "gabungan".

Alecos Papadopoulos

@Alecos Karena distribusi marjinal tidak menentukan distribusi bersama secara umum (hanya mengedit jawaban saya untuk memperjelas ini), di mana ini meninggalkan pertanyaan Anda?

Silverfish

@Alecos Saya pikir saya memiliki pemahaman yang lebih baik tentang substansi pertanyaan sekarang: mengingat dua distribusi marjinal, ada satu set tak terbatas dari distribusi bersama yang mungkin. Dalam keadaan apa memaksakan kondisi nol kovarian meninggalkan kita dengan hanya satu dari distribusi bersama masih mungkin, yaitu yang mana variabel acak independen?

Silverfish

Jika saya tetap menggunakan bivariat, dengan gabungan MGF dan marginal dan , pertanyaannya menjadi: kapan menyiratkan bahwa ?

M_{X, Y} (s, t)

$M_{X,Y}(s,t)$

M_{X} (s) = M_{X, Y} (s, 0)

$M_X(s)=M_{X,Y}(s,0)$

M_{Y} (t) = M_{X, Y} (0, t)

$M_Y(t)=M_{X,Y}(0,t)$

\frac{\partial^{2}}{\partial s \partial t} M_{X, Y} (s, t) |_{s = 0, t = 0} = \frac{\partial}{\partial s} M_{X, Y} (s, t) |_{s = 0, t = 0} \cdot \frac{\partial}{\partial t} M_{X, Y} (s, t) |_{s = 0, t = 0}

$\frac{\partial^2}{\partial s \partial t}M_{X,Y}(s,t)|_{s=0,t=0} = \frac{\partial}{\partial s} M_{X,Y}(s,t)|_{s=0,t=0} \cdot \frac{\partial}{\partial t} M_{X,Y}(s,t)|_{s=0,t=0}$

M_{X, Y} (s, t) = M_{X, Y} (s, 0) \cdot M_{X, Y} (0, t)

$M_{X,Y}(s,t)=M_{X,Y}(s,0) \cdot M_{X,Y}(0,t)$

Silverfish

@Silverman Saya akan memeriksa konsep subindependensi , en.wikipedia.org/wiki/Subindependensi , untuk melihat apakah masalah ini dapat dirumuskan dalam hal fungsi menghasilkan momen.

Alecos Papadopoulos

Distribusi mana yang tidak berkorelasi menyiratkan kemerdekaan?

Jawaban: