Apakah teorema Bayes sesuai dengan harapan?

18

Apakah benar bahwa untuk dua variabel acak A dan B ,

E(AB)=E(BA)E(A)E(B)?
Tomka
sumber
3
Hmm ... Saya tidak berpikir kedua sisi itu setara
Jon
6
Seperti yang ditunjukkan dalam jawaban, pertanyaannya secara probabilistik tidak berarti karena integrasi variabel acak di satu sisi yang merupakan variabel pengkondisian di sisi lain.
Xi'an

Jawaban:

25

(1)E[AB]=?E[BA]E[A]E[B]
Hasil dugaan(1)sepele benar untukvariabel acakindependenAdanBdengan nilai nol.

Jika E[B]=0 , maka sisi kanan (1) melibatkan pembagian dengan 0 dan jadi (1) tidak ada artinya. Perhatikan bahwa apakah A dan B independen atau tidak relevan.

Secara umum , (1) tidak berlaku untuk variabel acak dependen tetapi contoh spesifik dari dependen A dan B memuaskan (1) dapat ditemukan. Perhatikan bahwa kita harus terus bersikeras bahwa E[B]0 , selain itu sisi kanan (1) tidak ada artinya. Ingatlah bahwa E[AB] adalah variabel acak yang merupakan fungsi dari variabel acak B , katakanlah g(B) sedangkanE[BA] adalahvariabel acakyang merupakanfungsidari variabel acakA , katakanlahh(A) . Jadi,(1) mirip dengan bertanya apakah

dapat berupa pernyataan yang benar, dan jelas jawabannya adalah bahwag(B)tidak dapat merupakan kelipatan darih(A)secara umum.

(2)g(B)=?h(A)E[A]E[B]
g(B)h(A)

Sepengetahuan saya, hanya ada dua kasus khusus di mana dapat menampung.(1)

  • Seperti disebutkan di atas, untuk variabel acak independen dan B , g ( B ) dan h ( A ) adalah variabel acak degenerasi (disebut konstanta oleh orang-orang yang buta huruf secara statistik) yang masing-masing sama dengan E [ A ] dan E [ B ] , dan jadi jika E [ B ] 0 , kami memiliki persamaan dalam ( 1 ) .ABg(B)h(A)E[A]E[B]E[B]0(1)

  • Di ujung lain spektrum dari independensi, anggaplah bahwa mana g ( ) adalah fungsi yang tidak dapat dibalik dan karenanya A = g ( B ) dan B = g - 1 ( A ) adalah variabel acak yang sepenuhnya tergantung. Dalam hal ini, E [ A B ] = g ( B ) ,A=g(B)g()A=g(B)B=g1(A) dan jadi ( 1 ) menjadi g ( B ) ? = B E [ A ]

    E[AB]=g(B),E[BA]=g1(A)=g1(g(B))=B
    (1) yang berlaku tepat ketikag(x)=αx dimanaαdapat berupa bilangan real bukan nol. Jadi,(1)berlaku setiap kaliAadalah kelipatan skalar dariB, dan tentu sajaE[B]harus bukan nol (lih.Jawaban Michael Hardy). Perkembangan di atas menunjukkan bahwag(x)harus berupafungsilinierdan bahwa (1)tidak tahan untukaffine
    g(B)=?BE[A]E[B]
    g(x)=αxα(1)ABE[B]g(x)(1)fungsi dengan β 0 . Namun, catatan yang Alecos Papadopolous di jawabannya dan komentarnya setelah klaim bahwa jika B adalah yang normal variabel acak dengan nol berarti, maka untuk spesifik nilai-nilai α dan β 0 bahwa ia menyediakan, A = α B + β dan B memuaskan ( 1 ) . Menurut saya, contohnya tidak benar.g(x)=αx+ββ0Bαβ0A=αB+βB(1)

Dalam komentar tentang jawaban ini, Huber telah menyarankan mempertimbangkan persamaan dugaan simetris yang tentu saja selalu berlaku untuk variabel acak independen terlepas dari nilai E [ A ] dan E [ B ] dan untuk kelipatan skalar A = α B juga. Tentu saja, lebih sepele, ( 3 ) berlaku untuk

(3)E[AB]E[B]=?E[BA]E[A]
E[A]E[B]A=αB(3)setiap zero-rata variabel acak dan B (multiple independen atau dependen, skalar atau tidak, itu tidak masalah!): E [ A ] = E [ B ] = 0 adalah cukup untuk kesetaraan dalam ( 3 ) . Dengan demikian, ( 3 ) mungkin tidak semenarik ( 1 ) sebagai topik diskusi.ABE[A]=E[B]=0 (3)(3)(1)
Dilip Sarwate
sumber
9
+1. Untuk bermurah hati, pertanyaannya dapat ditafsirkan sebagai menanyakan apakah , di mana pertanyaan pembagian dengan nol menghilang. E(A|B)E(B)=E(B|A)E(A)
whuber
1
@whuber Terima kasih. Hasil edit saya membahas pertanyaan yang lebih umum, apakah mungkin untuk memiliki . E[AB]E[B]=E[BA]E[A]
Dilip Sarwate
11

Hasilnya secara umum tidak benar, mari kita lihat dalam contoh sederhana. Misalkan memiliki distribusi binomial dengan parameter n , p dan P memiliki distribusi beta dengan parameter ( α , β ) , yaitu, model bayesian dengan konjugat sebelumnya. Sekarang, hitung saja dua sisi rumus Anda, sisi kiri adalah E X P = n P , sedangkan sisi kanan adalah E ( P X ) E XXP=pn,pP(α,β)EXP=nP dan itu tentu saja tidak sama.

E(PX)EXEP=α+Xn+α+βα/(α+β)nα/(α+β)
kjetil b halvorsen
sumber
2

Nilai ekspektasi bersyarat dari variabel acak mengingat peristiwa bahwa B = b adalah angka yang tergantung pada angka apa b . Jadi sebut saja h ( b ) . Kemudian bersyarat diharapkan nilai E ( A | B ) adalah h ( B ) , variabel acak yang nilainya sepenuhnya ditentukan oleh nilai dari variabel acak B . Jadi E ( A B ) adalah fungsi dari B dan E (AB=bbh(b).E(AB)h(B),BE(AB)B adalah fungsi dari A .E(BA)A

Hasil bagi hanyalah sebuah angka.E(A)/E(B)

Jadi satu sisi dari kesetaraan yang Anda usulkan ditentukan oleh dan yang lainnya oleh B , sehingga secara umum mereka tidak bisa sama.AB

(Mungkin saya harus menambahkan bahwa mereka bisa sama dalam kasus sepele ketika nilai-nilai dan B menentukan satu sama lain, seperti ketika misalnya, A = α B , α 0 dan E [ B ] 0 , ketika E [ A B ] = α B = E [ B A ] α = E [ B A ] α E [ B ]ABA=αB,α0E[B]0Tetapi fungsi yang sama satu sama lain hanya pada beberapa titiktidaksama.)

E[AB]=αB=E[BA]α=E[BA]αE[B]E[B]=E[BA]E[A]E[B].
Michael Hardy
sumber
Maksudmu mereka belum tentu sama? Maksud saya mereka BISA sama?
BCLC
1
@BCLC : They are equal only in trivial cases. And two functions equal to each other at some points and not at others are not equal.
Michael Hardy
2
"But only in that trivial case can they be equal" (emphasis added) is not quite correct. Consider independent A and B with E[B]0. Then, E[AB]=E[A] while E[BA]=E[B] and so
E[BA]E[A]E[B]=E[B]E[A]E[B]=E[A]=E[AB].
Dilip Sarwate
@DilipSarwate I was about to say that haha!
BCLC
I edited your answer to add a few details for the case you pointed out. Please roll back if you don't like the changes.
Dilip Sarwate
-1

The expression certainly does not hold in general. For the fun of it, I show below that if A and B follow jointly a bivariate normal distribution, and have non-zero means, the result will hold if the two variables are linear functions of each other and have the same coefficient of variation (the ratio of standard deviation over mean) in absolute terms.

For jointly normals we have

E(AB)=μA+ρσAσB(BμB)

and we want to impose

μA+ρσAσB(BμB)=[μB+ρσBσA(AμA)]μAμB

μA+ρσAσB(BμB)=μA+ρσBσAμAμB(AμA)

Simplify μA and then ρ, and re-arrange to get

B=μB+σB2σA2μAμB(AμA)

So this is the linear relationship that must hold between the two variables (so they are certainly dependent, with correlation coefficient equal to unity in absolute terms) in order to get the desired equality. What it implies?

First, it must also be satisfied that

E(B)μB=μB+σB2σA2μAμB(E(A)μA)μB=μB

so no other restirction is imposed on the mean of B ( or of A) except of them being non-zero. Also a relation for the variance must be satisfied,

Var(B)σB2=(σB2σA2μAμB)2Var(A)

(σA2)2σB2=(σB2)2σA2(μAμB)2

(σAμA)2=(σBμB)2(cvA)2=(cvB)2

|cvA|=|cvB|

which was to be shown.

Note that equality of the coefficient of variation in absolute terms, allows the variables to have different variances, and also, one to have positive mean and the other negative.

Alecos Papadopoulos
sumber
1
Isn't this a convoluted way to A=αB where α is some scalar?
Matthew Gunn
1
@MatthewGunn Your comment is right on target. Normality has nothing to do with the matter. For random variables A and B such that A=αB, E[AB]=αB=A and similarly, E[BA]=B. Consequently, assuming that E[B]0,
E[AB]=αB=E[BA]α=E[BA]αE[B]E[B]=E[BA]E[A]E[B].
No normality, no |cvA|=|cvB| etc, and actually just a rehash of a comment in Michael Hardy's answer.
Dilip Sarwate
If you write \text{Var} instaed of \operatorname{Var} then you'll see aVarX and aVar(X) instead of aVarX and aVar(X). That's why the latter is standard usage.
Michael Hardy
@MatthewGun It seems to me that providing answers that contain specific examples is considered valuable content in this site. So yes, when a random variable is an affine function of another, and they are jointly normal with non-zero means, then one needs to have equal coefficients of variation, while, also there are no restrictions on the means of these rv's. On the other hand, when a random variable is just a linear function of another, the relation holds always. So no my answer is not a convoluted way to say A=aB. (cc:@DilipSarwate)
Alecos Papadopoulos
2
If B is a non-normal random variable with E[B]=μB0 and A=cB+d (and so B=Adc), then
E[AB]=cB+d=A,E[BA]=Adc=B.
Now, if we want to have E[AB]=cB+d to equal E[BA]μAμB=BμAμB, it must be that
cB+d=BμAμBd=0,c=μAμB
and so A=cB=μAμBB. So, for nonnormal B, the OP's conjectured result holds if A=cB but not if A=cB+d,d0.Of course, as you have proved, the result holds for normal random variables if A=cB+d,d0 .
Dilip Sarwate