Hukum varian total sebagai teorema Pythagoras

15

Asumsikan X dan memiliki momen kedua terbatas. Dalam ruang Hilbert variabel acak dengan momen terbatas kedua (dengan produk dalam didefinisikan oleh , ), kita dapat menafsirkan sebagai proyeksi dari ke ruang fungsi .YT1,T2E(T1T2)||T||2=E(T2)E(Y|X)YX

Kita juga tahu bahwa Hukum Total Varians berbunyi

Var(Y)=E(Var(Y|X))+Var(E(Y|X))

Apakah ada cara untuk menafsirkan hukum ini dalam hal gambar geometris di atas? Saya telah diberitahu bahwa hukum itu sama dengan Teorema Pythagoras untuk segitiga siku-siku dengan sisi . Saya mengerti mengapa segitiga siku-siku, tetapi tidak bagaimana Teorema Pythagoras menangkap Hukum Varians Total.Y,E(Y|X),YE(Y|X)

renrenthehamster
sumber

Jawaban:

7

Saya berasumsi bahwa Anda merasa nyaman dengan menganggap segitiga siku-siku sebagai makna bahwa dan Y - E [ Y X ] adalah variabel acak yang tidak berkorelasi . Untuk variabel acak tidak berkorelasi A dan B , var ( A + B ) = var ( A ) + var ( B ) , dan jadi jika kita menetapkan A = Y - E [E[YX]YE[YX]AB

(1)var(A+B)=var(A)+var(B),
dan B = E [ Y X ] sehingga A + B = Y , kita mendapatkan var ( Y ) = var ( Y - E [ Y X ] ) + var ( E [ Y X ] ) . Masih menunjukkan bahwa var ( Y - E [ Y XA=YE[YX]B=E[YX]A+B=Y
(2)var(Y)=var(YE[YX])+var(E[YX]).
sama dengan E [ var ( Y X ) ] sehingga kita dapat menyatakan kembali ( 2 ) sebagai var ( Y ) = E [ var ( Y X ) ] + var ( E [ Y X ] ) yang merupakan rumus total varian.var(YE[YX])E[var(YX)](2)
(3)var(Y)=E[var(YX)]+var(E[YX])

Sudah diketahui bahwa nilai yang diharapkan dari variabel acak adalah E [ Y ] , yaitu, E [ E [ E [ Y X ] ] = E [ Y ] . Jadi kita melihat bahwa E [ A ] = E [ Y - E [ Y X ] ] = E [ Y ] - E [ E [E[YX]E[Y]E[E[YX]]=E[Y] dari mana var ( A ) = E [ A 2 ] , yaitu var ( Y - E [ Y X ] ) = E [ ( Y - E [ Y X ] ) 2 ] . Misalkan C menunjukkan variabel acak ( Y - E [ Y

E[SEBUAH]=E[Y-E[YX]]=E[Y]-E[E[YX]]=0,
var(SEBUAH)=E[SEBUAH2]
(4)var(Y-E[YX])=E[(Y-E[YX])2].
C sehingga kita dapat menulis var itu ( Y - E [ Y X ] ) = E [ C ] . Tetapi, E [ C ] = E [ E [ C X ] ] di mana E [ C X ] = E [ ( Y - E [ Y X ] )(Y-E[YX])2
(5)var(Y-E[YX])=E[C].
E[C]=E[E[CX]] Sekarang,mengingatbahwa X = x , distribusi bersyarat dari Y memiliki rata-rata E [ Y X = x ] dan juga E [ ( Y - E [ Y X = x ] ) 2 | X = x ] = var ( Y X = x ) . Dengan kata lain, EE[CX]=E[(Y-E[YX])2|X].X=xYE[YX=x]
E[(Y-E[YX=x])2|X=x]=var(YX=x).
sehinggavariabel acak E [ C X ] hanya var ( Y X ) . Karenanya, E [ C ] = E [ E [ C X ] ] = E [ var ( Y X ) ] ,E[CX=x]=var(YX=x) E[CX]var(YX)
(6)E[C]=E[E[CX]]=E[var(YX)],
(5)
var(Y-E[YX])=E[var(YX)].
(2)(3)
Dilip Sarwate
sumber
Y-E(Y|X)adalah variabel dengan mean nol. KarenanyavSebuahr(Y-E(Y|X))=E[Y-E(Y|X)]2. SekarangEvSebuahr(Y|X)=E[E((Y-E(Y|X))2|X)]=E[Y-E(Y|X)]2. Bagian kedua dari jawaban yang tidak terlalu rumit.
mpiktas
1
@mpikta Terima kasih. Saya menyadari cara yang lebih singkat untuk mencapai hasil yang diinginkan tetapi selalu mengalami kesulitan menjelaskannya dengan cara yang dapat diikuti oleh para siswa pemula. Secara kebetulan, dalam persamaan terakhir yang Anda tulis, kuantitas di sebelah kanan memiliki eksponen yang salah tempat: kuantitas di dalam kurung kotak yang harus dikuadratkan; itu seharusnyaE[(Y-E[Y|X])2]. Namun terlambat untuk memperbaikinya, kecuali jika moderator setuju.
Dilip Sarwate
1
Dilip, many probabilists would correctly interpret @mpiktas's equation as written; the extra set of parentheses are often dropped. Perhaps my eyes are deceiving me, but I think his notation is consistent throughout. I'm happy to help fix things up, if desired, though. :-)
kardinal
@cardinal I didn't misinterpret mpiktas's writing, and fully understood what he was saying. While I am also used to interpreting EX or EX as the expected value of X, I always have my doubts about EX2, especially since PEMDAS says nothing about it. Does the expectation have priority over the exponentiation or not? I guess I am just used to the expectation operator to apply to everything inside the square brackets. Please don't edit m[iktas's comment, but if you want to delete everything in this thread from "Incidentally" onwards in my previous comment, please go ahead.
Dilip Sarwate
I'm sorry, @Dilip. My intention was not to suggest you didn't understand; I knew you had! I also agree that the notation can lend itself to ambiguities and it's good to point them out when they arise! What I meant was that I thought the second equation in the comment (i.e., var) made clear the convention that was used henceforth. :-)
cardinal
2

Pernyataan:

Teorema Pythagoras mengatakan, untuk elemen apa pun T1 dan T2 dari ruang produk dalam dengan norma-norma yang terbatas sehingga T1,T2=0,

(1)||T1+T2||2=||T1||2+||T2||2.
Atau dengan kata lain, untuk vektor ortogonal, panjang kuadrat dari jumlah adalah jumlah dari panjang kuadrat.

Kasus Kami:

Dalam kasus kami T1=E(Y|X) dan T2=Y-E[Y|X] adalah variabel acak, norma kuadrat adalah ||Tsaya||2=E[Tsaya2] dan produk dalam T1,T2=E[T1T2]. Menerjemahkan (1) ke dalam bahasa statistik memberi kita:

(2)E[Y2]=E[{E(Y|X)}2]+E[(Y-E[Y|X])2],
karena E[T1T2]=Cov(T1,T2)=0. Kami dapat menjadikan ini lebih seperti Law of Total Variance yang Anda nyatakan jika kami berubah(2) oleh...
  1. Mengurangi (E[Y])2 dari kedua sisi, membuat sisi kiri Var[Y],

  2. Memperhatikan di sisi kanan itu E[{E(Y|X)}2]-(E[Y])2=Var(E[Y|X]),

  3. Memperhatikan itu E[(Y-E[Y|X])2]=E[E{(Y-E[Y|X])2}|X]=E[Var(Y|X)].

Untuk detail tentang tiga poin ini, lihat posting @ DilipSarwate. Dia menjelaskan semua ini dengan lebih detail daripada saya.

Taylor
sumber