Kovarian dalam Proses Gaussian

8

Saya sedikit bingung tentang formula untuk menghitung kovarian dalam proses Gaussian (penambahan varian selalu membingungkan saya karena tidak selalu dilambangkan secara eksplisit). Asal mula kebingungan adalah bahwa formula yang diberikan dalam Pengenalan Pola dan Pembelajaran Mesin oleh Bishop dan proses Gaussian untuk Pembelajaran Mesin oleh Rasmussen berbeda.

Mean GP diberikan oleh relasi:

μ=K(X,X)[K(X,X)+σ2I]1y

Varian menurut Uskup (no halaman: 308) adalah:

Σ=[K(X,X)+σ2]K(X,X)[K(X,X)+σ2I]1K(X,X)

Varian menurut Rasmussen (no halaman: 16) adalah:

Σ=K(X,X)K(X,X)[K(X,X)+σ2I]1K(X,X)

Keraguan saya adalah apakah varians ada atau tidak dalam istilah pertama dalam RHS untuk matriks kovarians . Atau sudahkah saya mengacaukan semuanya?Σ

Beri tahu saya jika saya perlu memberikan informasi lebih lanjut.

pkj
sumber

Jawaban:

8

Parameter noise, , adalah parameter dari fungsi likelihood alias fungsi noise.σ2

Yang dengan adalah varian dari (pengamatan). Yang tanpa adalah varian (variabel laten = observasi - noise). Jadi mereka mati satu sama lain dengan yang sama untuk semua nilai variabel input .+σ2yfσ2x

Rumusnya terlihat tepat untuk saya. Seperti yang Anda lihat varians dari (pengamatan tanpa suara) juga tergantung pada parameter noise. Itu masuk akal juga. Estimasi kebisingan Anda akan memengaruhi estimasi ketidakpastian (yaitu varians) dari variabel laten (tanpa suara).y

Untuk menghindari kebingungan, saya akan merujuk mereka dengan dan .var(y)var(f)

Satu hal lagi: dua ekspresi yang dilambangkan oleh adalah skalar, bukan matriks. Matriks kovarians adalah bukan . adalah varians bukan kovarians karena ini adalah tentang variabel D tunggal (baik atauΣKΣΣ1yf ).

Seeda
sumber