Keraguan tentang derivasi persamaan Regresi Proses Gaussian dalam makalah

9

Saya membaca pracetak makalah ini , dan saya mengalami kesulitan mengikuti derivasi mereka dari persamaan untuk Regresi Proses Gaussian. Mereka menggunakan pengaturan & notasi Rasmussen & Williams . Dengan demikian, aditif, mean-nol, stasioner, dan noise terdistribusi normal dengan varian σnoise2 diasumsikan:

y=f(x)+ϵ,ϵN(0,σnoise2)

GP sebelum dengan nol rata-rata diasumsikan untuk f(x) , yang berarti bahwa  dN , f={f(x1),,f(xd)} adalah vektor Gaussian dengan mean 0 dan matriks kovarians

Σd=(k(x1,x1)k(x1,xd)k(xd,x1)k(xd,xd))

Mulai sekarang, kami mengasumsikan bahwa hiperparameter diketahui. Maka Persamaan (4) dari makalah ini jelas:

p(f,f)=N(0,(Kf,fKf,fKf,fKf,f))

Inilah keraguan:

  1. Persamaan (5):

    p(y|f)=N(f,σnoise2I)

    , tapi saya kira E [ y | f ] = f0 karena ketika saya mengkondisikan pada f , maka manaadalah vektor konstan dan hanya itu acak. Benar?E[f]=0E[y|f]=f0fc ϵy=c+ϵcϵ

  2. Bagaimanapun, ini Persamaan (6) yang lebih tidak jelas bagi saya:

    p(f,f|y)=p(f,f)p(y|f)p(y)

    Itu bukan bentuk teorema Bayes yang biasa. Teorema Bayes akan menjadi

    p(f,f|y)=p(f,f)p(y|f,f)p(y)

    Saya agak mengerti mengapa kedua persamaan itu sama: secara intuitif, vektor respons hanya bergantung pada vektor laten yang sesuai , dengan demikian mengkondisikan pada atau pada harus mengarah ke distribusi yang sama. Namun, ini adalah intuisi, bukan bukti! Dapatkah Anda membantu saya menunjukkan alasannya?f f ( f , f )yff(f,f)

    p(y|f,f)=p(y|f)
DeltaIV
sumber

Jawaban:

1
  1. fyfσnoise20
  2. Salah satu cara untuk membuktikan persamaan kesetaraan adalah dengan menemukan distribusi di sisi kiri dan sisi kanan kualitas. Keduanya Gaussian, untuk sisi kiri kita sudah tahu jawabannya. Untuk sisi kanan kita melanjutkan dengan cara yang sama. Mari kita cari distribusi kondisional untuk . Dari hasil dari bagian pertama kita tahu: Menggunakan aturan probabilitas, mudah untuk mengintegrasikan dari
    p(y|f,f)=p(y|f)
    (y,y)
    p(y,y|f,f)=N((f,f),σnoise2I).
    yy y p ( y | f , f ) = N ( f , σ 2 n o i s e I ) = p ( y | f ) .(y,y), karena matriks kovariansnya adalah diagonal, dan vektor dan bersifat independen. Dengan melakukan ini kita mendapatkan: yy
    p(y|f,f)=N(f,σnoise2I)=p(y|f).
Alexey Zaytsev
sumber