Bagaimana Anda membandingkan dua Proses Gaussian?

14

Divergensi Kullback-Leibler adalah metrik untuk membandingkan dua fungsi kepadatan probabilitas, tetapi metrik apa yang digunakan untuk membandingkan dua GP dan ?YXY

pushkar
sumber
d(X,Y)=E[supt|X(t)Y(t)|]
@ Zen: Jika Anda punya waktu, saya tertarik untuk mengetahui lebih banyak tentang metrik jarak ini.
Neil G
Hai, Neil. Saya tidak tahu banyak tentang itu. Tolong, lihat jawaban saya di bawah.
Zen

Jawaban:

8

Mengomentari bahwa distribusi proses Gaussian XR adalah perpanjangan Gaussian multivarian untuk mungkin tak terbatas X. Dengan demikian, Anda dapat menggunakan perbedaan KL antara distribusi probabilitas GP dengan mengintegrasikan lebih dari RX :

DKL(P|Q)=RXlogdPdQdP.

Anda dapat menggunakan metode MC untuk memperkirakan secara numerik jumlah ini melalui didiskritisasi Xdengan proses pengambilan sampel berulang kali sesuai dengan distribusi GP mereka. Saya tidak tahu apakah kecepatan konvergensi cukup baik ...

Perhatikan bahwa jika X terbatas dengan |X|=n , maka Anda kembali ke divergensi KL biasa untuk distribusi normal multivariat:

DKL(GP(μ1,K1),GP(μ2,K2))=12(tr(K21K1)+(μ2μ1)K21(μ2μ1)n+log|K2||K1|)
Emile
sumber
Bagaimana saya bisa menghitung dua cara (mu1 dan mu2) yang Anda sebutkan. Atau saya harus mengambil mereka sama dengan nol seperti biasa untuk proses gaussian?
Marat Zakirov
4

Ingat bahwa jika adalah Proses Gaussian dengan fungsi rata-rata m dan fungsi kovarian K , maka, untuk setiap t 1 , , t kT , vektor acak ( X ( t 1 ) , , X ( t k ) ) memiliki distribusi normal multivariat dengan vektor rata-rata ( m ( t 1 ) , , mX:T×ΩRmKt1,,tkT(X(t1),,X(tk)) dan matriks kovarian Σ = ( σ i j ) = ( K ( t i , t j ) ) , di mana kami telah menggunakan singkatan umum X ( t ) = X ( t ,(m(t1),,m(tk))Σ=(σij)=(K(ti,tj)) .X(t)=X(t,)

Setiap realisasi adalah fungsi nyata yang domain adalah indeks set T . Misalkan T = [ 0 , 1 ] . Diberikan dua Proses Gaussian X dan Y , satu jarak yang sama antara dua realisasi X (X(,ω)TT=[0,1]XY dan Y (X(,ω) adalah sup t [ 0 , 1 ] | X ( t , ω ) - Y ( t , ω ) | . Oleh karena itu, tampaknya wajar untuk mendefinisikan jarak antara dua proses X dan Y sebagai d ( X , Y ) = EY(,ω)supt[0,1]|X(t,ω)-Y(t,ω)|XY Saya tidak tahu apakah ada ekspresi analitik untuk jarak ini, tapi saya yakin Anda dapat menghitung perkiraan Monte Carlo sebagai berikut. Perbaiki beberapa kisi halus 0 t 1 < < t k1 , dan gambar sampel ( x i 1 , ... , x i k ) dan ( y i 1 , ... , y i k ) dari vektor acak normal ( X ( t 1 )

d(X,Y)=E[supt[0,1]|X(t)-Y(t)|].()
0t1<<tk1(xsaya1,...,xsayak)(ysaya1,...,ysayak) dan ( Y ( t 1 ) , ... , Y ( t k ) ) , masing-masing, untuk i = 1 , ... , N . Perkiraan d ( X , Y ) oleh 1(X(t1),...,X(tk))(Y(t1),...,Y(tk))saya=1,...,Nd(X,Y)
1Nsaya=1Nmaks1jk|xsayaj-ysayaj|.
Zen
sumber
Bagaimana Anda mengambil sampel dari setiap vektor? Jika Anda hanya mencicipi sarana di masing-masing dokter, Anda tidak memperhitungkan variansnya. Kalau tidak, Anda harus menyusun teknik pengambilan sampel yang konsisten.
pushkar
Ini adalah sumber yang bagus: gaussianprocess.org/gpml/chapters
Zen
Anda juga dapat membaca semua jawaban untuk pertanyaan ini: stats.stackexchange.com/questions/30652/…
Zen
d(X,X)0d(G1,G2)=EXG1,YG2[supt|X(t)-Y(t)|]EXG,YGsupt|X(t)-Y(t)|>0G
d(X,X)0()