Pemilihan parameter hyper penuh Bayesian di GPML

8

Apakah mungkin untuk melakukan pemilihan penuh parameter Bayesian (1) yang diperkirakan penuh (misalnya skala kovarian) dengan kode GPML, alih-alih memaksimalkan kemungkinan marginal (2)? Saya pikir menggunakan metode MCMC untuk menyelesaikan integral yang melibatkan hyper-parameter sebelumnya harus mengarah pada hasil yang lebih baik ketika berhadapan dengan overfitting. Sejauh pengetahuan saya, kerangka kerja GPML tidak termasuk perhitungan ini, tapi mungkin ada barang kode pihak ketiga lainnya.

(1) Sec. 5.2, Ch. 5 dalam Proses Gaussian untuk Pembelajaran Mesin, Rasmussen & Williams, 2006

(2) Bagian "Regresi" dalam dokumentasi GPML

bayesian model-selection gaussian-process hyperparameter Emile
sumber
Pernahkah Anda mendengar tentang INLA? mungkin apa yang Anda cari.
probabilityislogic
Ini tidak menambah pertanyaan Anda, tetapi apakah Anda sudah berhasil menemukan pekerjaan yang bermanfaat dalam bidang ini dengan menempatkan prior pada skala panjang? Benar-benar benci gagasan hanya mengoptimalkan skala panjang seorang dokter umum
sachinruk
(+1) Pertanyaan yang bagus. Ini bukan MCMC, tetapi ada paket pihak ketiga yang memungkinkan marginalisasi parsial hiperparameter dengan GPML melalui pendekatan Laplace, jika Anda tertarik. Lihat pertanyaan ini dan jawaban terkait.
lacerbi

Jawaban:

1

Ada paket lain untuk pembelajaran mesin menggunakan proses Gaussian yang disebut GPstuff yang memiliki semuanya menurut saya. Anda dapat menggunakan MCMC, integrasi pada grid, dll. Untuk memarginalkan hyperparameters Anda.

NB Dalam dokumentasi mereka menyebut hyperparameters hanya parameter.

Mehrdad
sumber