Saya mencoba mendapatkan intuisi untuk regresi Gaussian Process, jadi saya membuat masalah mainan 1D sederhana untuk dicoba. Saya mengambil sebagai input, dan sebagai tanggapan. ('Terinspirasi' dari )y i = { 1 , 4 , 9 } y = x 2
Untuk regresi saya menggunakan fungsi kernel eksponensial kuadrat standar:
Saya berasumsi bahwa ada suara dengan standar deviasi , sehingga matriks kovarians menjadi:
The hyperparameters diperkirakan dengan memaksimalkan kemungkinan log data. Untuk membuat prediksi pada titik , saya menemukan rata-rata dan varians masing-masing dengan berikut inix ⋆
di mana adalah vektor kovarians antara dan input, dan adalah vektor dari output.
Hasil saya untuk ditunjukkan di bawah ini. Garis biru adalah rata-rata dan garis merah menandai interval deviasi standar.
Saya tidak yakin apakah ini benar; input saya (ditandai dengan 'X) tidak terletak pada garis biru. Kebanyakan contoh yang saya lihat memiliki mean yang memotong input. Apakah ini fitur umum yang diharapkan?
sumber
Jawaban:
Fungsi rata-rata melewati titik data biasanya merupakan indikasi over-fitting. Mengoptimalkan parameter-hiper dengan memaksimalkan kemungkinan marjinal akan cenderung mendukung model yang sangat sederhana kecuali ada cukup data untuk membenarkan sesuatu yang lebih kompleks. Karena Anda hanya memiliki tiga titik data, yang kurang lebih sejalan dengan sedikit noise, model yang telah ditemukan tampaknya cukup masuk akal bagi saya. Pada dasarnya data dapat dijelaskan sebagai fungsi yang mendasari linier dengan noise moderat, atau fungsi yang mendasari non-linier dengan sedikit noise. Yang pertama adalah yang lebih sederhana dari dua hipotesis, dan disukai oleh "Occam's razor".
sumber
Anda menggunakan penduga Kriging dengan penambahan istilah noise (dikenal sebagai efek nugget dalam literatur proses Gaussian). Jika istilah noise diatur ke nol, yaitu,
maka prediksi Anda akan bertindak sebagai interpolasi dan melewati titik data sampel.
sumber
Ini terlihat oke bagi saya, dalam buku GP oleh Rasmussen jelas menunjukkan contoh di mana fungsi rata-rata tidak melewati setiap titik data. Perhatikan bahwa garis regresi adalah perkiraan untuk fungsi yang mendasarinya, dan kami mengasumsikan bahwa pengamatan adalah nilai fungsi yang mendasarinya ditambah beberapa noise. Jika garis regresi berdasarkan ketiga poin itu pada dasarnya akan mengatakan bahwa tidak ada suara dalam nilai yang diamati.
Sebagaimana dicatat oleh Dikran Marsupial, ini adalah fitur bawaan dari Proses Gaussian, kemungkinan marginal menghukum model yang terlalu spesifik, dan lebih suka model yang dapat menjelaskan banyak set data.
sumber