Splines vs Regresi Proses Gaussian

14

Saya tahu bahwa Gaussian Process Regression (GPR) adalah alternatif untuk menggunakan splines untuk pemasangan model nonlinier yang fleksibel. Saya ingin tahu di mana situasi yang lebih cocok dari yang lain, terutama dalam kerangka regresi Bayesian.

Saya sudah melihat Apa keuntungan / kerugian dari menggunakan splines, spline yang dihaluskan, dan emulator proses gaussian? tapi sepertinya tidak ada apa-apa di GPR di pos ini.

regression gaussian-process splines kriging ved
sumber
Saya akan mengatakan bahwa GP adalah pendekatan yang lebih didorong data untuk menyesuaikan fungsi non-linear. Splines biasanya terbatas pada polinomial ke-n. Para dokter dapat memodelkan fungsi yang lebih kompleks daripada polinomial (meskipun tidak 100% yakin).
Vladislavs Dovgalecs

Jawaban:

14

Saya setuju dengan jawaban @j__.

Namun, saya ingin menyoroti fakta bahwa splines hanyalah kasus khusus dari regresi / kriging Proses Gaussian .

Jika Anda mengambil jenis kernel tertentu dalam regresi proses Gaussian, Anda mendapatkan model pemasangan spline.

Fakta ini dibuktikan dalam tulisan ini oleh Kimeldorf dan Wahba (1970) . Ini agak teknis, karena menggunakan tautan antara kernel yang digunakan dalam kriging dan Reproducing Kernel Hilbert Spaces (RKHS).

Pop
sumber
2
Sebagai contoh, dalam kasus satu dimensi, model GP untuk spline smoothing yang terkenal hanyalah Gaussian White Noise yang terintegrasi ganda. Ini telah digunakan oleh Craig Ansley dan Robert Kohn untuk merancang algoritma yang efisien pada akhir 1980-an. Saya percaya bahwa kesetaraan ini dapat dipahami sebagian tanpa menyelam dalam matematika yang mendalam dari RKHS.
Yves
Ini jawaban yang sangat bagus.
Astrid
6

Ini adalah pertanyaan yang sangat menarik: Persamaan antara proses Gaussian dan smoothing splines telah ditunjukkan di Kimeldorf dan Wahba 1970. Generalisasi korespondensi ini dalam kasus interpolasi terbatas telah dikembangkan di Bay et al. 2016

Bay et al. 2016. Generalisasi Korespondensi Kimeldorf-Wahba untuk interpolasi terbatas. Jurnal Statistik Elektronik.

Dalam tulisan ini, keuntungan dari pendekatan Bayesian telah dibahas.

maatouk Hassan
sumber
2

Saya setuju dengan komentar xeon @ juga GPR menempatkan distribusi probabilitas atas jumlah tak terbatas fungsi yang mungkin dan fungsi rata-rata (yang seperti spline) hanya perkiraan MAP tetapi Anda juga memiliki varian tentang itu. Hal ini memungkinkan peluang besar seperti desain eksperimental (memilih data input yang informatif maksimal). Juga jika Anda ingin melakukan integrasi (quadrature) dari model, seorang GP akan memiliki hasil gaussian yang memungkinkan Anda untuk memberikan kepercayaan kepada hasil Anda. Setidaknya dengan model spline standar ini tidak mungkin.

Dalam praktiknya GPR memberikan hasil yang lebih informatif (dalam pengalaman saya) tetapi model spline tampaknya lebih cepat dalam pengalaman saya.

j__
sumber