Mengapa model proses Gaussian disebut non-parametrik?

Saya sedikit bingung. Mengapa proses Gaussian disebut model non parametrik?

Mereka mengasumsikan bahwa nilai-nilai fungsional, atau bagian dari mereka, memiliki Gaussian prior dengan fungsi rata-rata 0 dan kovarian yang diberikan sebagai fungsi kernel. Fungsi-fungsi kernel ini sendiri memiliki beberapa parameter (yaitu, hiperparameter).

Jadi mengapa mereka disebut model non parametrik?

Saya akan mengawali ini dengan mengatakan bahwa tidak selalu jelas apa yang dimaksud dengan "nonparametric" atau "semiparametric" dll. Dalam komentar, sepertinya whuber memiliki beberapa definisi formal dalam pikiran (mungkin sesuatu seperti memilih model dari beberapa keluarga mana adalah dimensi tak terbatas), tetapi saya akan menjadi sangat informal. Beberapa mungkin berpendapat bahwa metode nonparametrik adalah metode di mana jumlah parameter efektif yang Anda gunakan meningkat dengan data. Saya pikir ada video di videolectures.net di mana (saya pikir) Peter Orbanz memberikan empat atau lima cara berbeda tentang bagaimana kita dapat mendefinisikan "nonparametrik." { M θ : θ ∈ Θ } $M_\theta$$\{M_\theta: \theta \in \Theta\}$$\Theta$

Karena saya pikir saya tahu hal-hal apa yang ada dalam pikiran Anda, untuk kesederhanaan saya akan berasumsi bahwa Anda berbicara tentang menggunakan proses Gaussian untuk regresi, dengan cara yang khas: kami memiliki data pelatihan dan kami tertarik untuk memodelkan mean bersyarat . Kami menulis dan mungkin kami sangat berani untuk menganggap bahwa adalah iid dan didistribusikan secara normal, . akan menjadi satu dimensi, tetapi semuanya ke dimensi yang lebih tinggi.E ( Y | X = x ) : = f ( x ) Y i = f ( X i ) + ϵ i ϵ i ϵ i ∼ i ∼ N ( 0 , σ 2 ) X $(Y_i, X_i), i = 1, ..., n$$E(Y|X = x) := f(x)$

Jika kita dapat mengambil nilai dalam sebuah kontinum maka dapat dianggap sebagai parameter dari dimensi tak terhingga (tak terhitung). Jadi, dalam arti bahwa kami memperkirakan parameter dimensi tak terbatas , masalah kami adalah nonparametrik. Memang benar bahwa pendekatan Bayesian memiliki beberapa parameter mengambang di sana-sini. Tapi sungguh, ini disebut nonparametric karena kami memperkirakan sesuatu dengan dimensi tak terbatas. Priors GP yang kami gunakan menetapkan massa ke setiap lingkungan dari setiap fungsi kontinu, sehingga mereka dapat memperkirakan fungsi kontinu dengan sewenang-wenang. f ( ⋅ $X_i$$f(\cdot)$

Hal-hal dalam fungsi kovarians memainkan peran yang mirip dengan parameter smoothing di estimator frequentist biasa - agar masalah yang tidak benar-benar putus asa kita harus mengasumsikan bahwa ada beberapa struktur yang kita harapkan untuk melihat pameran. Bayesians mencapai ini dengan menggunakan prior pada ruang fungsi kontinu dalam bentuk proses Gaussian. Dari perspektif Bayesian, kami menyandikan kepercayaan tentang dengan mengasumsikan diambil dari seorang dokter umum dengan fungsi kovarians ini-dan-itu. Sebelumnya secara efektif menghukum estimasi karena terlalu rumit.f f $f$$f$$f$$f$

Edit untuk masalah komputasi

Sebagian besar (semua?) Barang ini ada di buku Proses Gaussian oleh Rasmussen dan Williams.

Masalah komputasi rumit untuk dokter. Jika kita melanjutkan secara niavely kita akan membutuhkan memori ukuran hanya untuk menahan matriks kovarians dan (ternyata operasi untuk membalikkannya. Ada beberapa hal yang dapat kita lakukan untuk membuat semuanya lebih layak. Satu opsi adalah untuk mencatat bahwa pria yang benar-benar kita butuhkan adalah , solusi untuk mana adalah matriks kovarians. Metode gradien konjugasi memecahkan ini tepat dalam perhitungan , tetapi jika kita memuaskan diri kita dengan solusi perkiraan kita dapat mengakhiri algoritma gradien konjugat setelah langkah dan melakukannya diO ( N 3 ) v ( K + σ 2 I ) v = Y K O ( N 3 ) k O ( k N 2 ) $O(N^2)$$O(N^3)$$v$$(K + \sigma^2 I)v = Y$$K$$O(N^3)$$k$$O(kN^2)$perhitungan. Kita juga tidak perlu menyimpan seluruh matriks sekaligus.$K$

Jadi kami telah pindah dari ke , tetapi ini masih berskala empat dalam , jadi kami mungkin tidak bahagia. Hal terbaik berikutnya adalah bekerja sebagai gantinya dengan subset dari data, katakanlah ukuran mana membalikkan dan menyimpan matriks tidak terlalu buruk. Tentu saja, kami tidak ingin membuang data yang tersisa. Subset dari pendekatan regressor mencatat bahwa kita dapat menurunkan rata-rata posterior GP kita sebagai regresi data pada fungsi basis data- ditentukan oleh fungsi kovarians kita; jadi kita membuang semuanya kecuali dari perhitungan ini dan kita menuju perhitungan .$O(N^3)$$O(kN^2)$$N$$m$$m \times m$$Y$$N$$m$$O(m^2 N)$

Ada beberapa opsi potensial lainnya. Kita bisa membangun pendekatan peringkat rendah ke , dan mengatur mana adalah dan peringkat ; itu ternyata pembalik dalam hal ini dapat dilakukan dengan bukan pembalik . Pilihan lain adalah memilih fungsi kovarians menjadi jarang dan menggunakan metode gradien konjugat - jika matriks kovarians sangat jarang maka ini dapat mempercepat perhitungan secara substansial.K = Q Q T Q n × q q K + σ 2 I Q T Q + σ 2$K$$K = QQ^T$$Q$$n \times q$$q$$K + \sigma^2 I$$Q^TQ + \sigma^2 I$

Secara umum, "nonparametrik" dalam Bayesian nonparametrics mengacu pada model dengan jumlah tak terbatas (potensial) parameter. Ada banyak tutorial dan ceramah yang sangat bagus tentang subjek di videolectures.net ( seperti ini ) yang memberikan tinjauan bagus tentang kelas model ini.

Secara khusus, Proses Gaussian (GP) dianggap nonparametrik karena GP mewakili fungsi (yaitu vektor dimensi tak terbatas). Ketika jumlah titik data meningkat ((x, f (x)) berpasangan), demikian juga jumlah 'parameter' model (membatasi bentuk fungsi). Tidak seperti model parametrik, di mana jumlah parameter tetap tetap sehubungan dengan ukuran data, dalam model nonparametrik, jumlah parameter tumbuh dengan jumlah titik data.

Parameter yang Anda sebut sebagai hiperparameter bukan parameter yang termotivasi secara fisik dan karenanya namanya. Mereka digunakan hanya untuk parameterisasi fungsi kernel. Untuk memberikan contoh, dalam kernel Gaussian:

$K(x_i,x_j) = h^2 \exp(\frac{-(x_i - x_j)^2}{\lambda^2})$

yang dan adalah hyperparameters tetapi mereka tidak berhubungan dengan jumlah seperti suhu, konsentrasi polusi, dll, yang mungkin Anda alami dalam model parametrik benar.$h$$\lambda$

Masalah ini dibahas dalam kuliah ini juga, mungkin membantu untuk mendapatkan pemahaman yang lebih baik.