Salah satu pilihan adalah menggunakan varian HMC terbatas seperti yang dijelaskan dalam Keluarga Metode MCMC tentang Manifold yang Didefinisikan Secara Implisit oleh Brubaker et al (1). Ini mensyaratkan bahwa kita dapat menyatakan kondisi bahwa estimasi kemungkinan-maksimum parameter lokasi sama dengan beberapa tetap μ0karena beberapa batasan holonomik yang didefinisikan secara implisit (dan dapat dibedakan) c({xi}Ni=1)=0 . Kami kemudian dapat mensimulasikan subjek dinamis Hamiltonian terbatas untuk kendala ini, dan menerima / menolak dalam langkah Metropolis-Hastings seperti dalam HMC standar.
Negatif log-likelihood adalah
L=−∑i=1N[logf(xi|μ)]=3∑i=1N[log(1+(xi−μ)25)]+constant
yang memiliki turunan parsial urutan pertama dan kedua sehubungan dengan parameter lokasi
μ
Perkiraan kemungkinan maksimum dari
μ0kemudian secara implisit didefinisikan sebagai solusi untuk
c=N∑i=1[2(μ0-xi)∂L∂μ=3∑i=1N[2(μ−xi)5+(μ−xi)2]and∂2L∂μ2=6∑i=1N[5−(μ−xi)2(5+(μ−xi)2)2].
μ0c=∑i=1N[2(μ0−xi)5+(μ0−xi)2]=0subject to∑i=1N[5−(μ0−xi)2(5+(μ0−xi)2)2]>0.
Saya tidak yakin apakah ada hasil yang menunjukkan akan ada MLE unik untuk untuk diberikan { x i } N i = 1 - kepadatan tidak log-cekung dalam μ sehingga tampaknya tidak sepele untuk menjamin ini. Jika ada solusi unik tunggal di atas secara implisit mendefinisikan manifold N - 1 dimensi yang terhubung yang tertanam dalam R N yang sesuai dengan himpunan { x i } N i = 1 dengan MLE untuk μ sama denganμ{xi}Ni=1μN−1RN{xi}Ni=1μμ0. Jika ada beberapa solusi maka manifold dapat terdiri dari beberapa komponen yang tidak terhubung yang beberapa di antaranya mungkin sesuai dengan minimum dalam fungsi kemungkinan. Dalam hal ini kita perlu memiliki beberapa mekanisme tambahan untuk bergerak di antara komponen yang tidak terhubung (karena dinamika yang disimulasikan secara umum akan tetap terbatas pada satu komponen tunggal) dan memeriksa kondisi orde kedua dan menolak langkah jika itu terkait dengan pindah ke kemungkinan minimal.
Jika kita menggunakan untuk menunjukkan vektor [ x 1 ... x N ] T dan memperkenalkan keadaan momentum konjugat p dengan matriks massa M dan pengali Lagrange λ untuk kendala skalar c ( x ) maka solusi untuk sistem ODE
d xx[x1…xN]TpMλc(x)
diberikan kondisi awalx(0)=x0,p(0)=p0denganc(x0)=0dan ∂ c
dxdt=M−1p,dpdt=−∂L∂x−λ∂c∂xsubject toc(x)=0and∂c∂xM−1p=0
x(0)=x0, p(0)=p0c(x0)=0, mendefinisikan dinamika Hamiltonian yang terbatas yang tetap terbatas pada manifold kendala, dapat dibalik waktu dan secara tepat melindungi elemen volume Hamiltonian dan bermacam-macam. Jika kita menggunakan integrator symplectic untuk sistem Hamiltonian dibatasi seperti SHAKE (2) atau rattle (3), yang justru mempertahankan kendala pada setiap timestep dengan memecahkan untuk Lagrange multiplier, kita dapat mensimulasikan dinamika yang tepat ke depan
Ldiskrit timesteps
δtdari beberapa kendala awal memuaskan
∂c∂x∣∣x0M−1p0=0Lδt dan menerima pasangan negara baru yang diusulkan
x ′x,p dengan probabilitas
min { 1 ,x′,p′
Jika kita interleave pembaruan dinamika ini dengan resampling penuh / sebagian dari momentum dari Gaussian marginal mereka (terbatas pada subruang linier yang ditentukan oleh
∂cmin{1,exp[L(x)−L(x′)+12pTM−1p−12p′TM−1p′]}.
) kemudian memodulasi kemungkinan ada beberapa komponen manifold kendala yang tidak terhubung, dinamika MCMC keseluruhan harus ergodik dan contoh keadaan konfigurasi
xakan mencakup distribusi ke kepadatan target terbatas pada manifold kendala .
∂c∂xM−1p=0x
Untuk melihat bagaimana HMC terbatas dilakukan untuk kasus di sini saya menjalankan implementasi HMC berbasis integrator geodesik yang dijelaskan dalam (4) dan tersedia di Github di sini (pengungkapan penuh: Saya adalah seorang penulis (4) dan pemilik repositori Github), yang menggunakan variasi skema integrator 'geodesic-BAOAB' yang diusulkan dalam (5) tanpa langkah Ornstein-Uhlenbeck stochastic. Dalam pengalaman saya, skema integrasi geodesik ini pada umumnya sedikit lebih mudah disetel daripada skema RATTLE yang digunakan dalam (1) karena fleksibilitas ekstra menggunakan beberapa langkah dalam yang lebih kecil untuk gerakan geodesik pada manifold kendala. Notebook IPython yang menghasilkan hasilnya tersedia di sini .
N=3μ=1μ0=2xμ0δt=0.5L=5x
dan nilai yang sesuai dari turunan urutan pertama dan kedua dari log-likelihood negatif ditunjukkan di bawah ini
xxR3
ϵ→0RN|c(x)|<ϵ∂c∂xT∂c∂x−−−−−−√
Referensi
MA Brubaker, M. Salzmann, dan R. Urtasun. Keluarga metode MCMC pada manifold yang didefinisikan secara implisit. Dalam Prosiding Konferensi Internasional ke-15 tentang Kecerdasan Buatan dan Statistik , 2012.
http://www.cs.toronto.edu/~mbrubake/projects/AISTATS12.pdf
J.-P. Ryckaert, G. Ciccotti, dan HJ Berendsen. Integrasi numerik persamaan gerak sistem Cartesian dengan kendala: dinamika molekul n-alkana. Jurnal Fisika Komputasi , 1977.
http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.399.6868
HC Andersen. RATTLE: Versi "kecepatan" dari algoritma SHAKE untuk perhitungan dinamika molekul. Jurnal Fisika Komputasi , 1983.
http://www.sciencedirect.com/science/article/pii/0021999183900141
MM Graham dan AJ Storkey. Kesimpulan tepat asimptotik dalam model bebas kemungkinan. arXiv pra-cetak arXiv: 1605.07826v3 , 2016.
https://arxiv.org/abs/1605.07826
B. Leimkuhler dan C. Matthews. Dinamika molekuler yang efisien menggunakan integrasi geodesik dan pemisahan solven-solute. Proc R. Soc. A. Vol. 472. No. 2189. The Royal Society , 2016.
http://rspa.royalsocietypublishing.org/content/472/2189/20160138.abstract