mensimulasikan sampel acak dengan MLE yang diberikan

17

Pertanyaan yang Divalidasi Lintas ini menanyakan tentang mensimulasikan sampel dengan syarat jumlah tetap mengingatkan saya pada masalah yang dibuat oleh George Casella .

f(x|θ)(X1,,Xn)θ

θ^(x1,,xn)=argmini=1nlogf(xi|θ)
θ θ (X1,...,Xn)(X1,,Xn)θ^(X1,,Xn)

Misalnya, ambil distribusi , dengan parameter lokasi , yang densitasnya adalah Jika bagaimana kita bisa mensimulasikan tergantung pada \ hat {\ mu} (X_1, \ ldots, X_n) = \ mu_0 ? Dalam contoh \ mathfrak {T} _5 ini , distribusi \ hat {\ mu} (X_1, \ ldots, X_n) tidak memiliki ekspresi bentuk tertutup.T5μ

f(x|μ)=Γ(3)Γ(1/2)Γ(5/2)[1+(xμ)2/5]3
(X1,,Xn)iidf(x|μ)
(X1,,Xn)μ^(X1,,Xn)=μ0T5μ^(X1,,Xn)
Xi'an
sumber

Jawaban:

20

Salah satu pilihan adalah menggunakan varian HMC terbatas seperti yang dijelaskan dalam Keluarga Metode MCMC tentang Manifold yang Didefinisikan Secara Implisit oleh Brubaker et al (1). Ini mensyaratkan bahwa kita dapat menyatakan kondisi bahwa estimasi kemungkinan-maksimum parameter lokasi sama dengan beberapa tetap μ0karena beberapa batasan holonomik yang didefinisikan secara implisit (dan dapat dibedakan) c({xi}i=1N)=0 . Kami kemudian dapat mensimulasikan subjek dinamis Hamiltonian terbatas untuk kendala ini, dan menerima / menolak dalam langkah Metropolis-Hastings seperti dalam HMC standar.

Negatif log-likelihood adalah

L=i=1N[logf(xi|μ)]=3i=1N[log(1+(xiμ)25)]+constant
yang memiliki turunan parsial urutan pertama dan kedua sehubungan dengan parameter lokasiμ Perkiraan kemungkinan maksimum dariμ0kemudian secara implisit didefinisikan sebagai solusi untuk c=Ni=1[2(μ0-xi)
Lμ=3i=1N[2(μxi)5+(μxi)2]and2Lμ2=6i=1N[5(μxi)2(5+(μxi)2)2].
μ0
c=i=1N[2(μ0xi)5+(μ0xi)2]=0subject toi=1N[5(μ0xi)2(5+(μ0xi)2)2]>0.

Saya tidak yakin apakah ada hasil yang menunjukkan akan ada MLE unik untuk untuk diberikan { x i } N i = 1 - kepadatan tidak log-cekung dalam μ sehingga tampaknya tidak sepele untuk menjamin ini. Jika ada solusi unik tunggal di atas secara implisit mendefinisikan manifold N - 1 dimensi yang terhubung yang tertanam dalam R N yang sesuai dengan himpunan { x i } N i = 1 dengan MLE untuk μ sama denganμ{xi}i=1NμN1RN{xi}i=1Nμμ0. Jika ada beberapa solusi maka manifold dapat terdiri dari beberapa komponen yang tidak terhubung yang beberapa di antaranya mungkin sesuai dengan minimum dalam fungsi kemungkinan. Dalam hal ini kita perlu memiliki beberapa mekanisme tambahan untuk bergerak di antara komponen yang tidak terhubung (karena dinamika yang disimulasikan secara umum akan tetap terbatas pada satu komponen tunggal) dan memeriksa kondisi orde kedua dan menolak langkah jika itu terkait dengan pindah ke kemungkinan minimal.

Jika kita menggunakan untuk menunjukkan vektor [ x 1 ... x N ] T dan memperkenalkan keadaan momentum konjugat p dengan matriks massa M dan pengali Lagrange λ untuk kendala skalar c ( x ) maka solusi untuk sistem ODE d xx[x1xN]TpMλc(x) diberikan kondisi awalx(0)=x0,p(0)=p0denganc(x0)=0danc

dxdt=M1p,dpdt=Lxλcxsubject toc(x)=0andcxM1p=0
x(0)=x0, p(0)=p0c(x0)=0, mendefinisikan dinamika Hamiltonian yang terbatas yang tetap terbatas pada manifold kendala, dapat dibalik waktu dan secara tepat melindungi elemen volume Hamiltonian dan bermacam-macam. Jika kita menggunakan integrator symplectic untuk sistem Hamiltonian dibatasi seperti SHAKE (2) atau rattle (3), yang justru mempertahankan kendala pada setiap timestep dengan memecahkan untuk Lagrange multiplier, kita dapat mensimulasikan dinamika yang tepat ke depanLdiskrit timestepsδtdari beberapa kendala awal memuaskancx|x0M1p0=0Lδt dan menerima pasangan negara baru yang diusulkan x x,p dengan probabilitas min { 1 ,x,p Jika kita interleave pembaruan dinamika ini dengan resampling penuh / sebagian dari momentum dari Gaussian marginal mereka (terbatas pada subruang linier yang ditentukan olehc
min{1,exp[L(x)L(x)+12pTM1p12pTM1p]}.
) kemudian memodulasi kemungkinan ada beberapa komponen manifold kendala yang tidak terhubung, dinamika MCMC keseluruhan harus ergodik dan contoh keadaan konfigurasixakan mencakup distribusi ke kepadatan target terbatas pada manifold kendala .cxM1p=0x

Untuk melihat bagaimana HMC terbatas dilakukan untuk kasus di sini saya menjalankan implementasi HMC berbasis integrator geodesik yang dijelaskan dalam (4) dan tersedia di Github di sini (pengungkapan penuh: Saya adalah seorang penulis (4) dan pemilik repositori Github), yang menggunakan variasi skema integrator 'geodesic-BAOAB' yang diusulkan dalam (5) tanpa langkah Ornstein-Uhlenbeck stochastic. Dalam pengalaman saya, skema integrasi geodesik ini pada umumnya sedikit lebih mudah disetel daripada skema RATTLE yang digunakan dalam (1) karena fleksibilitas ekstra menggunakan beberapa langkah dalam yang lebih kecil untuk gerakan geodesik pada manifold kendala. Notebook IPython yang menghasilkan hasilnya tersedia di sini .

N=3μ=1μ0=2xμ0δt=0.5L=5x

Lacak plot untuk contoh 3D

dan nilai yang sesuai dari turunan urutan pertama dan kedua dari log-likelihood negatif ditunjukkan di bawah ini

Log-kemungkinan plot jejak turunan

xxR3

Visualisasi 3D sampel terbatas pada manifold 2D

ϵ0RN|c(x)|<ϵcxTcx

Referensi

  1. MA Brubaker, M. Salzmann, dan R. Urtasun. Keluarga metode MCMC pada manifold yang didefinisikan secara implisit. Dalam Prosiding Konferensi Internasional ke-15 tentang Kecerdasan Buatan dan Statistik , 2012.
    http://www.cs.toronto.edu/~mbrubake/projects/AISTATS12.pdf

  2. J.-P. Ryckaert, G. Ciccotti, dan HJ Berendsen. Integrasi numerik persamaan gerak sistem Cartesian dengan kendala: dinamika molekul n-alkana. Jurnal Fisika Komputasi , 1977.
    http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.399.6868

  3. HC Andersen. RATTLE: Versi "kecepatan" dari algoritma SHAKE untuk perhitungan dinamika molekul. Jurnal Fisika Komputasi , 1983.
    http://www.sciencedirect.com/science/article/pii/0021999183900141

  4. MM Graham dan AJ Storkey. Kesimpulan tepat asimptotik dalam model bebas kemungkinan. arXiv pra-cetak arXiv: 1605.07826v3 , 2016.
    https://arxiv.org/abs/1605.07826

  5. B. Leimkuhler dan C. Matthews. Dinamika molekuler yang efisien menggunakan integrasi geodesik dan pemisahan solven-solute. Proc R. Soc. A. Vol. 472. No. 2189. The Royal Society , 2016.
    http://rspa.royalsocietypublishing.org/content/472/2189/20160138.abstract

Matt Graham
sumber
3
Cemerlang dan membuka perspektif baru dan cerah! Terima kasih.
Xi'an