Saya tertarik dengan konsep Maximum Entropy Markov Model (MEMM), dan saya berpikir untuk menggunakannya untuk tagger Part of Speech (POS). Saat ini, saya menggunakan classifier Maximum Entropy (ME) konvensional untuk menandai setiap kata. Ini menggunakan sejumlah fitur, termasuk dua tag...
Dalam algoritma Metropolis – Hastings untuk pengambilan sampel distribusi target, misalkan: πiπi\pi_{i} menjadi kerapatan target di keadaan ,iii πjπj\pi_j menjadi densitas target pada status yang diusulkan ,jjj hijhijh_{ij} menjadi kepadatan proposal untuk transisi ke keadaan mengingat keadaan...
Saya memiliki kemungkinan yang cukup datar untuk mengarahkan sampler Metropolis-Hastings untuk bergerak melalui ruang parameter dengan sangat tidak teratur, yaitu tidak ada konvergensi yang dapat dicapai, apa pun parameter distribusi proposal (dalam kasus saya ini adalah gaussian). Tidak ada...
Saya mencoba mengambil sampel dari posterior yang memiliki banyak mode, terutama yang saling berjauhan menggunakan MCMC. Tampaknya dalam kebanyakan kasus, hanya satu dari mode ini yang mengandung 95% hp yang saya cari. Saya mencoba menerapkan solusi berdasarkan simulasi tempered tetapi ini tidak...
Saya menemukan artikel ini di mana dikatakan bahwa dalam pengambilan sampel Gibbs setiap sampel diterima. Saya sedikit bingung. Bagaimana jika setiap sampel yang diterima itu konvergen ke distribusi stasioner. Secara umum Algoritma Metropolis kami terima sebagai min (1, p (x *) / p (x)) di mana x...
Dari apa yang saya baca Hamiltonian Monte Carlo adalah metode "goto" MCMCketika masalah Anda adalah dimensi tinggi. Secara praktis, berapa banyak dimensi 10, 100, 1.000, 10.000, 100.000, ..., terlalu banyak? Biaya komputasi tidak diragukan lagi akan menjadi masalah dan saya kira model yang...
Saat ini saya sedang membaca " Program" Probabilistic Programming dan Metode Bayesian untuk Peretas . Saya telah membaca beberapa bab dan saya berpikir pada Bab pertama di mana contoh pertama dengan pymc terdiri dari mendeteksi titik penyihir dalam pesan teks. Dalam contoh itu variabel acak untuk...
Rantai Markov Monte Carlo adalah metode yang didasarkan pada rantai Markov yang memungkinkan kita untuk mendapatkan sampel (dalam pengaturan Monte Carlo) dari distribusi non-standar yang darinya kita tidak dapat menarik sampel secara langsung. Pertanyaan saya adalah mengapa rantai Markov...
Saat ini saya sedang belajar model Bayesian hierarkis menggunakan JAGS dari R, dan juga pymc menggunakan Python ( "Metode Bayesian untuk Peretas" ). Saya bisa mendapatkan intuisi dari posting ini : "Anda akan berakhir dengan tumpukan angka yang terlihat" seolah-olah "Anda entah bagaimana berhasil...
Saya mencoba memahami pekerjaan dalam Hamiltonian Monte Carlo (HMC), tetapi tidak dapat sepenuhnya memahami bagian ketika kita mengganti integrasi waktu deterministik dengan proposal Metropolis-Hasting. Saya membaca makalah pengantar yang luar biasa A Pengantar Konseptual untuk Hamiltonian Monte...
Saat ini saya memperkirakan model volatilitas stokastik dengan metode Markov Chain Monte Carlo. Dengan demikian, saya menerapkan metode pengambilan sampel Gibbs dan Metropolis. Dengan asumsi saya mengambil rata-rata distribusi posterior daripada sampel acak dari itu, apakah ini yang biasa disebut...
Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 8 bulan lalu . Saat ini saya sedang dalam proses menerapkan model untuk...
Di MCMC, bagaimana waktu burn-in dipilih? Dengan kata lain, berapa lama Anda perlu menunggu sebelum Anda berpikir rantai Markov telah mencapai distribusi terbatasnya? Terima
Kenapa Hierarkis? : Saya sudah mencoba meneliti masalah ini, dan dari apa yang saya pahami, ini adalah masalah "hierarkis", karena Anda membuat pengamatan tentang pengamatan dari suatu populasi, daripada membuat pengamatan langsung dari populasi itu. Referensi:
Sifat diskrit dari DP membuatnya tidak cocok untuk aplikasi umum dalam Bayesian nonparametrics, tetapi sangat cocok untuk masalah penempatan prior pada komponen campuran dalam pemodelan campuran. Kutipan ini dari Hierarchical Dirichlet Processes (Teh, et al, (2006) ) dan saya mencari penjelasan...
Dalam implementasi MCMC model hirarkis, dengan efek acak normal dan Wishart sebelum matriks kovariannya, sampling Gibbs biasanya digunakan. Namun, jika kita mengubah distribusi efek acak (mis. Ke Student's-t atau yang lain), konjugasinya hilang. Dalam hal ini, apa yang akan menjadi distribusi...
Bayangkan bahwa kita mengambil sampel matriks kovarians dari distribusi Wishart oleh MCMC. Pada setiap iterasi, kami mendapatkan matriks sampel dari distribusi Wishart.SsayaSiS_i Pertanyaan : Mengingat jejak yang berisi semua sampel , dapatkah saya memplot korelasi otomatis sampel ini?S1, . ....
Dalam rantai Metropolis-Hastings Markov Monte Carlo, distribusi proposal dapat berupa apa saja termasuk Gaussian (menurut Wikipedia). T: Apa motivasi untuk menggunakan selain Gaussian? Gaussian bekerja, mudah untuk mengevaluasi, cepat dan semua orang memahaminya. Mengapa saya mempertimbangkan hal...
Saya telah membaca komentar yang bagus mengenai bagaimana menangani nilai yang hilang sebelum menerapkan SVD, tetapi saya ingin tahu cara kerjanya dengan contoh sederhana: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Mengingat matriks di atas, jika saya menghapus...
Aku punya model yang berjalan: Single parameter -> Complex likelihood function -> Log-likelihood. Saya mengeksekusi rantai MCMC (menggunakan pymc) dan merencanakan jejak parameter dan log-likelihood. Estimasi parameter akhirnya masuk akal, tetapi plot log-likelihood tampak aneh bagi...