Misalkan saya ingin mengambil sampel dari distribusi berkelanjutan . Jika saya memiliki ekspresi dalam formulirp
di mana , dan f_i adalah distribusi yang dapat dengan mudah diambil sampelnya, maka saya dapat dengan mudah menghasilkan sampel dari p dengan:
- Mengambil sampel label dengan probabilitas
- Pengambilan sampel
Apakah mungkin untuk menggeneralisasi prosedur ini jika terkadang negatif? Saya kira saya pernah melihat ini dilakukan di suatu tempat - mungkin dalam sebuah buku, mungkin untuk distribusi Kolmogorov - jadi saya akan dengan senang hati menerima referensi sebagai jawaban.
Jika contoh mainan beton sangat membantu, katakanlah saya ingin mengambil sampel dari
Pada prinsipnya, saya dapat memperluas ini sebagai jumlah berikut:
The -terms dalam jumlah yang kemudian dapat secara independen sampel dari sebagai Gamma acak variates. Masalah saya jelas bahwa koefisien "kadang-kadang" negatif.
Sunting 1 : Saya mengklarifikasi bahwa saya berusaha untuk menghasilkan sampel yang tepat dari , daripada menghitung ekspektasi dalam . Bagi yang berminat, beberapa prosedur untuk melakukannya disinggung dalam komentar.
Sunting 2 : Saya menemukan referensi yang mencakup pendekatan tertentu untuk masalah ini, dalam 'Generasi Variabel Acak Non-Seragam' milik Devroye . Algoritma ini dari 'Catatan tentang Pengambilan Sampel dari Kombinasi Distribusi', dari Bignami dan de Matteis . Metode ini secara efektif mengikat kepadatan dari atas dengan syarat positif penjumlahan, dan kemudian menggunakan sampel penolakan berdasarkan amplop ini. Ini sesuai dengan metode yang dijelaskan dalam jawaban @ Xi'an.
Jawaban:
Saya telah bingung dengan pertanyaan ini tetapi tidak pernah datang dengan solusi yang memuaskan.
Satu properti yang mungkin digunakan adalah bahwa, jika kepadatan menulis mana adalah a kerapatan sedemikian sehingga , disimulasikan dari dan menolak simulasi ini dengan probabilitas memberikan simulasi dari . Dalam kasus saat ini, adalah versi normal dari komponen bobot positif dan adalah sisanya
Kelemahan komputasi pertama dari pendekatan ini adalah bahwa, meskipun mensimulasikan terlebih dahulu dari komponen dipilih , jumlah dalam dan harus dihitung untuk langkah penolakan. Jika jumlahnya tidak terbatas tanpa versi formulir tertutup, ini membuat metode accept-reject tidak mungkin untuk diterapkan .fi g h
Kesulitan kedua adalah, karena kedua jumlah bobot memiliki urutan yang sama tingkat penolakantidak memiliki batas atas. Sebenarnya jika seri yang terkait dengan tidak sepenuhnya konvergen, kemungkinan penerimaannya nol! Dan metode ini tidak dapat diterapkan dalam situasi ini.
Dalam kasus representasi campuran, jika dapat ditulis sebagai komponen dapat dipilih terlebih dahulu dan kemudian metode yang diterapkan pada komponen. Tapi ini mungkin sulit untuk diterapkan, mengidentifikasi pasangan yang sesuai dengan dari jumlah yang mungkin tak terbatas yang belum tentu layak.f
Saya pikir resolusi yang lebih efisien bisa berasal dari representasi seri itu sendiri. Devroye, Pembuatan variasi acak yang tidak seragam , Bagian IV.5, berisi berbagai metode seri. Sebagai contoh, algoritma berikut untuk representasi seri alternatif dari target ketika ' s konvergen ke nol dengan dan adalah densitas:
Masalahnya telah dipertimbangkan baru-baru ini dalam konteks debiasing estimator yang bias untuk MCMC, seperti misalnya dalam pendekatan Glynn-Rhee . Dan penaksir roulette Rusia (dengan koneksi dengan masalah pabrik Bernoulli). Dan metodologi MCMC yang tidak bias . Tapi tidak ada jalan keluar dari masalah tanda ... Yang membuat penggunaannya menantang ketika memperkirakan kepadatan seperti dalam metode pseudo-marginal.
sumber
Saya memiliki konsep ide yang dapat bekerja. Itu tidak tepat , tapi semoga asymptotically tepat. Untuk mengubahnya menjadi metode yang sangat ketat, di mana aproksimasi dikendalikan, atau sesuatu tentang hal itu dapat dibuktikan, mungkin ada banyak pekerjaan yang diperlukan.
Pertama, seperti yang disebutkan oleh Xi'an, Anda dapat mengelompokkan bobot positif di satu sisi dan bobot negatif di sisi lain, sehingga pada akhirnya masalah hanya memiliki dua distribusi dan :g h
dengan . Perhatikan bahwa Anda memiliki .λ−μ=1 λ≥1
Ide saya adalah sebagai berikut. Anda ingin sampel pengamatan dari . Melakukan:N p
Pada akhirnya Anda mendapatkan poin. Tidak harus persis tetangga terdekat , tetapi hanya titik yang "cukup dekat". Langkah pertama adalah seperti menghasilkan materi. Langkah kedua adalah seperti menghasilkan antimateri dan membiarkannya bertabrakan dan membatalkan materi. Metode ini tidak tepat, tetapi saya percaya, dalam beberapa kondisi, ini asymptotically tepat untuk besar (untuk membuatnya hampir tepat untuk kecil Anda perlu menggunakan besar pertama dan kemudian mengambil bagian acak kecil dari daftar akhir) . Saya memberikan argumen yang sangat informal yang lebih merupakan penjelasan daripada bukti.(λ−μ)N=N N n N
Pertimbangkan dalam ruang observasi dan volume kecil sekitar dengan volume Lebesgue . Setelah pengambilan sampel dari , jumlah elemen dalam daftar yang juga dalam adalah aproksimasi . Setelah langkah kedua, kira-kira akan dihapus darinya, dan Anda memiliki perkiraan angka yang diinginkan . Untuk ini, Anda perlu mengasumsikan bahwa jumlah titik dalam volume cukup besar.x v x ϵ g v λNg(x)ϵ μNh(x)ϵ Np(x)ϵ
Metode ini sangat tidak mungkin untuk menolak dimensi besar atau beberapa patologi dan tetapi mungkin bekerja dalam dimensi kecil dan distribusi "cukup seragam" yang cukup lancar.g h
Perhatikan tentang metode yang tepat:
Saya pertama kali memikirkan hal ini untuk distribusi diskrit, dan jelas dalam hal ini metode ini tidak tepat, karena dapat menghasilkan sampel yang memiliki probabilitas 0. Saya memiliki intuisi yang kuat bahwa metode yang tepat tidak mungkin dengan waktu pemrosesan yang terbatas, dan bahwa ini ketidakmungkinan bisa dibuktikan, setidaknya untuk distribusi diskrit. Aturan permainannya adalah Anda hanya diperbolehkan menggunakan sampler "oracle" yang tepat untuk dan tetapi tidak tahu dan sebagai fungsi . Untuk kesederhanaan, batasi distribusi Bernoulli. Tidak adanya metode yang tepat terkait dengan teori Pabrik Bernoulli : jika Anda dapat membuat -koin darig h g h x (λp−μq) p -coin dan -coin, maka Anda bisa membuat -coin dari -coin yang diketahui tidak mungkin untuk .q λp p λ>1
sumber