Saya sedang mengerjakan masalah inferensi dimensi tinggi (sekitar 2000 parameter model) yang kami mampu melakukan estimasi MAP dengan kuat dengan menemukan maksimum global log-posterior menggunakan kombinasi optimasi berbasis gradien dan algoritma genetika.
Saya sangat ingin dapat membuat beberapa estimasi ketidakpastian pada parameter model selain menemukan estimasi MAP.
Kami dapat menghitung gradien log-posterior secara efisien berkenaan dengan parameter, sehingga jangka panjang kami bertujuan untuk menggunakan Hamiltonian MCMC untuk melakukan beberapa pengambilan sampel, tetapi untuk saat ini saya tertarik pada perkiraan berbasis non-sampling.
Satu-satunya pendekatan yang saya tahu adalah untuk menghitung kebalikan dari Hessian pada mode untuk memperkirakan posterior sebagai multivariat normal, tetapi bahkan ini tampaknya tidak mungkin untuk sistem besar seperti itu, karena bahkan jika kita menghitung elemen dari Hessian Saya yakin kami tidak dapat menemukan kebalikannya.
Adakah yang bisa menyarankan pendekatan seperti apa yang biasanya digunakan dalam kasus seperti ini?
Terima kasih!
EDIT - informasi tambahan tentang masalah tersebut
Latar Belakang
Ini adalah masalah terbalik yang terkait dengan eksperimen fisika besar. Kami memiliki mesh segitiga 2D yang menggambarkan beberapa bidang fisik, dan parameter model kami adalah nilai fisik dari bidang tersebut di setiap simpul mesh. Mesh memiliki sekitar 650 simpul, dan kami memodelkan 3 bidang, jadi dari situlah parameter model 2000 kami berasal.
Data eksperimental kami berasal dari instrumen yang tidak mengukur bidang ini secara langsung, tetapi jumlah yang merupakan fungsi non-linier rumit dari bidang tersebut. Untuk masing-masing instrumen yang berbeda kami memiliki model-maju yang memetakan parameter model untuk prediksi data eksperimen, dan perbandingan antara prediksi dan pengukuran menghasilkan kemungkinan log.
Kami kemudian merangkum kemungkinan log dari semua instrumen yang berbeda ini, dan juga menambahkan beberapa nilai log sebelumnya yang menerapkan beberapa kendala fisik ke bidang.
Karenanya saya ragu 'model' ini masuk ke dalam kategori - kita tidak punya pilihan apa model itu, itu ditentukan oleh bagaimana instrumen yang sebenarnya berfungsi yang mengumpulkan data eksperimental kita.
Kumpulan
data Kumpulan data terdiri dari 500x500 gambar, dan ada satu gambar untuk setiap kamera sehingga total poin data adalah 500x500x4 = .
Model kesalahan
Kami menganggap semua kesalahan dalam masalah menjadi Gaussian saat ini. Pada titik tertentu saya mungkin mencoba untuk beralih ke model kesalahan siswa-t hanya untuk beberapa fleksibilitas ekstra, tetapi hal-hal masih berfungsi dengan baik hanya dengan orang Gaussi.
Contoh
kemungkinan Ini adalah eksperimen fisika plasma, dan sebagian besar data kami berasal dari kamera yang menunjuk ke plasma dengan filter khusus di depan lensa untuk hanya melihat bagian spesifik dari spektrum cahaya.
Untuk mereproduksi data ada dua langkah; pertama-tama kita harus memodelkan cahaya yang berasal dari plasma di mesh, kemudian kita harus memodelkan cahaya itu kembali ke gambar kamera.
Pemodelan cahaya yang berasal dari plasma sayangnya tergantung pada apa yang secara efektif menilai koefisien, yang mengatakan berapa banyak cahaya yang dipancarkan oleh berbagai proses yang diberikan ladang. Angka-angka ini diprediksi oleh beberapa model numerik yang mahal, jadi kami harus menyimpan outputnya di grid, dan kemudian menginterpolasi untuk mencari nilai. Data fungsi tingkat hanya dihitung sekali - kita menyimpannya kemudian membangun spline darinya ketika kode mulai, dan kemudian spline itu digunakan untuk semua evaluasi fungsi.
Misalkan dan adalah fungsi tingkat (yang kita mengevaluasi dengan interpolasi), maka emisi pada 'th titik dari mesh diberikan oleh
Karena kesalahan adalah Gaussian, kemungkinan log untuk kamera khusus ini adalah
di mana adalah data kamera. Total log-likelihood adalah jumlah 4 dari ekspresi di atas, namun untuk kamera yang berbeda, yang semua memiliki versi yang berbeda dari fungsi tingkat karena mereka sedang melihat bagian yang berbeda dari spektrum cahaya.
Contoh sebelumnya
Kami memiliki berbagai prior yang secara efektif hanya menetapkan batas atas dan bawah tertentu pada berbagai kuantitas, tetapi ini cenderung tidak bertindak terlalu kuat pada masalah. Kami memiliki satu sebelum yang bertindak kuat, yang secara efektif menerapkan perataan tipe Laplacian untuk bidang. Itu juga mengambil bentuk Gaussian:
Jawaban:
Pertama-tama, saya pikir model statistik Anda salah. Saya mengubah notasi Anda menjadi lebih dikenal oleh ahli statistik, jadi mari
menjadi vektor pengamatan Anda (data), dan
vektor parameter Anda, dari total dimensid=3p≈2000 . Kemudian, jika saya mengerti dengan benar, Anda menganggap model
Ini jelas salah. Tidak mungkin kesalahan pada titik yang berbeda dalam gambar dari kamera yang sama, dan pada titik yang sama dalam gambar dari kamera yang berbeda, bersifat independen. Anda harus melihat statistik spasial dan model seperti kuadrat terkecil umum, estimasi semivariogram, kriging, Proses Gaussian, dll.
Karena itu, karena pertanyaan Anda bukanlah apakah modelnya merupakan perkiraan yang baik dari proses pembuatan data aktual, tetapi bagaimana memperkirakan model seperti itu, saya akan menunjukkan kepada Anda beberapa opsi untuk melakukan itu.
HMC
Pro : "tepat", dalam batas jumlah sampel tak terbatas dari rantai.
Cons : tidak ada batasan ketat pada kesalahan estimasi, ada beberapa metrik diagnostik konvergensi, tetapi tidak ada yang ideal.
Perkiraan sampel besar
Inferensi variabel
sumber
Anda mungkin ingin memeriksa beberapa perangkat lunak "bayesX" dan mungkin juga perangkat lunak "inla". keduanya kemungkinan memiliki beberapa ide yang dapat Anda coba. Google itu
keduanya sangat bergantung pada mengeksploitasi sparsity dalam parameterisasi matriks presisi (yaitu independensi kondisional, model tipe markov) - dan memiliki algoritma inversi yang dirancang untuk ini. sebagian besar contoh didasarkan pada model guassian multi level atau auto regressive. harus cukup mirip dengan contoh yang Anda posting
sumber