Prasyarat matematika dan statistik untuk memahami filter partikel?

Saat ini saya mencoba memahami filter partikel dan kemungkinan penggunaannya dalam keuangan dan saya berjuang sedikit. Apa prasyarat matematika dan statistik yang harus saya tinjau kembali (berasal dari latar belakang keuangan kuantitatif) untuk (i) membuat dasar-dasar filter partikel dapat diakses, dan (ii) untuk kemudian memahaminya secara menyeluruh? Saya memiliki pengetahuan yang kuat tentang ekonometrik seri waktu tingkat pascasarjana, dengan pengecualian model ruang-negara, yang belum saya bahas.

Setiap petunjuk sangat dihargai!

Anda bisa sangat jauh dengan hanya beberapa konsep dasar. Notasi, ledakan variabel dll ... dapat membuat segalanya terlihat rumit, tetapi gagasan inti dari penyaringan partikel sangat sederhana.

Beberapa probabilitas dasar yang Anda perlu (dan kemungkinan sudah melakukannya!) Memahami:

• Komputasi distribusi marjinal :$P(X = x) = \sum_i P(X = x, Y = y_i)$
• Def. Peluang bersyarat:$P(X \mid Y) = \frac{P(X,Y)}{P(Y)}$
• Aturan Bayes:$P(X \mid Y) = \frac{P(Y \mid X) P(X)}{P(Y)}$
• Istilah Bayesian: mis. sebelumnya, kemungkinan, posterior (+1 @Yair Daon, saya setuju!)

Langkah-langkah dasar filter partikel sangat sederhana:

Pertama:

• Mulailah dengan beberapa keyakinan tentang keadaan tersembunyi. Misalnya, Anda dapat mulai dengan keyakinan bahwa roket Anda ada di landasan peluncuran. (Dalam filter partikel, kepercayaan tentang keadaan tersembunyi akan diwakili dengan awan titik, setiap titik menunjukkan nilai yang mungkin dari keadaan tersembunyi. Setiap titik juga dikaitkan dengan probabilitas negara menjadi keadaan sebenarnya.)

Kemudian Anda mengulangi langkah-langkah berikut untuk memperbarui dari waktu ke waktu :t + $t$$t+1$

1. Langkah prediksi: Memajukan lokasi poin berdasarkan hukum gerak. (mis. memindahkan poin ke depan berdasarkan kecepatan roket saat ini, lintasan dll ...). Ini biasanya akan memperluas awan poin seiring meningkatnya ketidakpastian.
2. Langkah pembaruan probabilitas: Gunakan data, input sensor untuk memperbarui probabilitas yang terkait dengan poin menggunakan Bayes Rule. Ini biasanya akan runtuh kembali awan poin karena ketidakpastian berkurang.
3. Tambahkan beberapa langkah / trik khusus penyaringan partikel. Misalnya. :
   • Kadang-kadang, sampel ulang poin Anda sehingga setiap poin memiliki probabilitas yang sama.
   • Campurkan beberapa kebisingan, cegah langkah probabilitas Anda (2) dari merobohkan awan titik Anda terlalu banyak (dalam penyaringan partikel, penting bahwa setidaknya ada satu titik dengan probabilitas positif secara samar-samar di lokasi Anda yang sebenarnya!)

Contoh:

Inisialisasi filter Anda: - Lihat lokasi Anda, tempat Anda berdiri. Sekarang tutup matamu.

Kemudian beralih:

1. Ambil langkah maju dengan mata tertutup.
2. Prediksi langkah: diberikan kepercayaan masa lalu tentang di mana Anda sedang berdiri, memprediksi di mana Anda sekarang berdiri diberikan sebuah langkah maju. (Perhatikan bagaimana ketidakpastian meluas karena langkah Anda ke depan dengan mata tertutup tidak super tepat!)
3. Perbarui langkah: Gunakan sensor (mis. Meraba-raba, dll ...) untuk memperbarui keyakinan Anda tentang di mana Anda berdiri.

ULANG!

Mesin probabilitas yang diperlukan untuk mengimplementasikan pada dasarnya hanyalah probabilitas dasar: aturan Bayes, menghitung distribusi marginal dll ...

Gagasan yang sangat terkait yang mungkin membantu memahami gambaran besar:

Dalam beberapa hal, langkah (1) dan (2) adalah umum untuk setiap masalah pemfilteran Bayesian . Beberapa konsep yang sangat terkait untuk dibaca:

• Model Markov tersembunyi . Suatu proses adalah Markov jika masa lalu tidak tergantung pada masa depan mengingat keadaan saat ini. Hampir semua deret waktu dimodelkan sebagai semacam proses Markov. Sebuah Hidden Markov Model adalah salah satu di mana negara tidak secara langsung diamati (misalnya. Anda tidak pernah langsung mengamati lokasi yang tepat dari roket Anda dan bukannya menyimpulkan lokasi itu melalui Bayesian filter).
• Filter Kalman . Ini adalah alternatif untuk penyaringan partikel yang umum digunakan. Ini pada dasarnya adalah filter Bayesian di mana semuanya diasumsikan Gaussian multivarian.

Anda harus belajar tentang model ruang keadaan kode yang lebih mudah dan pemfilteran bentuk tertutup terlebih dahulu (mis. Filter kalman, model markov tersembunyi). Matthew Gunn benar bahwa Anda bisa mendapatkan jauh dengan konsep-konsep sederhana, tetapi menurut pendapat saya, Anda harus menjadikan ini tujuan menengah karena:

1.) Secara relatif, ada lebih banyak bagian yang bergerak dalam model ruang negara. Ketika Anda mempelajari SSM atau model markov tersembunyi, ada banyak notasi. Ini berarti ada lebih banyak hal untuk disimpan dalam memori kerja Anda saat Anda bermain-main dengan memverifikasi hal-hal. Secara pribadi, ketika saya pertama kali belajar tentang filter Kalman dan SSM linear-Gaussian, saya pada dasarnya berpikir "eh ini semua hanya sifat-sifat dari vektor normal multivarian ... Saya hanya perlu melacak matriks mana yang mana." Juga, jika Anda berpindah antar buku, mereka sering mengubah notasi.

Setelah itu saya memikirkannya seperti "eh, ini semua hanya aturan Bayes di setiap titik waktu." Setelah Anda memikirkannya dengan cara ini, Anda memahami mengapa keluarga konjugasi itu baik, seperti dalam kasus filter Kalman. Saat Anda membuat kode model markov tersembunyi, dengan ruang status diskritnya, Anda tahu mengapa Anda tidak harus menghitung kemungkinan apa pun, dan penyaringan / pemulusan mudah. (Saya pikir saya menyimpang dari jargon hmm konvensional di sini.)

2.) Memotong gigi Anda pada pengkodean banyak ini akan membuat Anda menyadari betapa umum definisi model ruang keadaan. Segera Anda akan menuliskan model yang ingin Anda gunakan, dan pada saat yang sama melihat mengapa Anda tidak bisa. Pertama, pada akhirnya Anda akan melihat bahwa Anda tidak dapat menuliskannya di salah satu dari dua bentuk yang biasa Anda gunakan. Ketika Anda memikirkannya sedikit lagi, Anda menuliskan aturan Bayes, dan melihat masalahnya adalah ketidakmampuan Anda untuk menghitung semacam kemungkinan data.

Jadi, Anda pada akhirnya akan gagal menghitung distribusi posterior ini (menghaluskan atau memfilter distribusi status). Untuk mengatasinya, ada banyak hal tentang penyaringan di luar sana. Pemfilteran partikel hanyalah salah satunya. Bagian utama dari penyaringan partikel: Anda mensimulasikan dari distribusi ini karena Anda tidak dapat menghitungnya.

Bagaimana Anda mensimulasikan? Sebagian besar algoritma hanyalah beberapa varian dari sampel penting. Tapi itu menjadi lebih rumit di sini juga. Saya merekomendasikan makalah tutorial oleh Doucet dan Johansen ( http://www.cs.ubc.ca/~arnaud/doucet_johansen_tutorialPF.pdf ). Jika Anda mengetahui cara penyaringan formulir tertutup berfungsi, mereka memperkenalkan gagasan umum tentang pentingnya pengambilan sampel, kemudian gagasan umum metode monte carlo, dan kemudian menunjukkan kepada Anda cara menggunakan kedua hal ini untuk memulai dengan contoh seri waktu keuangan yang bagus. IMHO, ini adalah tutorial terbaik tentang penyaringan partikel yang saya temui.

Selain menambahkan dua ide baru ke dalam campuran (sampling penting dan metode monte carlo), ada lebih banyak notasi sekarang. Beberapa kepadatan yang Anda sampel dari sekarang; beberapa yang Anda evaluasi, dan ketika Anda mengevaluasinya, Anda mengevaluasi pada sampel. Hasilnya, setelah Anda membuat kode semuanya, adalah sampel tertimbang, partikel yang dianggap. Mereka berubah setelah setiap pengamatan baru. Akan sangat sulit untuk mengambil semua ini sekaligus. Saya pikir ini suatu proses.

Saya minta maaf jika saya dianggap sebagai samar, atau handwavy. Ini hanya garis waktu untuk keakraban pribadi saya dengan subjek. Posting Matthew Gunn mungkin lebih langsung menjawab pertanyaan Anda. Saya hanya berpikir saya akan membuang tanggapan ini.