Menggunakan informasi geometri untuk menentukan jarak dan volume ... berguna?

13

Saya datang di besar tubuh sastra yang menganjurkan menggunakan Informasi Fisher metrik sebagai metrik lokal alami di ruang distribusi probabilitas dan kemudian mengintegrasikan lebih dari itu untuk menentukan jarak dan volume.

Tetapi apakah jumlah "terintegrasi" ini sebenarnya berguna untuk apa saja? Saya tidak menemukan pembenaran teoretis dan sedikit sekali aplikasi praktis. Salah satunya adalah karya Guy Lebanon di mana ia menggunakan "jarak Fisher" untuk mengklasifikasikan dokumen dan satu lagi adalah ABC Rodriguez of Selection Model ... di mana "volume Fisher" digunakan untuk pemilihan model. Rupanya, menggunakan "volume informasi" memberikan peningkatan "order of magnitude" di atas AIC dan BIC untuk pemilihan model, tetapi saya belum melihat adanya tindak lanjut atas pekerjaan itu.

Pembenaran teoretis mungkin memiliki ikatan generalisasi yang menggunakan ukuran jarak atau volume ini dan lebih baik daripada batas yang berasal dari MDL atau argumen asimptotik, atau metode yang mengandalkan salah satu dari jumlah ini yang terbukti lebih baik dalam beberapa situasi yang cukup praktis, apakah ada Adakah hasil semacam ini?

model-selection information-geometry Yaroslav Bulatov
sumber
Informasi Fisher memberikan batas bawah dalam estimasi parameter. Ini adalah metrik alami karena kira-kira mengatakan seperti "ke arah ini kesulitan masalah saya tidak bisa berkurang lebih dari itu". Apa yang Anda sebut batas generalisasi adalah batas atas? Anda ingin tahu kinerja metode yang menggunakan metrik Fisher (daftar besar yang Anda sebutkan adalah daftar yang baik)? maaf tapi saya tidak benar-benar mendapatkan pertanyaan :) bisakah Anda merumuskan kembali hal itu?
robin girard
Katakanlah Matriks Informasi Fisher memberikan tensor metrik Riemannian kami. Ini memungkinkan kita menemukan panjang kurva dari setiap kurva dengan mengintegrasikan. Kemudian Anda menentukan jarak antara p dan q sebagai panjang gelombang terkecil di atas semua kurva yang menghubungkan p dan q. Ini adalah ukuran jarak yang saya tanyakan. Sama dengan volume.
Yaroslav Bulatov
1
Jadi, seperti contohnya, Rodriguez mendapatkan peningkatan yang signifikan dengan menggunakan "volume informasi" sebagai ukuran kompleksitas model, tetapi yang mengejutkan saya tidak dapat melihat orang lain mencoba ini
Yaroslav Bulatov

Jawaban:

5

Ada kertas baca minggu lalu di Royal Statistics Society tentang teknik MCMC atas manifold Riemann, terutama menggunakan metrik informasi Fisher: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

Hasilnya tampak menjanjikan, meskipun seperti yang penulis tunjukkan, dalam banyak model yang menarik (seperti model campuran) informasi Fisher tidak memiliki bentuk analitik.

Simon Byrne
sumber
1
Apakah itu kertas "manifold Riemann Langevin"? Apakah mengintegrasikan informasi Fisher di beberapa titik?
Yaroslav Bulatov
4

Argumen yang paling diketahui adalah bahwa metrik nelayan, yang tidak berubah untuk mengoordinasikan transformasi, dapat digunakan untuk merumuskan sebelumnya yang tidak mendapat informasi (sebelumnya Jeffreys). Tidak yakin saya membelinya!

Yang kurang dikenal, adalah bahwa kadang-kadang "kuantitas terpadu" ini berubah menjadi divergensi dan semacamnya, orang mungkin berpendapat bahwa jarak nelayan menghasilkan seperangkat divergensi yang umum (dan sifat-sifatnya).

Tapi tetap saja, saya belum menemukan deskripsi intuitif yang bagus tentang informasi nelayan dan jumlah yang dihasilkannya. Tolong beritahu saya jika Anda menemukannya.

Lucas
sumber
Banyak hal yang diketahui tentang Fisher Information, informasi integral nelayan yang tidak saya yakini. Saya tidak terbiasa dengan apa yang Anda katakan tentang Fisher Information berubah menjadi beberapa perbedaan yang diketahui tentang integrasi
Yaroslav Bulatov
4

Alasan "tidak ada tindak lanjut" adalah karena sangat sedikit orang yang memahami pekerjaan Rodriguez selama bertahun-tahun. Ini hal penting dan kita akan melihatnya lebih banyak di masa depan saya yakin.

Namun, beberapa orang akan berpendapat bahwa metrik Fisher hanya merupakan pendekatan urutan ke-2 untuk metrik yang sebenarnya (misalnya makalah Neumann tentang penetapan prior entropik ) yang sebenarnya ditentukan oleh jarak Kullback-Liebler (atau generalisasi daripadanya) dan yang mengarah pada formulasi Zellner tentang Prior MDI.

Michael
sumber