Mengapa Jeffrey dulu bermanfaat?

Saya mengerti bahwa Jeffreys prior adalah invarian di bawah parameterisasi ulang. Namun, yang tidak saya mengerti adalah mengapa properti ini diinginkan.

Mengapa Anda tidak ingin yang sebelumnya berubah di bawah perubahan variabel?

Biarkan saya melengkapi jawaban Zen. Saya tidak terlalu suka gagasan "mewakili ketidaktahuan". Yang penting bukanlah Jeffrey sebelumnya, tetapi Jeffrey posterior . Posterior ini bertujuan untuk mencerminkan sebaik mungkin informasi tentang parameter yang dibawa oleh data. Properti invarian secara alami diperlukan untuk dua poin berikut. Pertimbangkan misalnya model binomial dengan parameter proporsi tidak diketahui dan parameter peluang .$\theta$$\psi=\frac{\theta}{1-\theta}$

1. Poster Jeffreys on mencerminkan sebaik mungkin informasi tentang dibawa oleh data. Ada korespondensi satu-ke-satu antara dan . Kemudian, mentransformasikan posterior Jeffreys pada menjadi posterior on (melalui rumus perubahan variabel biasa) harus menghasilkan distribusi yang mencerminkan informasi tentang sebaik mungkin . Dengan demikian distribusi ini harus menjadi posterior Jeffreys tentang . Ini adalah properti invarian.$\theta$$\theta$$\theta$$\psi$$\theta$$\psi$$\psi$$\psi$

2. Poin penting ketika menarik kesimpulan dari analisis statistik adalah komunikasi ilmiah . Bayangkan Anda memberikan Jeffreys posterior pada kepada kolega ilmiah. Tapi dia lebih tertarik pada daripada . Maka ini bukan masalah dengan properti invarian: ia hanya harus menerapkan rumus perubahan variabel.$\theta$$\psi$$\theta$

Misalkan Anda dan seorang teman menganalisis set data yang sama menggunakan model normal. Anda mengadopsi parameterisasi biasa dari model normal menggunakan mean dan varians sebagai parameter, tetapi teman Anda lebih memilih untuk parameterisasi model normal dengan koefisien variasi dan presisi sebagai parameter (yang sempurna "legal"). Jika Anda berdua menggunakan prior Jeffreys, distribusi posterior Anda akan menjadi distribusi posterior teman Anda dengan benar diubah dari parameterisasi ke milik Anda. Dalam pengertian ini bahwa prior Jeffreys adalah "invarian"

(Ngomong-ngomong, "invarian" adalah kata yang mengerikan; yang sebenarnya kita maksudkan adalah "kovarian" dalam arti yang sama dengan tensor kalkulus / geometri diferensial, tetapi, tentu saja, istilah ini sudah memiliki makna probabilistik yang mapan, jadi kita tidak bisa menggunakannya.)

Mengapa properti konsistensi ini diinginkan? Karena, jika sebelumnya Jeffreys 'memiliki peluang untuk mewakili ketidaktahuan tentang nilai parameter dalam arti absolut (sebenarnya, itu tidak, tetapi karena alasan lain yang tidak terkait dengan "invarian"), dan tidak mengabaikan relatif terhadap parameterisasi tertentu dari model, itu harus menjadi kasus bahwa, tidak peduli parameterisasi mana yang kita pilih secara sewenang-wenang untuk memulai, posisi kita harus "cocok" setelah transformasi.

Jeffreys sendiri melanggar properti "invarian" ini secara rutin ketika membangun prior.

Makalah ini memiliki beberapa diskusi menarik tentang hal ini dan mata pelajaran terkait.

Untuk menambahkan beberapa kutipan pada jawaban hebat Zen: Menurut Jaynes, sebelumnya Jeffreys adalah contoh dari prinsip kelompok transformasi, yang dihasilkan dari prinsip ketidakpedulian:

Inti dari prinsip ini adalah: (1) kami menyadari bahwa penetapan probabilitas adalah cara untuk menggambarkan keadaan tertentu yang saya ketahui. (2) Jika bukti yang tersedia tidak memberi kami alasan untuk mempertimbangkan proposisi lebih atau kurang mungkin daripada , maka satu-satunya cara jujur ​​yang kami dapat gambarkan bahwa tingkat pengetahuan adalah memberi mereka probabilitas yang sama: . Prosedur lain mana pun akan menjadi tidak konsisten dalam arti bahwa, dengan hanya saling bertukar label kita kemudian dapat menghasilkan masalah baru di mana keadaan pengetahuan kita sama, tetapi di mana kita menetapkan probabilitas yang berbeda ...$A_1$$A_2$$p_1=p_2$$(1, 2)$

Sekarang, untuk menjawab pertanyaan Anda: "Mengapa Anda tidak ingin yang sebelumnya berubah di bawah perubahan variabel?"

Menurut Jaynes, parametrization adalah jenis lain dari label yang sewenang-wenang, dan seseorang seharusnya tidak dapat “hanya dengan pertukaran label yang menghasilkan masalah baru di mana kondisi pengetahuan kita sama, tetapi di mana kita menetapkan probabilitas yang berbeda. ”

Sementara sering menarik, jika hanya untuk menetapkan referensi sebelum terhadap yang untuk mengukur prior lainnya, Jeffreys prior mungkin benar-benar tidak berguna seperti misalnya ketika mereka menyebabkan posteriors yang tidak tepat: ini adalah contoh kasus dengan sederhana dua komponen Gaussian campuran dengan semua parameter tidak diketahui. Dalam hal ini, posterior dari Jeffrey sebelumnya tidak ada, tidak peduli berapa banyak pengamatan yang tersedia. (Buktinya tersedia dalam makalah baru - baru ini yang saya tulis dengan Clara Grazian.)

Jeffreys sebelumnya tidak berguna . Hal ini karena:

1. Itu hanya menentukan bentuk distribusi; itu tidak memberi tahu Anda apa parameternya seharusnya.
2. Anda tidak pernah benar-benar bodoh - selalu ada sesuatu tentang parameter yang Anda tahu (mis. Sering kali itu tidak dapat menjadi tak terbatas). Gunakan itu untuk kesimpulan Anda dengan mendefinisikan distribusi sebelumnya. Jangan membohongi diri sendiri dengan mengatakan bahwa Anda tidak tahu apa-apa.
3. "Invarian di bawah transformasi" bukanlah properti yang diinginkan. Kemungkinan Anda berubah di bawah transformasi (mis. Oleh Jacobian). Ini tidak menciptakan "masalah baru," langkah Jaynes. Mengapa sebelumnya tidak diperlakukan sama?

Hanya saja, jangan menggunakannya.