Alasan intuitif mengapa Fisher Information of Binomial berbanding terbalik dengan

Ini membingungkan / mengejutkan saya bahwa Binomial memiliki varian yang sebanding dengan . Secara setara, informasi Fisher sebanding dengan $p(1-p)$ . Apa alasannya? Mengapa Informasi Fisher diminimalkan padap=0,5? Artinya, mengapa inferensi paling sulit padap=0,5?$\frac{1}{p(1-p)}$$p=0.5$$p=0.5$

Konteks:

Saya sedang mengerjakan kalkulator ukuran sampel, dan rumus untuk , ukuran sampel yang dibutuhkan, adalah faktor peningkatan p ( 1 - p ) , hasil estimasi varians dalam derivasi.$N$$p(1-p)$

Untuk melihat, secara intuitif, bahwa varians dimaksimalkan pada , ambil p sama dengan 0,99 (resp. P = 0,01 ). Kemudian sampel dari X ∼ Bernoulli ( p ) kemungkinan akan berisi banyak 1 's (resp. 0 's) dan hanya beberapa 0 's (resp. 1 's). Tidak banyak variasi di sana.$p = 0.5$$p$$0.99$$p = 0.01$$X \sim \text{Bernoulli}(p)$$1$$0$$0$$1$

$p$$\hat p$$p$$p$

Saya pikir intuisi lebih mudah bila dilihat dari segi varians.

$p$$p$

$\text{Var}(\hat p) = p(1-p)/n$$n$$p$$p$

$y$

Fungsi probabilitas yang sesuai:

Dalam setiap kasus perhatikan garis-garis yang menandai nilai tengah. Ketika garis rata-rata menjadi lebih 'macet' terhadap penghalang, titik di bawah rata-rata hanya bisa mendapatkan jalan kecil di bawah.

$p = \frac{1}{2}$

$\hat p$$p$

[Bentuk intuisi ini tidak memberi tahu kita mengapa ia mengambil bentuk fungsional yang tepat itu, tetapi ia menjelaskan mengapa varians harus kecil di dekat ujungnya, dan semakin kecil semakin dekat ke ujung yang Anda tuju.]

Informasi Fisher adalah varian dari fungsi skor. Dan itu terkait dengan entropi. Untuk uji coba Bernoulli kami mendapatkan sedikit untuk setiap uji coba. Jadi Informasi Fisher ini memiliki sifat yang mirip dengan Entropi Shannon, seperti yang kita harapkan. Secara khusus entropi memiliki maksimum pada 1/2 dan informasi memiliki minimum pada 1/2.