Apa hubungan antara ukuran sampel dan pengaruh prior on posterior?

Jika kita memiliki ukuran sampel yang kecil, apakah distribusi sebelumnya akan banyak mempengaruhi distribusi posterior?

Iya. Distribusi posterior untuk parameter , diberikan set data X dapat ditulis sebagai$\theta$${\bf X}$

$$p(\theta | {\bf X}) \propto \underbrace{p({\bf X} | \theta)}_{{\rm likelihood}} \cdot \underbrace{p(\theta)}_{{\rm prior}}$$

atau, seperti yang lebih umum ditampilkan pada skala log,

$$\log( p(\theta | {\bf X}) ) = c + L(\theta;{\bf X}) + \log(p(\theta))$$

Log-likelihood, , berskala dengan ukuran sampel , karena merupakan fungsi dari data, sedangkan kepadatan sebelumnya tidak. Oleh karena itu, ketika ukuran sampel meningkat, nilai absolut L ( θ ; X ) semakin besar sementara log ( p ( θ ) ) tetap tetap (untuk nilai tetap θ ), dengan demikian jumlah L ( θ ; X$L(\theta;{\bf X}) = \log \left( p({\bf X}|\theta) \right)$$L(\theta;{\bf X})$$\log(p(\theta))$$\theta$ menjadi lebih banyak dipengaruhi oleh L ( θ ; X ) ketika ukuran sampel meningkat.$L(\theta;{\bf X}) + \log(p(\theta))$$L(\theta;{\bf X})$

Karena itu, untuk langsung menjawab pertanyaan Anda - distribusi sebelumnya menjadi kurang relevan karena menjadi lebih besar daripada kemungkinannya. Jadi, untuk ukuran sampel yang kecil, distribusi sebelumnya memainkan peran yang jauh lebih besar. Ini setuju dengan intuisi karena, Anda akan berharap bahwa spesifikasi sebelumnya akan memainkan peran yang lebih besar ketika tidak ada banyak data yang tersedia untuk membantahnya sedangkan, jika ukuran sampel sangat besar, sinyal yang ada dalam data akan lebih besar daripada apa pun yang ditentukan Keyakinan dimasukkan ke dalam model.

Berikut adalah upaya untuk mengilustrasikan paragraf terakhir dalam jawaban Makro (+1) yang unggul. Ini menunjukkan dua prior untuk parameter dalam distribusi B i n o m i a l ( n , p ) . Untuk beberapa n yang berbeda , distribusi posterior ditunjukkan ketika x = n / 2 telah diamati. Seperti n tumbuh, baik posteriors menjadi lebih dan lebih terkonsentrasi di sekitar 1 / 2 .$p$${\rm Binomial}(n,p)$$n$$x=n/2$$n$$1/2$

Untuk perbedaannya cukup besar, tetapi untuk n = 50 hampir tidak ada perbedaan.$n=2$$n=50$

Kedua prior bawah (hitam) dan B e t a ( 2 , 2 ) (merah). Posteriors memiliki warna yang sama dengan priors dari mana mereka berasal.${\rm Beta(1/2,1/2)}$${\rm Beta(2,2)}$

(Perhatikan bahwa untuk banyak model lain dan prior lainnya, tidak akan cukup untuk yang sebelumnya tidak penting!)$n=50$