Statistik yang cukup untuk orang awam

Bisakah seseorang tolong jelaskan statistik yang cukup dalam istilah yang sangat mendasar? Saya berasal dari latar belakang teknik, dan saya telah melalui banyak hal tetapi gagal menemukan penjelasan yang intuitif.

Statistik yang memadai merangkum semua informasi yang terkandung dalam sampel sehingga Anda akan membuat taksiran parameter yang sama apakah kami memberi Anda sampel atau hanya statistik itu sendiri. Ini pengurangan data tanpa kehilangan informasi.

Ini salah satu contohnya. Misalkan memiliki distribusi simetris tentang nol. Alih-alih memberi Anda sampel, saya memberikan sampel nilai absolut sebagai gantinya (itulah statistik). Anda tidak bisa melihat tandanya. Tetapi Anda tahu bahwa distribusinya simetris, jadi untuk nilai yang diberikan x , - x dan x kemungkinan sama besar (probabilitas bersyarat 0,5 ). Jadi Anda bisa melempar koin yang adil. Jika muncul kepala, buat itu x negatif. Jika berbuntut, buatlah positif. Ini memberi Anda sampel dari X ′ , yang memiliki distribusi yang sama dengan data asli $X$$x$$-x$$x$$0.5$$x$$X'$$X$. Anda pada dasarnya dapat merekonstruksi data dari statistik. Itu yang membuatnya cukup.

Dalam istilah Bayesian, Anda memiliki beberapa properti $X$ dapat diamati dan parameter $\Theta$ . Distribusi gabungan untuk $X,\Theta$ ditentukan, tetapi diperhitungkan sebagai distribusi bersyarat dari $X\mid \Theta$ dan distribusi sebelumnya $\Theta$ . Statistik $T$ cukup untuk model ini jika dan hanya jika distribusi posterior $\Theta\mid X$ sama dengan $\Theta\mid T(X)$ , untuk setiap distribusi $\Theta$ . Dengan kata lain, ketidakpastian Anda yang diperbarui tentang $\Theta$ setelah mengetahui nilai$X$ sama dengan ketidakpastian Anda yang diperbarui tentang$\Theta$ setelah mengetahui nilai$T(X)$ ,apa pun informasi sebelumnya yang Anda miliki tentang $\Theta$ . Ingatlah bahwa kecukupan adalah konsep yang bergantung pada model.

Katakanlah Anda memiliki koin, dan Anda tidak tahu apakah itu adil atau tidak. Dengan kata lain, ia memiliki probabilitas $p$ untuk muncul kepala ( $H$ ) dan $1 - p$ muncul ekor ( $T$ ), dan Anda tidak tahu nilai $p$ .

Anda mencoba untuk mendapatkan ide tentang nilai $p$ dengan melemparkan koin beberapa kali, katakanlah $n$ kali.

Katakanlah $n = 5$ dan hasil yang Anda dapatkan adalah urutan $(H, H, T, H, T)$ .

Sekarang Anda ingin teman ahli statistik Anda memperkirakan nilai $p$ untuk Anda, dan mungkin memberi tahu Anda apakah koin itu kemungkinan adil atau tidak. Informasi apa yang perlu Anda sampaikan kepada mereka sehingga mereka dapat melakukan perhitungan dan membuat kesimpulan?

Anda bisa memberi tahu mereka semua data, yaitu $(H, H, T, H, T)$ . Apakah ini perlu? Bisakah Anda meringkas data ini tanpa kehilangan informasi yang relevan?

Jelas bahwa urutan lemparan koin tidak relevan, karena Anda melakukan hal yang sama untuk setiap lemparan koin, dan lemparan koin tidak saling memengaruhi. Jika hasilnya $(H, H, T, T, H)$ sebagai gantinya, misalnya, kesimpulan kami tidak akan berbeda. Oleh karena itu, yang benar-benar Anda butuhkan untuk memberi tahu teman ahli statistik Anda adalah hitungan dari berapa banyak kepala di sana.

Kami menyatakan ini dengan mengatakan jumlah kepala adalah statistik yang cukup untuk hal .

Contoh ini memberi aroma konsep. Baca terus jika Anda ingin melihat bagaimana itu terhubung dengan definisi formal.

Secara formal, statistik cukup untuk suatu parameter jika, mengingat nilai statistik, distribusi probabilitas dari hasil tidak melibatkan parameter.

Dalam contoh ini, sebelum kita mengetahui jumlah kepala, probabilitas hasil adalah $p^\text{number of heads}(1 - p)^\text{n - number of heads}$ . Jelas ini tergantung pada $p$ .

$(H, H, T, H, T)$$(H, H, T, T, H)$$...$$1/10$$p$$p$$p$

$p$$\text{number of heads}$$\text{number of heads}$$p$