Apakah ada bukti matematis formal bahwa solusi untuk Masalah Tank Jerman adalah fungsi dari hanya parameter k (jumlah sampel yang diamati) dan m (nilai maksimum di antara sampel yang diamati)? Dengan kata lain, dapatkah seseorang membuktikan bahwa solusinya tidak tergantung pada nilai sampel lain selain nilai maksimum?
mathematical-statistics
sufficient-statistics
Bogdan Alexandru
sumber
sumber
Jawaban:
Kemungkinan
Masalah umum dalam teori probabilitas merujuk pada probabilitas pengamatan diberikan model tertentu dan diberikan parameter (sebut saja ) yang terlibat. Misalnya probabilitas untuk situasi tertentu dalam permainan kartu atau permainan dadu seringkali sangat mudah.x1,x2,...,xn θ
Namun, dalam banyak situasi praktis kita berhadapan dengan situasi terbalik ( statistik inferensial ). Yaitu: pengamatan diberikan dan sekarang model tidak diketahui , atau setidaknya kita tidak tahu parameter tertentu .x1,x2,...,xk θθ
Dalam jenis masalah ini kita sering merujuk pada istilah yang disebut kemungkinan parameter, , yang merupakan tingkat kepercayaan pada parameter tertentu diberikan pengamatan . Istilah ini dinyatakan proporsional dengan probabilitas untuk pengamatan dengan asumsi bahwa parameter model akan benar secara hipotesis.L(θ) θ x1,x2,..xk x1,x2,..xk θ L(θ,x1,x2,..xk)∝probability observations x1,x2,..xk given θ
Untuk nilai parameter yang diberikan semakin besar kemungkinan observasi tertentu adalah (relatif terhadap probabilitas dengan nilai parameter lainnya), semakin banyak pengamatan mendukung parameter khusus ini (atau teori / hipotesis yang mengasumsikan parameter ini) . Kemungkinan tinggi (relatif) akan memperkuat keyakinan kami tentang nilai parameter tersebut (ada banyak hal yang lebih filosofis untuk dikatakan tentang ini).θ x1,x2,..xn
Kemungkinan masalah tangki Jerman
Sekarang untuk masalah tank Jerman fungsi kemungkinan untuk sekumpulan sampel adalah:x1,x2,..xk
Apakah Anda mengamati sampel {1, 2, 10} atau sampel {8, 9, 10} tidak masalah ketika sampel dipertimbangkan dari distribusi yang seragam dengan parameter . Kedua sampel memiliki kemungkinan yang sama dengan probabilitas dan menggunakan gagasan kemungkinan satu sampel tidak memberi tahu lebih banyak tentang parameter daripada sampel lainnya.θ (θ3)−1 θ
Nilai tinggi {8, 9, 10} mungkin membuat Anda berpikir / percaya bahwa harus lebih tinggi. Tetapi, hanya nilai {10} Yang benar-benar memberi Anda informasi yang relevan tentang kemungkinan (nilai 10 memberi tahu Anda bahwa akan sepuluh atau lebih tinggi, nilai-nilai lain 8 dan 9 tidak berkontribusi apa pun pada informasi ini. ).θ θ θθ θ
Teorisasi faktorisasi Fisher Neyman
Teorema ini memberi tahu Anda bahwa statistik tertentu (yaitu beberapa fungsi pengamatan, seperti rata-rata, median, atau seperti dalam masalah tank Jerman maksimum) cukup (berisi semua informasi) ketika Anda dapat memfaktorkan keluar, dalam fungsi kemungkinan, istilah yang bergantung pada pengamatan lain , sehingga faktor ini tidak bergantung pada parameter dan (dan bagian dari fungsi kemungkinan yang menghubungkan data dengan nilai parameter hipotetis hanya tergantung pada statistik tetapi tidak keseluruhan data / pengamatan).T(x1,x2,…,xk) x1,x2,…,xk θ x1,x2,…,xk
Kasus tangki Jerman sederhana. Anda dapat melihat di atas bahwa seluruh ekspresi untuk Kemungkinan di atas sudah hanya bergantung pada statistik dan sisa dari nilai tidak masalah.max(x1,x2,..xk) x1,x2,..xk
Game kecil sebagai contoh
Katakanlah kita memainkan game berikut berulang kali: itu sendiri adalah variabel acak dan digambar dengan probabilitas yang sama baik 100 atau 110. Kemudian kita menggambar sampel .θ x1,x2,...,xk
Kami ingin memilih strategi untuk menebak , berdasarkan pengamatan yang memaksimalkan peluang kami untuk mendapatkan tebakan .θ x1,x2,...,xk θ
Strategi yang tepat adalah memilih 100 kecuali salah satu angka dalam sampel adalah> 100.
Kita bisa tergoda untuk memilih nilai parameter 110 sudah ketika banyak dari cenderung semua nilai tinggi mendekati seratus (tetapi tidak ada yang persis lebih dari seratus), tetapi itu akan salah. Probabilitas untuk pengamatan semacam itu akan lebih besar ketika nilai parameter yang sebenarnya adalah 100 daripada ketika itu adalah 110. Jadi jika kita menebak, dalam situasi seperti itu, 100 sebagai nilai parameter, maka kita akan cenderung membuat kesalahan (karena situasi dengan nilai-nilai tinggi ini mendekati seratus, namun masih di bawahnya, lebih sering terjadi dalam kasus bahwa nilai sebenarnya adalah 100 daripada kasus bahwa nilai sebenarnya adalah 110).x1,x2,...,xk
sumber
Anda belum mempresentasikan formulasi yang tepat dari "masalah", jadi tidak jelas apa yang Anda minta untuk dibuktikan. Dari perspektif Bayesian, probabilitas posterior tergantung pada semua data. Namun, setiap pengamatan dari nomor seri tertentu akan paling mendukung nomor itu. Artinya, diberikan setiap pengamatan , rasio odds antara posterior dan sebelum akan lebih besar untuk hipotesis "jumlah sebenarnya tank adalah " daripada itu untuk "jumlah sebenarnya dari tangki adalah [angka selain ]". Jadi, jika kita mulai dengan seragam sebelumnya, maka akan memiliki posterior tertinggi setelah melihat pengamatan itu.n n n n
Pertimbangkan kasus di mana kita memiliki titik data , dan hipotesis . Jelas, posterior untuk adalah nol. Dan posisi kita untuk akan lebih besar dari sebelumnya. Alasan untuk ini adalah bahwa dalam penalaran Bayesian, tidak adanya bukti adalah bukti tidak adanya. Kapan saja kita memiliki kesempatan di mana kita bisa membuat pengamatan yang akan menurunkan probabilitas kita, tetapi tidak, probabilitas meningkat. Karena kita bisa melihat , yang akan mengatur posisi kita untuk menjadi nol, fakta bahwa kita tidak melihatnya berarti kita harus meningkatkan posisi untuk13 N=10,13,15 N=10 N=13,15 16 N=13,15 N=13,15 . Tetapi perhatikan bahwa semakin kecil angkanya, semakin banyak angka yang bisa kita lihat yang tidak termasuk angka itu. Untuk , kita akan menolak hipotesis bahwa setelah melihat . Tetapi untuk , kita akan membutuhkan setidaknya untuk menolak hipotesis. Karena hipotesis lebih dapat dipalsukan daripada , fakta bahwa kami tidak memalsukan adalah lebih banyak bukti untuk , daripada tidak memalsukan adalah bukti untuk .N=13 14,15,16,... N=15 16 N=13 N=15 N=13 N=13 N=15 N=15
Jadi setiap kali kita melihat suatu titik data, ia menetapkan posterior dari segala yang di bawahnya menjadi nol, dan meningkatkan posterior dari yang lainnya, dengan angka yang lebih kecil mendapatkan dorongan terbesar. Dengan demikian, angka yang mendapat dorongan terbesar secara keseluruhan akan menjadi angka terkecil yang posteriornya tidak ditetapkan nol, yaitu nilai maksimum pengamatan.
Angka-angka yang kurang dari jumlah maksimum memengaruhi seberapa besar dorongan maksimum yang didapat, tetapi itu tidak memengaruhi tren umum kenaikan maksimum yang mendapat dorongan terbesar. Perhatikan contoh di atas, di mana kita telah melihat . Jika angka berikutnya yang kita lihat adalah , apa dampaknya? Ini membantu lebih dari , tetapi kedua nomor telah ditolak, jadi itu tidak relevan. Ini membantu lebih dari , tetapi sudah membantu lebih dari , sehingga tidak mempengaruhi angka mana yang paling terbantu.13 5 5 6 13 15 13 15
sumber