Menjelaskan kepada orang awam mengapa bootstrap berfungsi

Saya baru-baru ini menggunakan bootstrap untuk memperkirakan interval kepercayaan untuk suatu proyek. Seseorang yang tidak tahu banyak tentang statistik baru-baru ini meminta saya untuk menjelaskan mengapa bootstrap berfungsi, yaitu, mengapa melakukan resampling sampel yang sama berulang kali memberikan hasil yang baik. Saya menyadari bahwa walaupun saya telah menghabiskan banyak waktu untuk memahami cara menggunakannya, saya tidak begitu mengerti mengapa bootstrap berfungsi.

Secara khusus: jika kita melakukan resampling dari sampel kita, bagaimana kita bisa belajar sesuatu tentang populasi daripada hanya tentang sampel? Tampaknya ada lompatan di sana yang agak kontra-intuitif.

Saya telah menemukan beberapa jawaban untuk pertanyaan ini di sini yang saya setengah mengerti. Khususnya yang ini . Saya adalah "konsumen" statistik, bukan ahli statistik, dan saya bekerja dengan orang-orang yang tahu lebih sedikit tentang statistik daripada saya. Jadi, bisakah seseorang menjelaskan, dengan referensi minimum pada teorema, dll., Alasan dasar di balik bootstrap? Yaitu, jika Anda harus menjelaskannya kepada tetangga Anda, apa yang akan Anda katakan?

fwiw versi panjang menengah yang biasanya saya berikan berjalan seperti ini:

Anda ingin mengajukan pertanyaan tentang populasi tetapi Anda tidak bisa. Jadi, Anda mengambil sampel dan mengajukan pertanyaan sebagai gantinya. Sekarang, seberapa yakin Anda seharusnya bahwa jawaban sampel dekat dengan jawaban populasi jelas tergantung pada struktur populasi. Salah satu cara Anda mempelajari hal ini adalah dengan mengambil sampel dari populasi berulang kali, mengajukan pertanyaan kepada mereka, dan melihat bagaimana variabel jawaban sampel cenderung. Karena ini tidak mungkin, Anda dapat membuat beberapa asumsi tentang bentuk populasi, atau Anda dapat menggunakan informasi dalam sampel yang sebenarnya harus Anda pelajari.

Bayangkan Anda memutuskan untuk membuat asumsi, mis. Bahwa itu Normal, atau Bernoulli atau fiksi nyaman lainnya. Mengikuti strategi sebelumnya, Anda dapat belajar lagi tentang seberapa banyak jawaban untuk pertanyaan Anda ketika ditanya tentang sampel mungkin bervariasi tergantung pada sampel tertentu yang Anda dapatkan dengan berulang kali menghasilkan sampel dengan ukuran yang sama dengan yang Anda miliki dan menanyakannya kepada yang sama. pertanyaan. Itu akan langsung sejauh Anda memilih asumsi nyaman secara komputasi. (Memang asumsi yang sangat nyaman ditambah matematika non-sepele memungkinkan Anda untuk memotong bagian pengambilan sampel sama sekali, tetapi kami akan dengan sengaja mengabaikannya di sini.)

Ini sepertinya ide yang bagus asalkan Anda senang membuat asumsi. Bayangkan Anda tidak. Alternatifnya adalah dengan mengambil sampel yang Anda miliki dan mengambil sampel darinya. Anda dapat melakukan ini karena sampel yang Anda miliki juga merupakan populasi, hanya sampel yang sangat kecil; sepertinya histogram dari data Anda. Pengambilan sampel 'dengan penggantian' hanyalah cara yang nyaman untuk memperlakukan sampel seperti populasi dan mengambil sampel dengan cara yang mencerminkan bentuknya.

Ini adalah hal yang wajar untuk dilakukan karena tidak hanya sampel yang Anda miliki yang terbaik, memang satu - satunya informasi yang Anda miliki tentang seperti apa populasi sebenarnya, tetapi juga karena sebagian besar sampel akan, jika mereka dipilih secara acak, terlihat sangat mirip dengan populasi mereka berasal. Akibatnya, kemungkinan milik Anda juga demikian.

Untuk intuisi, penting untuk memikirkan bagaimana Anda dapat belajar tentang variabilitas dengan mengumpulkan informasi sampel yang dihasilkan dalam berbagai cara dan berbagai asumsi. Sepenuhnya mengabaikan kemungkinan solusi matematika bentuk tertutup adalah penting untuk memperjelas hal ini.

+1 ke @ConjugatePrior, saya hanya ingin mengeluarkan satu poin yang tersirat dalam jawabannya. Pertanyaannya adalah, "jika kita sampel ulang dari sampel kita, bagaimana kita belajar sesuatu tentang populasi daripada hanya tentang sampel?" Resampling ini tidak dilakukan untuk memberikan perkiraan distribusi penduduk - kita mengambil sampel kami sendiri sebagai model dari populasi. Melainkan, resampling dilakukan untuk memberikan perkiraan distribusi sampling dari statistik sampel yang bersangkutan.

Ini mungkin penjelasan yang lebih teknis yang ditujukan untuk orang yang mengerti beberapa statistik dan matematika (setidaknya kalkulus). Berikut ini adalah slide dari kursus tentang bootstraps survei yang saya ajarkan beberapa waktu lalu:

Beberapa penjelasan dibutuhkan, tentu saja. adalah prosedur untuk memperoleh statistik dari data yang ada (atau, tepatnya secara teknis, fungsional dari fungsi distribusi ke bilangan real; misalnya, rerata adalah E [ X ] = ∫ x d F , di mana untuk distribusi sampel fungsi F n ( ) , d F dipahami sebagai massa titik pada titik sampel). Dalam populasi, dilambangkan dengan F ( ) , penerapan T memberikan parameter bunga $T$$E[X]=\int x {\rm d}F$$F_n()$${\rm d}F$$F()$$T$$\theta$. Sekarang, kami telah mengambil sampel (panah pertama di atas), dan memiliki empiris fungsi distribusi - kita menerapkan T untuk itu untuk mendapatkan estimasi θ n . Seberapa jauh dari θ , kita bertanya-tanya? Bagaimana distribusi bahwa kuantitas acak θ n mungkin memiliki sekitar θ ? Ini adalah tanda tanya di kiri bawah diagram, dan ini adalah pertanyaan yang coba dijawab oleh bootstrap. Untuk menyatakan kembali poin gung, ini bukan pertanyaan tentang populasi, tetapi pertanyaan tentang statistik tertentu dan distribusinya.$F_n()$$T$$\hat\theta_n$$\theta$$\hat\theta_n$$\theta$

Jika kami dapat mengulangi prosedur pengambilan sampel kami, kami bisa mendapatkan distribusi itu dan belajar lebih banyak. Ya, itu biasanya di luar kemampuan kami. Namun, jika

1. cukup dekat dengan F , dalam arti yang sesuai, dan$F_n$$F$
2. pemetaan cukup halus, yaitu, jika kita mengambil penyimpangan kecil dari F ( ) , hasilnya akan dipetakan ke angka yang dekat dengan θ ,$T$$F()$$\theta$

$F_n()$$F()$$n^n$$n\le 5$$\hat\theta_n^*$$\hat\theta_n$$\hat\theta_n$$\theta$

$\hat\theta_n^*$$\hat\theta_n$

$T$$F_n$$F$$\hat\theta_n^*$$\hat \theta_n$$\hat\theta_n$$\theta$$F$

$n^n$$\hat\theta_n$$\theta$$\hat\theta_n^{(*r)}$$\hat\theta_n^*$$\hat\theta_n$

Saya menjawab pertanyaan ini karena saya setuju bahwa ini adalah hal yang sulit untuk dilakukan dan ada banyak kesalahpahaman. Efron dan Diaconis berusaha melakukan itu dalam artikel Scientific American 1983 mereka dan dalam pandangan saya mereka gagal. Ada beberapa buku yang sekarang dikhususkan untuk bootstrap yang melakukan pekerjaan dengan baik. Efron dan Tibshirani melakukan pekerjaan besar dalam artikel mereka di Ilmu Statistik pada tahun 1986. Saya berusaha keras untuk membuat bootstrap dapat diakses oleh praktisi di buku metode bootstrap saya dan pengantar saya untuk bootstrap dengan aplikasi ke buku R. Hall bagus, tetapi sangat maju dan teoretis. . Tim Hesterberg telah menulis bab tambahan yang bagus untuk salah satu buku statistik pengantar David Moore. Almarhum Clifford Lunneborg memiliki buku yang bagus. Chihara dan Hesterberg baru-baru ini mengeluarkan buku statistik matematika tingkat menengah yang mencakup bootstrap dan metode resampling lainnya. Bahkan buku-buku canggih seperti Lahiri atau Shao dan Tu memberikan penjelasan konseptual yang baik. Manly melakukannya dengan baik dengan bukunya yang mencakup permutasi dan bootstrap. Tidak ada alasan untuk bingung tentang bootstrap lagi. Penting untuk diingat bahwa bootstrap tergantung pada prinsip bootstrap "Pengambilan sampel dengan penggantian berlaku pada sampel asli cara sampel asli berperilaku pada populasi. Ada contoh di mana prinsip ini gagal. Penting untuk mengetahui bahwa bootstrap bukan jawaban untuk setiap masalah statistik. s memberikan penjelasan konseptual yang baik. Manly melakukannya dengan baik dengan bukunya yang mencakup permutasi dan bootstrap. Tidak ada alasan untuk bingung tentang bootstrap lagi. Penting untuk diingat bahwa bootstrap tergantung pada prinsip bootstrap "Pengambilan sampel dengan penggantian berlaku pada sampel asli cara sampel asli berperilaku pada populasi. Ada contoh di mana prinsip ini gagal. Penting untuk mengetahui bahwa bootstrap bukan jawaban untuk setiap masalah statistik. s memberikan penjelasan konseptual yang baik. Manly melakukannya dengan baik dengan bukunya yang mencakup permutasi dan bootstrap. Tidak ada alasan untuk bingung tentang bootstrap lagi. Penting untuk diingat bahwa bootstrap tergantung pada prinsip bootstrap "Pengambilan sampel dengan penggantian berlaku pada sampel asli cara sampel asli berperilaku pada populasi. Ada contoh di mana prinsip ini gagal. Penting untuk mengetahui bahwa bootstrap bukan jawaban untuk setiap masalah statistik. Pengambilan sampel dengan penggantian berlaku pada sampel asli seperti sampel asli pada suatu populasi. Ada contoh di mana prinsip ini gagal. Penting untuk diketahui bahwa bootstrap bukan jawaban untuk setiap masalah statistik. Pengambilan sampel dengan penggantian berlaku pada sampel asli seperti sampel asli pada suatu populasi. Ada contoh di mana prinsip ini gagal. Penting untuk diketahui bahwa bootstrap bukan jawaban untuk setiap masalah statistik.

Berikut adalah tautan amazon ke semua buku yang saya sebutkan dan banyak lagi.

Statistik Matematika dengan Resampling dan R

Metode Bootstrap dan Penerapannya

Metode Bootstrap: Panduan untuk Praktisi dan Peneliti

Pengantar Metode Bootstrap dengan Aplikasi ke R

Metode Resampling untuk Data Tanggungan

Pengacakan, Metode Bootstrap dan Monte Carlo dalam Biologi

Pengantar Bootstrap

Praktik Pendamping Statistik Bisnis Bab 18: Metode Bootstrap dan Tes Permutasi

Analisis Data oleh Resampling: Konsep dan Aplikasi

Jackknife, Bootstrap, dan Rencana Resampling Lainnya

Jackknife dan Bootstrap

Permutasi, Parametrik, dan Tes Bootstrap Hipotesis

Bootstrap dan Ekspansi Edgeworth

Melalui bootstrap, Anda hanya mengambil sampel berulang-ulang dari kelompok data yang sama (data sampel Anda) untuk memperkirakan seberapa akurat perkiraan Anda tentang seluruh populasi (apa yang sebenarnya ada di dunia nyata).

Jika Anda mengambil satu sampel dan membuat perkiraan populasi nyata, Anda mungkin tidak dapat memperkirakan seberapa akurat perkiraan Anda - kami hanya memiliki satu perkiraan dan belum mengidentifikasi bagaimana perkiraan ini berbeda dengan sampel berbeda yang mungkin kami temui.

Dengan bootstrap, kami menggunakan sampel utama ini untuk menghasilkan banyak sampel. Misalnya, jika kami mengukur laba setiap hari selama 1000 hari, kami mungkin mengambil sampel acak dari rangkaian ini. Kita mungkin mendapat untung dari satu hari acak, mencatatnya, mendapatkan untung dari hari acak lain (yang mungkin terjadi pada hari yang sama seperti sebelumnya - pengambilan sampel dengan penggantian), catat, dan sebagainya, hingga kita mendapat "baru" sampel 1000 hari (dari sampel asli).

Sampel "baru" ini tidak identik dengan sampel asli - memang kami mungkin menghasilkan beberapa sampel "baru" seperti di atas. Ketika kami melihat variasi dalam sarana dan taksiran, kami dapat memperoleh bacaan tentang seberapa akurat taksiran aslinya.

Edit - sebagai respons terhadap komentar

Sampel "baru" tidak identik dengan yang pertama dan taksiran baru berdasarkan ini akan bervariasi. Ini mensimulasikan sampel populasi berulang. Variasi dalam estimasi sampel "baru" yang dihasilkan oleh bootstrap akan menjelaskan bagaimana perkiraan sampel akan bervariasi mengingat sampel yang berbeda dari populasi. Ini sebenarnya adalah bagaimana kita bisa mencoba mengukur keakuratan estimasi asli.

Tentu saja, alih-alih melakukan bootstrap, Anda mungkin mengambil beberapa sampel baru dari populasi tetapi ini mungkin tidak layak.

Saya menyadari ini adalah pertanyaan lama dengan jawaban yang diterima, tetapi saya ingin memberikan pandangan saya tentang metode bootstrap. Saya sama sekali bukan ahli (lebih dari pengguna statistik, sebagai OP) dan menyambut setiap koreksi atau komentar.

$S_i$$T(S_i)$

Anda dapat mempertimbangkan semua himpunan bagian ukuran 98 dan mendapatkan JK-2 (2 elemen dihapus) atau JK-3 dll.

Sekarang, bootstrap hanyalah versi acak dari ini. Dengan melakukan resampling melalui seleksi dengan penggantian, Anda akan "menghapus" sejumlah elemen acak (mungkin tidak ada) dan "menggantinya" dengan satu (atau lebih) ulangan.

Dengan mengganti dengan replikat, dataset yang di-resampled selalu memiliki ukuran yang sama. Untuk jackknife Anda mungkin bertanya apa efek jackknifing pada sampel berukuran 99 bukannya 100, tetapi jika ukuran sampel "cukup besar" ini kemungkinan bukan masalah.

Di jackknife Anda tidak pernah mencampur delete-1 dan delete-2 dll, untuk memastikan estimasi yang didongkrak berasal dari sampel dengan ukuran yang sama.

Anda juga dapat mempertimbangkan membagi sampel ukuran 100 menjadi misalnya 10 sampel ukuran 10. Ini akan dalam beberapa aspek teoritis menjadi lebih bersih (subset independen) tetapi mengurangi ukuran sampel (dari 100 menjadi 10) sehingga tidak praktis (dalam kebanyakan kasus).

Anda juga dapat mempertimbangkan subset sebagian yang tumpang tindih dengan ukuran tertentu. Semua ini ditangani secara otomatis dan seragam serta acak dengan metode bootstrap.

Selanjutnya, metode bootstrap memberi Anda perkiraan distribusi sampling statistik Anda dari distribusi empiris sampel asli, sehingga Anda dapat menganalisis properti statistik selanjutnya selain kesalahan standar.

Mengutip Fox , saya akan mulai dengan mengatakan bahwa proses resampling berulang kali dari sampel yang Anda amati telah terbukti meniru proses pengambilan sampel asli dari seluruh populasi.

Pengambilan sampel terbatas dari populasi mendekati distribusi dengan cara yang sama dengan histogram yang mendekati itu. Dengan pengambilan sampel ulang, setiap jumlah nampan diubah dan Anda mendapatkan perkiraan baru. Nilai hitung besar berfluktuasi kurang dari nilai hitung kecil baik pada populasi asli maupun dalam kelompok sampel. Karena Anda menjelaskan hal ini kepada orang awam, Anda dapat berargumen bahwa untuk jumlah bin yang besar ini kira-kira adalah akar kuadrat dari jumlah bin dalam kedua kasus tersebut.

$20$$80$$100$$\sqrt{(0.2 \times 0.8) \times 100}$$1:4$

Saya pikir penting untuk menekankan bahwa bootstrap tidak mengungkap data "baru", itu hanya cara yang nyaman dan non-parametrik untuk menentukan sampel untuk fluktuasi sampel. jika probabilitas sebenarnya diberikan oleh sampel.

Perhatikan bahwa dalam statistik inferensial klasik, entitas teoretis yang menghubungkan sampel ke populasi sebagai penaksir populasi yang baik adalah distribusi sampling (semua sampel yang mungkin dapat diambil dari populasi). Metode bootstrap membuat semacam distribusi sampling (distribusi berdasarkan beberapa sampel). Tentu, ini adalah metode kemungkinan maksimum, tetapi logika dasarnya tidak jauh berbeda dari teori probabilitas tradisional di belakang statistik berbasis distribusi normal klasik.

Maksud saya adalah sangat kecil.

Bootstrap berfungsi karena ia secara intensif mengeksploitasi premis utama dari agenda penelitian kami.

Untuk lebih spesifik, dalam statistik atau biologi, atau sebagian besar ilmu non-teoritis, kami mempelajari individu, sehingga mengumpulkan sampel.

Namun, dari sampel semacam itu, kami ingin membuat kesimpulan tentang individu lain, yang akan disajikan kepada kami di masa depan atau dalam sampel yang berbeda.

Dengan bootstrap, dengan secara eksplisit menemukan pemodelan kami pada masing-masing komponen sampel kami, kami mungkin lebih baik (dengan asumsi yang lebih sedikit, biasanya) menyimpulkan dan memprediksi untuk individu lain.

Ketika menjelaskan kepada pemula, saya pikir itu membantu untuk mengambil contoh spesifik ...

Bayangkan Anda mendapatkan sampel acak sebanyak 9 pengukuran dari beberapa populasi. Rata-rata sampel adalah 60. Bisakah kita yakin bahwa rata-rata seluruh populasi juga 60? Jelas bukan karena sampel kecil akan bervariasi, sehingga perkiraan 60 kemungkinan tidak akurat. Untuk mengetahui berapa banyak sampel seperti ini akan bervariasi, kita dapat menjalankan beberapa eksperimen - menggunakan metode yang disebut bootstrap.

Angka pertama dalam sampel adalah 74 dan yang kedua adalah 65, jadi mari kita bayangkan populasi besar "pura-pura" yang terdiri dari satu 74 kesembilan, satu kesembilan 65, dan seterusnya. Cara termudah untuk mengambil sampel acak dari populasi ini adalah dengan mengambil angka secara acak dari sampel sembilan, lalu ganti sehingga Anda memiliki sampel asli sembilan lagi dan memilih yang lain secara acak, dan seterusnya hingga Anda memiliki "resample" of 9. Ketika saya melakukan ini, 74 tidak muncul sama sekali tetapi beberapa angka lainnya muncul dua kali, dan rata-rata adalah 54,4. (Ini diatur pada spreadsheet di http://woodm.myweb.port.ac.uk/SL/resample.xlsx - klik pada tab bootstrap di bagian bawah layar.)

Ketika saya mengambil 1000 sampel dengan cara ini berarti mereka bervariasi 44-80, dengan 95% antara 48 dan 72. Yang menunjukkan bahwa ada kesalahan hingga 16-20 unit (44 adalah 16 di bawah rata-rata populasi pura-pura 60, 80 adalah 20 unit di atas) dalam menggunakan sampel ukuran 9 untuk memperkirakan rata-rata populasi. dan kita bisa yakin 95% bahwa kesalahannya adalah 12 atau kurang. Jadi kita bisa yakin 95% bahwa rata-rata populasi akan berada di antara 48 dan 72.

Ada sejumlah asumsi yang dipoleskan di sini, yang jelas adalah asumsi bahwa sampel memberikan gambaran yang berguna tentang populasi - pengalaman menunjukkan ini umumnya bekerja dengan baik asalkan sampelnya cukup besar (9 agak kecil tetapi membuatnya lebih mudah untuk lihat apa yang terjadi). Spreadsheet di http://woodm.myweb.port.ac.uk/SL/resample.xlsx memungkinkan Anda melihat sampel individual, plot histogram 1000 sampel, bereksperimen dengan sampel yang lebih besar, dll. Ada penjelasan yang lebih rinci dalam artikel di https://arxiv.org/abs/1803.06214 .