Apakah mungkin untuk menafsirkan bootstrap dari perspektif Bayesian?

43

Ok, ini pertanyaan yang membuat saya terjaga di malam hari.

Dapatkah prosedur bootstrap diartikan sebagai mendekati beberapa prosedur Bayesian (kecuali untuk bootstrap Bayesian)?

Saya sangat suka "interpretasi" Bayes tentang statistik yang saya temukan dengan baik koheren dan mudah dimengerti. Namun, saya juga memiliki kelemahan untuk prosedur bootstrap yang sangat sederhana, namun memberikan kesimpulan yang masuk akal dalam banyak situasi. Saya akan lebih senang dengan bootstrap, jika saya tahu bahwa bootstrap mendekati distribusi posterior dalam beberapa hal.

Saya tahu "Bayesian bootstrap" (Rubin, 1981), tetapi dari sudut pandang saya bahwa versi bootstrap sama bermasalahnya dengan bootstrap standar. Masalahnya adalah asumsi model yang benar-benar aneh yang Anda buat, baik ketika melakukan bootstrap klasik dan Bayesian, yaitu, nilai-nilai yang mungkin dari distribusi hanya nilai-nilai yang sudah saya lihat. Bagaimana asumsi model aneh ini masih menghasilkan kesimpulan yang sangat masuk akal bahwa prosedur bootstrap menghasilkan? Saya telah mencari artikel yang telah menyelidiki sifat-sifat bootstrap (misalnya Weng, 1989) tetapi saya belum menemukan penjelasan yang jelas yang saya sukai.

Referensi

Donald B. Rubin (1981). Bayesian Bootstrap. Ann. Statist. Volume 9, Nomor 1, 130-134.

Chung-Sing Weng (1989). Pada Properti Asimptotik Orde Kedua dari Bootstrap Bayesian Mean. The Annals of Statistics , Vol. 17, No. 2, hlm. 705-710.

Rasmus Bååth
sumber
3
Saya baru saja menulis posting blog di "bootstrap sebagai model Bayesian" ( sumsar.net/blog/2015/04/… ) yang mengeksplorasi "penjelasan" Bayesian dari bootstrap. Itu tidak langsung menjawab pertanyaan-pertanyaan di atas, tetapi saya harap itu membuatnya lebih jelas apa itu bootstrap dan apa yang dilakukannya.
Rasmus Bååth
Baca muliere dan secchi (1996) bayesian inferensi prediktif nonparametrik dan teknik bootstrap. Katakan alamat tepatnya poin Anda!

Jawaban:

30

Bagian 8.4 dari Elemen Pembelajaran Statistik oleh Hastie, Tibshirani, dan Friedman adalah "Hubungan Antara Bootstrap dan Bayesian Inference." Mungkin itu yang Anda cari. Saya percaya bahwa buku ini tersedia secara bebas melalui situs web Stanford, walaupun saya tidak memiliki tautannya.

Edit:

Berikut ini tautan ke buku tersebut, yang telah disediakan secara gratis oleh penulis secara online:

http://www-stat.stanford.edu/~tibs/ElemStatLearn/

Di halaman 272, penulis menulis:

Dalam pengertian ini, distribusi bootstrap mewakili (perkiraan) distribusi posterior nonparametrik, noninformatif untuk parameter kami. Tetapi distribusi bootstrap ini diperoleh tanpa rasa sakit - tanpa harus secara formal menentukan sebelum dan tanpa harus mengambil sampel dari distribusi posterior. Karena itu, kita mungkin menganggap distribusi bootstrap sebagai posterior Bayes “poor man's”. Dengan mengganggu data, bootstrap mendekati efek Bayesian yang mengganggu parameter, dan biasanya lebih mudah dilakukan.

Satu lagi potongan teka-teki ditemukan dalam pertanyaan yang divalidasi silang ini yang menyebutkan ketidaksetaraan Dvoretzky-Kiefer-Wolfowitz yang "menunjukkan [...] bahwa fungsi distribusi empiris menyatu secara seragam ke fungsi distribusi yang benar secara eksponensial cepat dalam probabilitas."

Jadi, keseluruhan bootstrap non-parametrik dapat dilihat sebagai metode asimptotik yang menghasilkan "suatu (perkiraan) distribusi posterior nonparametrik, noninformatif untuk parameter kami" dan di mana perkiraan ini menjadi lebih baik "cepat secara eksponensial" ketika jumlah sampel meningkat.

EdM
sumber
3
Meskipun kami selalu menghargai referensi ke materi yang relevan, jawaban ini akan sangat ditingkatkan jika ringkasan singkat dari bagian itu dimasukkan.
kardinal
1
Bit terakhir dari bagian itu mungkin lebih berguna: Bootstrap adalah perkiraan distribusi posterior non-parametrik, non-informatif untuk parameter yang diestimasi. Seluruh bagian ini layak dibaca.
Fraijo
2
Terima kasih untuk tautannya! Jika saya membaca Hastie et al. benar mereka menunjukkan korespondensi antara boostrap non-parametrik dan bootstrap Bayesian dan mengklaim bahwa yang pertama mendekati yang terakhir. Mereka tidak banyak menulis tentang mengapa bootstrap (bayesian atau tidak) menghasilkan inferensi yang masuk akal di tempat pertama. Apa yang saya harapkan adalah sesuatu seperti: "Dalam [beberapa keadaan umum] bootstrap mendekati distribusi posterior sebenarnya dari parameter / statistik dengan kesalahan yang [sesuatu] dan itu tergantung pada [ini dan itu]".
Rasmus Bååth
Terima kasih atas bantuannya dalam meningkatkan jawaban saya. Penjelasan paling jelas yang pernah saya dengar tentang mengapa bootstrap bekerja adalah bahwa sampel yang baru saja Anda kumpulkan adalah representasi terbaik yang Anda miliki dari keseluruhan populasi. Tapi saya tidak cukup seorang probabilis untuk mengatakannya secara lebih formal.
EdM
Jika saya ingat, mereka membuat argumen ini, bootstrap NN, dan melanjutkan untuk mendapatkan krim oleh NN Bayesian sepenuhnya oleh Radford Neal. Saya pikir itu mengatakan sesuatu, meskipun tidak yakin apa.
pria
3

Ini adalah makalah terbaru yang pernah saya lihat tentang subjek:

@article{efr13bay,
author={Efron, Bradley},
title={Bayesian inference and the parametric bootstrap},
journal={Annals of Applied Statistics},
volume=6,
number=4,
pages={1971-1997},
year=2012,
doi={10.1214/12-AOAS571},
abstract={Summary: The parametric bootstrap can be used for the efficient
    computation of Bayes posterior distributions. Importance sampling formulas
    take on an easy form relating to the deviance in exponential families and
    are particularly simple starting from Jeffreys invariant prior. Because of
    the i.i.d. nature of bootstrap sampling, familiar formulas describe the
    computational accuracy of the Bayes estimates. Besides computational
    methods, the theory provides a connection between Bayesian and frequentist
    analysis. Efficient algorithms for the frequentist accuracy of Bayesian
    inferences are developed and demonstrated in a model selection example.},
keywords={Jeffreys prior; exponential families; deviance; generalized linear
    models},
classmath={*62F15 (Bayesian inference)
62F40 (Resampling methods)
62J12 (Generalized linear models)
65C60 (Computational problems in statistics)}}
Frank Harrell
sumber
2
Interpretasi saya dari makalah ini adalah bahwa ia menggambarkan metode bootstrap untuk menghitung distribusi posterior dari model yang ditentukan, yaitu metode yang dapat digunakan, bukan misalnya metropolis sampling. Saya tidak melihat bahwa makalah ini membahas hubungan antara asumsi model bootstrap non-parametrik dan estimasi Bayesian ...
Rasmus Bååth
1
Memang mengaku melakukan itu. Saya belum membaca koran secara detail.
Frank Harrell
5
Frank: Saya tidak banyak keluar membaca makalah ini oleh Efron - apa yang dia lakukan dapat dilihat hanya sebagai sampler pentingnya berurutan yang dimulai dari kemungkinan dan mencoba untuk sampai ke posterior (yang sering akan bekerja). Tujuan Rubin dalam makalah 1981 adalah untuk mempertanyakan kesesuaian bootstrap tetapi Efron tampaknya mencapai pandangan sebaliknya. David Draper mencabutnya musim panas ini dalam kursus JSM-nya dan menyimpulkan yang buruk kecuali ketika Anda bisa melihat sebagian besar kemungkinan dalam sampel. Tapi lihat di sini normaldeviate.wordpress.com/2013/06/12/...
phaneron
1

Saya juga tergoda oleh kedua bootstraping dan teorema Bayes, tetapi saya tidak bisa memahami pembenaran dari bootstrap sampai saya melihatnya dari perspektif Bayesian. Kemudian - seperti yang saya jelaskan di bawah ini - distribusi bootstrap dapat dilihat sebagai distribusi posterior Bayesian, yang membuat alasan (a?) Di balik bootstrap terlihat jelas, dan juga memiliki keuntungan mengklarifikasi asumsi yang dibuat. Ada lebih banyak detail dari argumen di bawah ini, dan asumsi yang dibuat, di https://arxiv.org/abs/1803.06214 (halaman 22-26).

Sebagai contoh, yang diatur pada spreadsheet di http://woodm.myweb.port.ac.uk/SL/resample.xlsx (klik pada tab bootstrap di bagian bawah layar), misalkan kita punya sampel dari 9 pengukuran dengan rata-rata 60. Ketika saya menggunakan spreadsheet untuk menghasilkan 1000 sampel dengan penggantian dari sampel ini dan membulatkan rata-rata ke angka genap terdekat, 82 dari rata-rata ini adalah 54. Gagasan tentang bootstrap adalah bahwa kami menggunakan sampel sebagai populasi "pura-pura" untuk melihat bagaimana variabel berarti sampel 9 kemungkinan, jadi ini menunjukkan bahwa probabilitas sampel rata-rata menjadi 6 di bawah rata-rata populasi (dalam hal ini populasi berpura-pura berdasarkan sampel dengan rata-rata 60) adalah 8,2%. Dan kita bisa sampai pada kesimpulan yang sama tentang bar lain dalam histogram resampling.

Sekarang mari kita bayangkan bahwa kebenarannya adalah bahwa rata-rata populasi sebenarnya adalah 66. Jika demikian perkiraan kami tentang probabilitas sampel rata-rata menjadi 60 (yaitu Data) adalah 8,2% (menggunakan kesimpulan dalam paragraf di atas mengingat bahwa 60 adalah 6 di bawah rata-rata populasi yang dihipotesiskan dari 66). Mari menulis ini sebagai

P (Data yang diberikan Mean = 66) = 8,2%

dan probabilitas ini sesuai dengan nilai x 54 pada distribusi resampling. Argumen yang sama berlaku untuk setiap kemungkinan populasi dari 0, 2, 4 ... 100. Dalam setiap kasus probabilitas berasal dari distribusi sampel ulang - tetapi distribusi ini tercermin tentang rata-rata 60.

Sekarang mari kita terapkan teorema Bayes. Pengukuran tersebut hanya dapat mengambil nilai antara 0 dan 100, sehingga pembulatan ke bilangan genap terdekat kemungkinan untuk rata-rata populasi adalah 0, 2, 4, 6, .... 100. Jika kita mengasumsikan bahwa distribusi sebelumnya adalah datar, masing-masing memiliki probabilitas sebelumnya 2% (hingga 1 dp), dan teorema Bayes memberi tahu kita bahwa

P (PopMean = 66 Data yang diberikan) = 8,2% * 2% / P (Data)

dimana

P (Data) = P (PopMean = 0 Data yang diberikan) * 2% + P (PopMean = 2 Data yang diberikan) * 2% + ... + P (PopMean = 100 Data yang diberikan) * 2%

Kita sekarang dapat membatalkan 2% dan ingat bahwa jumlah probabilitas harus 1 karena probabilitas hanyalah dari distribusi resampling. Yang meninggalkan kita dengan kesimpulan itu

P (PopMean = 66) = 8.2%

Mengingat bahwa 8,2% adalah probabilitas dari distribusi resampling yang sesuai dengan 54 (bukan 66), distribusi posterior hanyalah distribusi resampling yang tercermin tentang mean sampel (60). Lebih lanjut, jika distribusi sampel ulang simetris dalam arti bahwa asimetri adalah acak - seperti dalam kasus ini dan banyak kasus lainnya, kita dapat menganggap distribusi sampel sebagai identik dengan distribusi probabilitas posterior.

Argumen ini membuat berbagai asumsi, yang utama adalah bahwa distribusi sebelumnya seragam. Ini dijabarkan lebih rinci dalam artikel yang dikutip di atas.

Michael Wood
sumber
Ada hal seperti bootstrap Bayesian yang diperkenalkan oleh Rubin. Tapi saya tidak berpikir itu yang Anda maksud. Bootstrap biasa seperti yang diperkenalkan oleh Efron sebenarnya adalah konsep yang sering terjadi.
Michael Chernick