Apa justifikasi Bayesian untuk analisis privilege yang dilakukan lebih awal dari analisis lainnya?

Latar Belakang dan Contoh Empiris

Saya punya dua studi; Saya menjalankan percobaan (Studi 1) dan kemudian mereplikasi (Studi 2). Dalam Studi 1, saya menemukan interaksi antara dua variabel; dalam Studi 2, interaksi ini berada dalam arah yang sama tetapi tidak signifikan. Berikut ini adalah ringkasan untuk model Studi 1:

Coefficients:
                        Estimate Std. Error t value Pr(>|t|)    
(Intercept)              5.75882    0.26368  21.840  < 2e-16 ***
condSuppression         -1.69598    0.34549  -4.909 1.94e-06 ***
prej                    -0.01981    0.08474  -0.234  0.81542    
condSuppression:prej     0.36342    0.11513   3.157  0.00185 **

Dan model Study 2:

Coefficients:
                     Estimate Std. Error t value Pr(>|t|)    
(Intercept)           5.24493    0.24459  21.444   <2e-16 ***
prej                  0.13817    0.07984   1.731   0.0851 .  
condSuppression      -0.59510    0.34168  -1.742   0.0831 .  
prej:condSuppression  0.13588    0.11889   1.143   0.2545

Alih-alih mengatakan, "Saya kira saya tidak punya apa-apa, karena saya 'gagal mereplikasi,'" yang saya lakukan adalah menggabungkan dua set data, menciptakan variabel dummy untuk studi apa data itu berasal, dan kemudian menjalankan interaksi lagi setelah mengendalikan variabel dummy studi. Interaksi ini signifikan bahkan setelah mengendalikannya, dan saya menemukan bahwa interaksi dua arah antara kondisi dan ketidaksukaan / prej ini tidak memenuhi syarat oleh interaksi tiga arah dengan variabel dummy penelitian.

Memperkenalkan Analisis Bayesian

Saya mempunyai seseorang yang menyarankan bahwa ini adalah peluang besar untuk menggunakan analisis Bayesian: Dalam Studi 2, saya memiliki informasi dari Studi 1 yang dapat saya gunakan sebagai informasi sebelumnya! Dengan cara ini, Studi 2 melakukan pembaruan Bayesian dari hasil kuadrat biasa yang paling sering terjadi pada Studi 1. Jadi, saya kembali dan menganalisis kembali model Studi 2, sekarang menggunakan prior informatif pada koefisien: Semua koefisien memiliki normal sebelum di mana rata-rata adalah estimasi dalam Studi 1 dan standar deviasi adalah kesalahan standar dalam Studi 1.

Ini adalah ringkasan dari hasilnya:

Estimates:
                       mean    sd      2.5%    25%     50%     75%     97.5%
(Intercept)             5.63    0.17    5.30    5.52    5.63    5.74    5.96
condSuppression        -1.20    0.20   -1.60   -1.34   -1.21   -1.07   -0.80
prej                    0.02    0.05   -0.08   -0.01    0.02    0.05    0.11
condSuppression:prej    0.34    0.06    0.21    0.30    0.34    0.38    0.46
sigma                   1.14    0.06    1.03    1.10    1.13    1.17    1.26
mean_PPD                5.49    0.11    5.27    5.41    5.49    5.56    5.72
log-posterior        -316.40    1.63 -320.25 -317.25 -316.03 -315.23 -314.29

Sepertinya sekarang kami memiliki bukti yang cukup kuat untuk interaksi dari analisis Studi 2. Ini setuju dengan apa yang saya lakukan ketika saya hanya menumpuk data di atas satu sama lain dan menjalankan model dengan nomor studi sebagai variabel-dummy.

Counterfactual: Bagaimana Jika Saya Berlari Belajar 2 Pertama?

Itu membuat saya berpikir: Bagaimana jika saya menjalankan Studi 2 terlebih dahulu dan kemudian menggunakan data dari Studi 1 untuk memperbarui kepercayaan saya pada Studi 2? Saya melakukan hal yang sama seperti di atas, tetapi secara terbalik: Saya menganalisis kembali data Studi 1 menggunakan estimasi koefisien kuadrat kuadrat biasa dan standar deviasi dari Studi 2 sebagai sarana sebelumnya dan standar deviasi untuk analisis saya terhadap data Studi 1. Hasil ringkasan adalah:

Estimates:
                          mean    sd      2.5%    25%     50%     75%     97.5%
(Intercept)                5.35    0.17    5.01    5.23    5.35    5.46    5.69
condSuppression           -1.09    0.20   -1.47   -1.22   -1.09   -0.96   -0.69
prej                       0.11    0.05    0.01    0.08    0.11    0.14    0.21
condSuppression:prej       0.17    0.06    0.05    0.13    0.17    0.21    0.28
sigma                      1.10    0.06    0.99    1.06    1.09    1.13    1.21
mean_PPD                   5.33    0.11    5.11    5.25    5.33    5.40    5.54
log-posterior           -303.89    1.61 -307.96 -304.67 -303.53 -302.74 -301.83

Sekali lagi, kami melihat bukti untuk interaksi, namun ini mungkin tidak selalu demikian. Perhatikan bahwa estimasi titik untuk kedua analisis Bayesian bahkan tidak dalam interval kredibel 95% untuk satu sama lain; dua interval kredibel dari analisis Bayesian memiliki lebih banyak tumpang tindih daripada yang tumpang tindih.

Apa Pembenaran Bayesian Untuk Presedensi Waktu?

Pertanyaan saya adalah: Apa pembenaran yang dimiliki orang Bayesia untuk menghormati kronologi bagaimana data dikumpulkan dan dianalisis? Saya mendapatkan hasil dari Studi 1 dan menggunakannya sebagai prior informatif dalam Studi 2 sehingga saya menggunakan Studi 2 untuk "memperbarui" keyakinan saya. Tetapi jika kita berasumsi bahwa hasil yang saya dapatkan diambil secara acak dari distribusi dengan efek populasi yang sebenarnya ... lalu mengapa saya mengistimewakan hasil dari Studi 1? Apa pembenaran untuk menggunakan hasil Study 1 sebagai prior untuk Study 2 daripada mengambil hasil Study 2 sebagai prior untuk Study 1? Apakah urutan saya mengumpulkan dan menghitung analisis itu penting? Rasanya tidak seperti yang seharusnya bagi saya — apa pembenaran Bayesian untuk ini? Mengapa saya harus percaya bahwa perkiraan poin lebih dekat ke 0,34 daripada ke 0,17 hanya karena saya menjalankan Studi 1 terlebih dahulu?

Menanggapi Jawaban Kodiologis

Kodiologist berkomentar:

Poin kedua dari titik keberangkatan penting yang Anda buat dari konvensi Bayesian. Anda tidak menetapkan prioritas terlebih dahulu dan kemudian cocok dengan kedua model dalam mode Bayesian. Anda cocok dengan satu model dengan gaya non-Bayesian dan kemudian menggunakannya untuk prior untuk model lainnya. Jika Anda menggunakan pendekatan konvensional, Anda tidak akan melihat ketergantungan pada urutan yang Anda lihat di sini.

$\text{N}(0, 5)$ condprej

Estimasi rata-rata dan standar deviasi dari estimasi tersebut hampir sama dengan dalam regresi OLS. Belajar 1:

Estimates:
                       mean     sd       2.5%     25%      50%      75%      97.5% 
(Intercept)             5.756    0.270    5.236    5.573    5.751    5.940    6.289
condSuppression        -1.694    0.357   -2.403   -1.925   -1.688   -1.452   -0.986
prej                   -0.019    0.087   -0.191   -0.079   -0.017    0.040    0.150
condSuppression:prej    0.363    0.119    0.132    0.282    0.360    0.442    0.601
sigma                   1.091    0.057    0.987    1.054    1.088    1.126    1.213
mean_PPD                5.332    0.108    5.121    5.259    5.332    5.406    5.542
log-posterior        -304.764    1.589 -308.532 -305.551 -304.463 -303.595 -302.625

Dan Pelajaran 2:

Estimates:
                       mean     sd       2.5%     25%      50%      75%      97.5% 
(Intercept)             5.249    0.243    4.783    5.082    5.246    5.417    5.715
condSuppression        -0.599    0.342   -1.272   -0.823   -0.599   -0.374    0.098
prej                    0.137    0.079   -0.021    0.084    0.138    0.192    0.287
condSuppression:prej    0.135    0.120   -0.099    0.055    0.136    0.214    0.366
sigma                   1.132    0.056    1.034    1.092    1.128    1.169    1.253
mean_PPD                5.470    0.114    5.248    5.392    5.471    5.548    5.687
log-posterior        -316.699    1.583 -320.626 -317.454 -316.342 -315.561 -314.651

Karena cara ini dan standar deviasi kurang lebih sama dengan perkiraan OLS, efek urutan di atas masih terjadi. Jika saya memasukkan statistik ringkasan posterior dari Studi 1 ke dalam prior ketika menganalisis Studi 2, saya mengamati posterior akhir yang berbeda daripada ketika menganalisis Studi 2 pertama dan kemudian menggunakan statistik ringkasan posterior tersebut sebagai prior untuk menganalisis Studi 1.

Bahkan ketika saya menggunakan cara Bayesian dan standar deviasi untuk koefisien regresi sebagai prior daripada perkiraan sering, saya masih akan mengamati efek urutan yang sama. Jadi pertanyaannya tetap: Apa pembenaran Bayesian untuk mengistimewakan studi yang datang pertama?

bayesian Mark White
sumber

"Aku masih akan berada dalam situasi yang sama. Jadi pertanyaannya tetap: Apa pembenaran Bayesian untuk hak istimewa studi yang datang pertama?" - Hah? Dalam hal apa Anda masih mengistimewakan Studi 1? Anda dapat mencocokkan kedua model seperti yang Anda jelaskan di sini atau dalam urutan yang berlawanan dan perkiraan akhir Anda misalnya koefisien populasi sebenarnya prejharus sama, kecuali jika saya salah memahami prosedur Anda.

Kodiologist

@Kodiologist Saya mengedit untuk kejelasan, termasuk lebih banyak tentang prosedur.

Mark White

Bagaimana dengan matriks kovarians & kesalahan? Anda harus menggunakan seluruh posterior sendi sebagai yang baru sebelumnya.

Scortchi

@Scortchi bingo — itu adalah jawaban yang benar, saya pikir, dan itulah yang membuat saya percaya. Apa yang saya lakukan adalah versi pembaruan yang benar-benar kasar: Saya mengambil ringkasan statistik, bukan seluruh posterior gabungan. Itu menyiratkan pertanyaan: Apakah ada cara untuk memasukkan seluruh posterior bersama sebagai sebelumnya di rstanarmatau Stan? Sepertinya pertanyaan itu telah diajukan di sini sebelumnya: stats.stackexchange.com/questions/241690/…

Mark White

Jika Anda mulai dengan Gaussian priors (& independence?) Untuk koefisien & gamma terbalik untuk varians, maka Anda memiliki gamma invers normal sebelum & itu berkonjugasi. Cari persamaan pembaruan.

Scortchi

Jawaban:

Teorema Bayes mengatakan posteriorsama dengan prior * likelihoodsetelah rescaling (jadi probabilitas berjumlah 1). Setiap pengamatan memiliki likelihoodyang dapat digunakan untuk memperbarui priordan membuat yang baru posterior:

posterior_1 = prior * likelihood_1
posterior_2 = posterior_1 * likelihood_2
...
posterior_n = posterior_{n-1} * likelihood_n

Maka

posterior_n = prior * likelihood_1 * ... * likelihood_n

Komutatifitas multiplikasi menyiratkan bahwa pembaruan dapat dilakukan dalam urutan apa pun . Jadi, jika Anda mulai dengan satu prioritas sebelumnya, Anda dapat mencampur pengamatan dari Studi 1 dan Studi 2 dalam urutan apa pun, menerapkan formula Bayes dan tiba di final yang sama posterior.

unutbu
sumber

Masuk akal. Jadi ini menunjuk pada kemungkinan alasan untuk ketidaksesuaian itu: cara saya melakukan analisis saya (memasukkan statistik ringkasan posterior ke argumen sebelumnya untuk studi berikutnya) bukan bagaimana memperbarui bekerja? Yaitu: Saya perlu mempertimbangkan keseluruhan posterior, tidak hanya memasukkan statistik ringkasan dari itu ke dalam prior analisis selanjutnya. Benar?

Mark White

@MarkWhite Benar. Distribusi posterior dari analisis pertama Anda harus menjadi prior Anda untuk yang kedua.

Kodiologist

@Kodiologis dan ringkasan statistik tentang posterior! = Posterior

Mark White

@MarkWhite Benar.

Kodiologist

Pertama saya harus menunjukkan bahwa:

$p$
Anda menaruh banyak kepercayaan pada hasil Studi 1 dengan menerjemahkan temuan Anda dari sampel itu secara langsung menjadi prior. Ingat, prior bukan hanya refleksi dari temuan masa lalu. Perlu mengkodekan keseluruhan keyakinan Anda yang sudah ada sebelumnya, termasuk keyakinan Anda sebelum penemuan sebelumnya. Jika Anda mengakui bahwa Studi 1 melibatkan kesalahan pengambilan sampel serta jenis ketidakpastian yang kurang menarik lainnya, seperti ketidakpastian model, Anda harus menggunakan sebelumnya yang lebih konservatif.

Poin kedua dari titik keberangkatan penting yang Anda buat dari konvensi Bayesian. Anda tidak menetapkan prioritas terlebih dahulu dan kemudian cocok dengan kedua model dalam mode Bayesian. Anda cocok dengan satu model dengan gaya non-Bayesian dan kemudian menggunakannya untuk prior untuk model lainnya. Jika Anda menggunakan pendekatan konvensional, Anda tidak akan melihat ketergantungan pada urutan yang Anda lihat di sini.

Kodiologis
sumber

1. Bagaimana saya menindaklanjuti hasil negatif dengan model yang berbeda? Apa yang Anda maksud dengan "hasil negatif"? Sejauh tingkat kesalahan tipe I studi-lebar, ini adalah dua studi terpisah yang dilakukan minggu terpisah satu sama lain. Either way, saya percaya dalam melakukan analisis data eksplorasi, jadi saya tidak pernah berpikir nilai p dalam praktek adalah "benar" atau bahwa kita harus mengharapkan mereka menjadi "benar-benar benar." Jika orang hanya melakukan tes yang mereka pikirkan sebelumnya, kami akan kehilangan banyak temuan hebat yang terjadi secara tidak sengaja — dan kami akan membuang banyak data.

Mark White

p

$p$

2. Ya, tetapi Anda akan berakhir dengan berbagai prior untuk Study 2, yang tidak berakhir dengan menaruh begitu banyak kepercayaan pada gagasan bahwa Study 1 akurat.

Kodiologist

1. Masalahnya bukan bahwa Anda mengumpulkan lebih banyak data dan menganalisisnya, tetapi Anda menganalisis kembali data dari kedua studi (dengan model terpadu dengan prediktor baru) karena Anda mendapatkan hasil negatif saat pertama kali Anda menganalisis dataset kedua. Saya belum pernah melihat alasan untuk percaya bahwa pengujian signifikansi sebenarnya berguna, tetapi sebagian besar dari mereka yang percaya tampaknya berpikir bahwa semua teorema tentang pengujian signifikansi adalah apa yang mendukung kegunaannya, dan teorema, seperti semua teorema, membutuhkan tempat tertentu untuk mendapatkan kesimpulan mereka.

Kodiologist

@Kodiologist - Jika Anda tidak berpikir bahwa pengujian signifikansi pernah berguna, atas dasar apa Anda curiga (misalnya), peneliti yang menyimpulkan bahwa sebagian besar orang kemungkinan memiliki mata biru karena semua orang dalam sampel dua dari mereka melakukannya?

Obie 2,0

Saya pikir saya mungkin membuat serangkaian grafik dengan masalah yang berbeda, tetapi bergaya, untuk menunjukkan kepada Anda mengapa bisa berbahaya untuk beralih dari metode Frequentist ke Bayesian dan mengapa menggunakan ringkasan statistik dapat menimbulkan masalah.

Daripada menggunakan contoh Anda, yang multidimensi, saya akan memotongnya menjadi satu dimensi dengan dua studi yang ukurannya tiga pengamatan dan tiga pengamatan.

\frac{1}{π} \frac{1}{1 + (x - θ)^{2}} .

$\frac{1}{\pi}\frac{1}{1+(x-\theta)^2}.$

Saya menggunakannya karena teorema limit pusat tidak berlaku, tidak memiliki statistik yang cukup, pengamatan ekstrim adalah umum, ketidaksetaraan Chebychev tidak berlaku dan seluruh solusi yang biasanya bisa dikerjakan hancur berantakan. Saya menggunakannya karena ini bisa menjadi contoh yang bagus tanpa harus terlalu banyak mengerjakan masalah.

$\{-5,-1,4\}$ $\{-1.5,-1,-.5\}$ $\pm{669}\sigma$ $\pm{3}\sigma$

Kepadatan posterior dari dua studi terpisah adalah

Seperti yang terlihat secara visual, mengambil ringkasan statistik dari sampel satu bisa sangat menyesatkan. Jika Anda terbiasa melihat kerapatan yang bagus, tidak-unimodal, terdefinisi dengan baik dan bernama, maka itu dapat dengan cepat keluar dari pintu dengan alat Bayesian. Tidak ada distribusi bernama seperti itu, tetapi Anda pasti bisa menggambarkannya dengan statistik ringkasan jika Anda tidak melihatnya secara visual. Menggunakan statistik ringkasan bisa menjadi masalah jika Anda kemudian akan menggunakannya untuk membangun sebelumnya yang baru.

Distribusi kepercayaan Frequentist untuk kedua sampel adalah sama. Karena skala diketahui, satu-satunya parameter yang tidak diketahui adalah median. Untuk ukuran sampel tiga, median adalah MVUE. Sementara distribusi Cauchy tidak memiliki mean atau varian, distribusi sampling median tidak. Ini kurang efisien daripada penduga kemungkinan maksimum, tetapi saya tidak perlu menghitung. Untuk ukuran sampel besar, metode Rothenberg adalah MVUE dan ada juga solusi ukuran sampel sedang.

Untuk distribusi Frequentist, Anda dapatkan

$\Pr(x|\theta)$ $\Pr(\theta|x)$

Distribusi Frequentist mengasumsikan pengulangan tak terbatas ukuran sampel tiga kali imbang dan menunjukkan distribusi terbatas untuk distribusi median sampel. Distribusi Bayesian diberikan sehingga hanya bergantung pada sampel yang diamati dan mengabaikan sifat baik atau buruk yang mungkin dimiliki sampel ini. Memang, sampel tidak biasa untuk metode Bayesian dan karenanya orang dapat diberikan jeda untuk membentuk kesimpulan yang kuat tentangnya. Inilah mengapa posterior sangat luas, sampelnya tidak biasa. Metode Frequentist mengendalikan sampel yang tidak biasa, sedangkan Bayesian tidak. Ini menciptakan kasus terbalik di mana kepastian tambahan dari parameter skala mempersempit solusi Frequentist, tetapi memperluas Bayesian. $x$

Posterior sendi adalah produk dari kedua posisi dan oleh asosiatifitas perkalian, tidak masalah urutan mana yang Anda gunakan. Secara visual, posterior sendi adalah .

Jelas bahwa jika Anda memaksakan distribusi yang disederhanakan pada posisi dan menggunakan statistik ringkasan mereka, Anda mungkin akan mendapatkan jawaban yang berbeda. Sebenarnya, itu bisa menjadi jawaban yang sangat berbeda. Jika 70% wilayah yang kredibel digunakan untuk studi satu, itu akan menghasilkan wilayah kredibel terputus. Adanya interval terputus terjadi dalam metode Bayesian kadang-kadang. Grafik interval kepadatan tertinggi dan interval kepadatan terendah untuk studi adalah

Anda akan melihat bahwa HDR rusak oleh sepotong wilayah yang berada di luar set yang kredibel.

Sementara banyak dari masalah ini biasanya menghilang dalam set besar dengan regresi, izinkan saya memberi Anda sebuah contoh perbedaan alami dalam bagaimana metode Bayesian dan Frequentist akan menangani variabel yang hilang secara berbeda dalam regresi.

Pertimbangkan regresi yang dibangun dengan baik dengan satu variabel yang hilang, cuaca. Mari kita asumsikan bahwa pelanggan berperilaku berbeda pada hari hujan dan hari cerah. Jika perbedaan itu cukup ada dua mode posterior Bayesian. Satu mode mencerminkan perilaku cerah, yang lain hujan. Anda tidak tahu mengapa Anda memiliki dua mode. Ini bisa berupa proses statistik atau titik data yang hilang, tetapi sampel Anda tidak biasa atau model Anda memiliki variabel yang dihilangkan.

Solusi Frequentist akan rata-rata kedua negara dan dapat menempatkan garis regresi di wilayah di mana tidak ada perilaku pelanggan yang sebenarnya terjadi, tetapi yang rata-rata keluar dari dua jenis perilaku. Ini juga akan bias ke bawah. Masalah mungkin terperangkap dalam analisis residu, terutama jika ada perbedaan besar dalam varian yang sebenarnya, tetapi mungkin tidak. Ini mungkin salah satu gambar residual aneh yang akan muncul di Cross-divalidasi dari waktu ke waktu.

Fakta bahwa Anda memiliki dua posisi berbeda dari data yang sama menyiratkan bahwa Anda tidak mengalikan keduanya secara langsung. Entah Anda membuat posterior dari solusi Frequentist yang tidak memetakan satu-ke-satu dengan posterior Bayesian, atau Anda membuat sebelumnya dari statistik ringkasan dan fungsi kemungkinan tidak simetris sempurna, yang umum.

Dave Harris
sumber