Bagaimana menanggapi pengulas yang meminta nilai p dalam model multilevel bayesian?

Kami diminta oleh reviewer untuk memberikan nilai-p agar dapat lebih memahami estimasi model dalam model multilevel bayesian kami. Model ini adalah model khas dari beberapa pengamatan per peserta dalam percobaan. Kami memperkirakan model dengan Stan, sehingga kami dapat dengan mudah menghitung statistik posterior tambahan. Saat ini, kami melaporkan (secara visual dan dalam tabel) estimasi rata-rata dan kuantil 0,025 dan 0,975.

Tanggapan saya sejauh ini meliputi:

1. Nilai-P tidak konsisten dengan model bayesian, yaitu $P(X|\theta) \neq P(\theta|X).$
2. Berdasarkan posterior, kita dapat menghitung probabilitas parameter menjadi lebih besar (lebih kecil) dari 0. Ini terlihat seperti nilai p tradisional.

Pertanyaan saya adalah apakah ini respons yang dapat memuaskan pengulas atau hanya akan menyebabkan lebih banyak kebingungan?

Perbarui 10-Oktober: Kami menulis ulang makalah dengan saran sebagai jawaban dalam pikiran. Makalah ini diterima sehingga saya akan mengulangi komentar saya sebelumnya bahwa ini adalah saran yang sangat membantu!

Pertama, klarifikasi cepat: Meskipun kemungkinannya memang bukan posterior, nilai-p tidak begitu tidak konsisten dengan inferensi Bayesian karena biasanya hanya hal yang berbeda, untuk semua alasan bahwa interval kepercayaan mungkin atau mungkin tidak sejalan dengan interval yang kredibel. (Meskipun tidak selalu merupakan hal yang sepenuhnya berbeda, seperti yang ditunjukkan oleh pengecekan prediktif posterior, yang benar-benar melibatkan nilai-p.)

Namun saya menduga bahwa tingkat kecanggihan ini bukan yang ada di pikiran reviewer. Saya kira mereka hanya 'tahu' bahwa model statistik dimaksudkan untuk memiliki nilai-p, jadi mereka memintanya. Jadi pertanyaannya tetap: bagaimana merespons?

Ketika 'reviewer menginginkan X', saya merasa perlu bertanya pada diri sendiri dua pertanyaan terkait:

1. Motivasi: Apa yang mereka ingin X lakukan untuk mereka?

2. Rekonstruksi rasional: Apa hal masuk akal yang terdengar paling mirip yang bisa mereka minta daripada X jika mereka ingin melakukan itu?

Maka berikan mereka itu sebagai gantinya.

Keuntungan dari resensi bodoh (yang mungkin cerdas dan benar tentang makalah) adalah bahwa mereka jarang memiliki gagasan yang jelas tentang apa yang mereka maksud ketika mereka meminta X. Ini berarti bahwa jika Anda merekonstruksi mereka mengajukan pertanyaan yang lebih baik, mereka akan puas melihat Anda menjawabnya sebagai gantinya.

Dalam kasus Anda, mungkin saja pengulas menginginkan analisis frequentist paralel, meskipun saya ragu. Apa yang saya pikir Anda ingin kerjakan adalah petunjuk dari peninjau bahwa mereka ingin nilai-p 'untuk lebih memahami model'. Pekerjaan Anda, saya pikir, adalah mengurai ini dengan cara yang membuat resensi terdengar bijaksana. Mungkin ada beberapa kalimat berikut yang mencatat apa yang tidak jelas dari koran. Mungkin ada beberapa efek yang menarik bagi peninjau yang tidak dapat direkonstruksi dari marginal parameter Anda, atau beberapa jumlah yang akan menjelaskan apa yang akan dikatakan model tentang kasus yang menarik bagi mereka, atau kurangnya ringkasan nomor tunggal ...

Jika Anda dapat mengidentifikasi masalah ini maka Anda dapat menyelesaikan respons Anda dalam bentuk berikut (permintaan awal dalam tanda kurung):

"reviewer [menuntut nilai p untuk istilah interaksi] khawatir bahwa tidak jelas dari presentasi kami bagaimana A bervariasi dengan B, jadi pada Gambar 2 kami menunjukkan ..." atau "resensi bertanya-tanya [apakah kita bisa menolak hipotesis bahwa efek A adalah nol] tentang arah efek A. Tabel 3 menunjukkan bahwa model ini memberikan probabilitas 99% bahwa ini negatif "atau" resensi bertanya-tanya [apakah model kami secara signifikan lebih baik pas daripada model hanya mengandung A] bagaimana model kami dibandingkan dengan yang hanya berisi A. Kami menjawab pertanyaan ini dengan membandingkannya dengan ... dengan menggunakan DIC / menghitung Faktor Bayes / menunjukkan kesimpulan kami tentang A yang kuat dengan dimasukkannya B "dll.

Dalam setiap kasus ada terjemahan dekat dari permintaan asli dan jawaban.

Peringatan: strategi ini tampaknya bekerja paling baik ketika pengulas adalah ahli materi pelajaran dengan pemahaman statistik yang relatif lemah. Ini tidak bekerja dengan pengulas yang diidentifikasi secara statistik canggih yang sebenarnya menginginkan X karena mereka suka X atau membaca tentang mereka di suatu tempat baru-baru ini. Saya tidak punya saran untuk yang terakhir.

Akhirnya, saya akan sangat menyarankan untuk tidak mengatakan apa-apa bahkan sedikit agama tentang Bayes menjadi paradigma yang berbeda dan pertanyaan pengulas tidak masuk akal di dalamnya. Bahkan jika ini benar, itu membuat semua orang marah tanpa keuntungan nyata.