Saya membaca Gelman & Carlin "Beyond Power Calculations: Menilai Tipe S (Sign) dan Tipe M (Magnitude) Errors" (2014). Saya mencoba memahami ide utama, takeway utama, tetapi saya bingung. Adakah yang bisa membantu saya menyaring esensinya?
Makalahnya kira-kira seperti ini (jika saya memahaminya dengan benar).
- Studi statistik dalam psikologi sering diganggu oleh sampel kecil.
- Bersyarat pada hasil yang signifikan secara statistik dalam studi yang diberikan,
(1) ukuran efek sebenarnya cenderung sangat ditaksir dan
(2) tanda efeknya mungkin berlawanan dengan probabilitas tinggi - kecuali ukuran sampel cukup besar. - Di atas ditunjukkan menggunakan tebakan sebelumnya dari ukuran efek dalam populasi, dan efek itu biasanya dianggap kecil.
Masalah pertama saya adalah, mengapa kondisi pada hasil yang signifikan secara statistik? Apakah itu untuk mencerminkan bias publikasi? Tapi sepertinya tidak demikian. Jadi mengapa?
Masalah kedua saya adalah, jika saya melakukan penelitian sendiri, haruskah saya memperlakukan hasil saya berbeda dari yang biasa saya lakukan (saya sering melakukan statistik, tidak terlalu akrab dengan Bayesian)? Misalnya saya akan mengambil sampel data, memperkirakan model, dan mencatat perkiraan titik untuk beberapa efek yang menarik dan kepercayaan yang terikat di sekitarnya. Haruskah saya sekarang tidak mempercayai hasil saya? Atau haruskah saya tidak mempercayainya jika secara statistik signifikan? Bagaimana perubahan yang diberikan sebelumnya itu?
Apa takeaway utama (1) untuk "produsen" penelitian statistik dan (2) untuk pembaca makalah statistik terapan?
Referensi:
- Gelman, Andrew, dan John Carlin. "Di Luar Perhitungan Daya: Menilai Kesalahan Tipe S (Tanda) dan Tipe M (Besaran)." Perspektif Ilmu Psikologi 9.6 (2014): 641-651.
PS Saya pikir elemen baru bagi saya di sini adalah dimasukkannya informasi sebelumnya, yang saya tidak yakin bagaimana memperlakukannya (datang dari paradigma frequentist).
sumber
Jawaban:
Saya membaca ulang makalahnya dan kali ini sepertinya jauh lebih jelas. Sekarang juga komentar yang bermanfaat dari @Glen_b dan @amoeba sangat masuk akal.
Seluruh diskusi didasarkan pada titik awal bahwa hasil yang signifikan secara statistik telah diperoleh. Tergantung pada itu, kami memperkirakan ukuran efek didistribusikan berbeda dari itu akan absen Makalah ini tampaknya menargetkan dua masalah:
Berita baiknya adalah, kedua masalah tersebut dapat diatasi dengan cara yang memuaskan.
Untuk secara singkat menjawab dua pertanyaan saya sendiri:
sumber
Ada sudut lain dari makalah ini yang dapat membantu jika Anda sudah menerapkan analisis Bayesian dan tidak peduli dengan bagian signifikansi statistik.
Anda harus berhati-hati bahwa tidak ada yang menyalahgunakan metrik "kekuatan" ini seperti itu adalah hal yang sama dengan perhitungan daya yang sering terjadi, yang cukup sulit. Tetapi semua metrik ini cukup berguna untuk analisis desain prospektif dan retrospektif bahkan ketika seluruh prosedur pemodelan adalah Bayesian dan tidak akan merujuk pada hasil signifikansi statistik apa pun.
sumber