Kapan (jika pernah) adalah ide yang baik untuk melakukan analisis kekuatan post hoc?

12

Pemahaman saya adalah bahwa analisis kekuatan adalah post hoc jika dan hanya jika menggunakan ukuran efek yang diamati sebagai ukuran efek populasi target.

power-analysis user1205901 - Pasang kembali Monica
sumber

Jawaban:

7

Di bidang saya, saya melihat orang-orang melakukan analisis kekuatan post-hoc ketika tujuan dari makalah ini adalah untuk menunjukkan bahwa beberapa efek yang orang mungkin harapkan untuk hadir (baik karena literatur sebelumnya, akal sehat, dll) tidak, setidaknya menurut untuk beberapa uji signifikansi.

Namun, dalam situasi ini, peneliti sedikit terikat - ia mungkin telah memperoleh hasil yang tidak signifikan baik karena efeknya benar-benar tidak ada dalam populasi atau karena penelitian ini tidak cukup kuat untuk mendeteksi efek bahkan jika itu ada. Tujuan dari analisis daya, kemudian, adalah untuk menunjukkan bahwa, mengingat bahkan efek kecil yang sepele dalam populasi, penelitian akan memiliki probabilitas tinggi untuk mendeteksi efek itu.

Untuk contoh nyata dari penggunaan analisis daya post-hoc ini, lihat makalah terkait ini .

Patrick S. Forscher
sumber
1
Itu terdengar masuk akal. Berdasarkan jawaban Anda, saya akan menyimpulkan bahwa kadang-kadang ada alasan bagus untuk melakukan analisis daya post hoc. Itu kecuali ada beberapa metode yang unggul untuk menunjukkan bahwa dengan memberikan efek populasi yang kecil sekalipun, sebuah studi akan memiliki probabilitas tinggi untuk mendeteksi efek tersebut. Apakah Anda tahu metode semacam itu?
user1205901
Saya pikir metode yang tepat adalah analisis kekuatan post-hoc. Saya kira satu metode alternatif mungkin adalah penggunaan metode Bayesian daripada tes hipotesis Pearsonian, tetapi di bidang saya (psikologi), pengujian hipotesis Pearson masih merupakan paradigma statistik yang dominan.
Patrick S. Forscher
Ada masalah besar dengan pendekatan yang dijelaskan. Berarti selalu berbeda karena variasi pengambilan sampel, sehingga secara virtual, setiap tes akan dapat mendeteksi efek kecil sekalipun yang diberikan sampel besar (meningkatkan n Anda menjadi 99999999999 dan semuanya bisa signifikan). Juga, dalam kasus hipotesis yang ditolak, saya tidak cukup yakin tetapi kemungkinan bahwa "kekuatan yang diperoleh" akan <0,5 selalu (atau, paling sering, setidaknya). Jadi, itu selalu mengarah pada kesimpulan bahwa sampel tidak cukup.
Bruno
α
4

Anda selalu dapat menghitung probabilitas bahwa suatu penelitian akan menghasilkan hasil yang signifikan untuk ukuran efek apriori yang diberikan. Secara teori, ini harus dilakukan sebelum studi dilakukan karena tidak ada gunanya melakukan studi dengan daya rendah yang memiliki peluang rendah untuk menghasilkan hasil yang signifikan ketika ada efek. Namun, Anda juga dapat menghitung daya setelah penelitian untuk menyadari bahwa studi memiliki daya rendah atau, tidak mungkin, daya tinggi untuk mendeteksi efek yang kecil sekalipun.

Istilah post-hoc atau daya yang diamati digunakan untuk analisis daya yang menggunakan ukuran efek yang diamati dalam sampel untuk menghitung daya dengan asumsi bahwa ukuran efek yang diamati adalah perkiraan yang masuk akal dari ukuran efek sebenarnya. Banyak ahli statistik telah menunjukkan bahwa kekuatan yang diamati dalam studi tunggal tidak terlalu informatif karena ukuran efek tidak diperkirakan dengan presisi yang cukup untuk menjadi informatif. Baru-baru ini, para peneliti telah mulai memeriksa kekuatan yang diamati untuk serangkaian studi untuk memeriksa seberapa kuat studi rata-rata dan apakah studi melaporkan hasil yang lebih signifikan daripada kekuatan sebenarnya dari studi akan dibenarkan.

https://replicationindex.wordpress.com/tag/observed-power/

Dr. R
sumber
Jadi, Dr-r, bagaimana mungkin seseorang merujuk pada jenis studi yang disebutkan pertama? Apakah ada nama yang benar untuk itu? Saya telah menggunakan fungsi "post hoc" dari G * Power, namun saya telah menggunakan ukuran efek a priori. Alasan saya melakukannya adalah, pada awalnya, saya telah merencanakan menggunakan perbedaan rata-rata "tebakan" dan "standar tebakan", dan mereka sangat berbeda dari yang didapat. Juga, saya tidak dapat mencapai ukuran sampel yang direncanakan di kedua kelompok. Saya tidak ingin menggunakan istilah "post hoc" di koran saya karena orang-orang bisa salah. Jadi, apakah Anda punya saran?
Bruno