Menghitung kekuatan statistik

22

Seperti yang saya pahami, saya perlu tahu setidaknya tiga aspek (dari empat) studi yang saya usulkan untuk melakukan analisis kekuatan, yaitu:

  • jenis tes - Saya bermaksud menggunakan Pearson r dan ANCOVA / Regression - GLM
  • tingkat signifikansi (alpha) - Saya bermaksud menggunakan 0,05
  • ukuran efek yang diharapkan - Saya bermaksud untuk menggunakan ukuran efek sedang (0,5)
  • ukuran sampel

Adakah yang bisa merekomendasikan kalkulator daya daring yang bagus yang dapat saya gunakan untuk melakukan perhitungan daya apriori . (Bisakah SPSS melakukan perhitungan daya apriori ?)

Saya telah menemukan GPower tetapi saya mencari alat yang lebih sederhana!

power-analysis Adhesh Josh
sumber
Sayangnya paket SPSS tidak termasuk modul untuk analisis daya. Perusahaan IBM SPSS menjual program terpisah untuk analisis daya.
ttnphns
6
Saya akan memberi GPower kesempatan. Dengan 20 atau 30 menit menjelajahinya, Anda mungkin akan menemukannya sangat mudah dikelola - setidaknya untuk prosedur seperti korelasi, tidak harus untuk model regresi yang rumit.
rolando2
Terima kasih! Apakah ada panduan ramah pengguna yang tersedia di GPower?
Adhesh Josh
Ini sepertinya untuk aplikasi hibah. Ini menjengkelkan untuk diproduksi dan dievaluasi. Untuk desain eksperimental yang digunakan dengan baik (misalnya studi asosiasi genome) mungkin ada kalkulator khusus yang terdokumentasi dengan baik. Kalau tidak, saya pikir G. Jay Kerns jawaban adalah cara yang tepat untuk pergi dengan tambahan berikut: saat Anda berada di sana Anda harus mensimulasikan berbagai parameter yang paling penting dan menyajikan grafik.
Leo Schalkwyk

Jawaban:

43

Saya rasa ini bukan jawaban yang ingin Anda dengar, tetapi saya tetap akan mengatakannya: cobalah untuk menahan godaan kalkulator online (dan hemat uang Anda sebelum membeli kalkulator berpemilik).

Berikut adalah beberapa alasan mengapa: 1) kalkulator online semuanya menggunakan notasi yang berbeda dan seringkali tidak terdokumentasi dengan baik. Ini buang-buang waktu Anda. 2) SPSS memang menawarkan kalkulator kekuatan tetapi saya belum pernah mencobanya karena terlalu mahal bagi departemen saya untuk membelinya! 3) Frasa seperti "ukuran efek sedang" paling menyesatkan dan paling buruk salah untuk semua kecuali desain penelitian yang paling sederhana. Ada terlalu banyak parameter dan terlalu banyak interaksi untuk dapat menyaring ukuran efek ke satu angka di [0,1]. Bahkan jika Anda bisa memasukkannya ke dalam satu nomor, tidak ada jaminan bahwa 0,5 Cohen sesuai dengan "sedang" dalam konteks masalah.

Percayalah - dalam jangka panjang lebih baik untuk menggigit peluru dan belajar sendiri bagaimana menggunakan simulasi untuk keuntungan Anda (dan manfaat dari orang yang sedang Anda konsultasi). Duduk bersama mereka dan selesaikan langkah-langkah berikut:

1) Tentukan model yang sesuai dalam konteks masalah (sepertinya Anda sudah mengerjakan bagian ini).

2) Konsultasikan dengan mereka untuk memutuskan parameter nol apa yang seharusnya, perilaku kelompok kontrol, apa pun artinya dalam konteks masalah.

3) Berkonsultasilah dengan mereka untuk menentukan parameter apa yang harus dilakukan agar perbedaan tersebut menjadi bermakna secara praktis . Jika ada batasan ukuran sampel maka ini harus diidentifikasi di sini, juga.

4) Simulasikan data sesuai dengan dua model dalam 2) dan 3), dan jalankan tes Anda. Anda dapat melakukan ini dengan banyak perangkat lunak - pilih favorit Anda dan lakukan. Lihat apakah Anda menolak atau tidak.

np^p^(1−p^)/n

Jika Anda melakukan analisis kekuatan Anda dengan cara ini, Anda akan menemukan beberapa hal: A) ada lebih banyak parameter berlarian daripada yang pernah Anda perkirakan. Ini akan membuat Anda bertanya-tanya bagaimana di dunia ini mungkin untuk meruntuhkan semuanya menjadi satu nomor seperti "sedang" - dan Anda akan melihat bahwa itu tidak mungkin, setidaknya tidak dengan cara langsung. B) kekuatan Anda akan jauh lebih kecil daripada banyak kalkulator lainnya beriklan. C) Anda dapat meningkatkan daya dengan meningkatkan ukuran sampel, tetapi hati-hati! Anda mungkin menemukan bahwa saya memiliki itu untuk mendeteksi perbedaan yang "praktis bermakna" Anda memerlukan ukuran sampel yang sangat besar.

Jika Anda memiliki masalah dengan salah satu langkah di atas yang dapat Anda kumpulkan, perumus pertanyaan dengan baik untuk CrossValidated, dan orang-orang di sini akan membantu Anda.

EDIT: Jika Anda benar-benar harus menggunakan kalkulator online, yang terbaik yang saya temukan adalah halaman Kekuatan dan Ukuran Sampel Russ Lenth . Sudah ada sejak lama, memiliki dokumentasi yang relatif lengkap, tidak tergantung pada ukuran efek kalengan, dan memiliki tautan ke makalah lain yang relevan dan penting.

EDIT LAIN: Kebetulan, ketika pertanyaan ini muncul, saya tepat di tengah menulis posting blog untuk menyempurnakan beberapa ide ini (jika tidak, saya mungkin tidak akan menjawab begitu cepat). Bagaimanapun, saya menyelesaikannya akhir pekan lalu dan Anda dapat menemukannya di sini . Itu tidak ditulis dengan SPSS dalam pikiran, tetapi saya berani bertaruh jika seseorang pintar mereka mungkin dapat menerjemahkan sebagian dari itu ke sintaks SPSS.


sumber
8
+1 Jawaban yang bagus. Ada baiknya menunjukkan kelemahan simulasi. (Alternatifnya adalah kurva daya dapat dihitung secara matematis.) Simulasi menjadi sulit ketika banyak parameter (seperti ukuran efek dan ukuran sampel) harus dimanipulasi atau ketika Anda mencari beberapa nilai ambang, seperti ukuran sampel minimum. Bahkan ekspresi tepat perkiraan untuk daya dapat berharga untuk menunjukkan secara umum bagaimana daya berperilaku dan untuk mengidentifikasi solusi awal yang dapat dipoles dengan sedikit simulasi.
Whuber
2
@whuber Terima kasih, dan Anda memang benar. Komentar Anda mengingatkan saya bahwa sering ada ketidakpastian tambahan dalam parameter null / alt (info kurang, studi pilot payah, dll.) Yang menambah lapisan kompleksitas ke pendekatan simulasi. Ini adalah manfaat lain dari pendekatan matematika.
2
Alih-alih memperbaiki nilai-nilai parameter yang tidak diketahui, lebih baik untuk mensimulasikan mereka dengan menetapkan distribusi sebelumnya pada parameter ini dan kemudian untuk mendapatkan "kekuatan sebelumnya" (ini bukan pendekatan Bayesian, terlepas dari konsep distribusi sebelumnya, karena kami mensimulasikan hasil dari tes frequentist)
Stéphane Laurent
6
Ada dua masalah dengan simulasi: Mempelajarinya (yang ini larut) dan menyelesaikan langkah 3. Dalam pengalaman saya, tidak ada klien saya yang mau melakukan 3). Banyak yang kesulitan menentukan ukuran efek APAPUN apa pun. Untuk meminta mereka menentukan parameter dalam (katakanlah) persamaan regresi berganda akan .... yah, mereka tidak akan tahu bagaimana menjawab, bahkan jika mereka tahu artinya, mereka tidak akan bersedia untuk menentukan.
Peter Flom - Pasang kembali Monica
2
Stephane ya, Anda benar, dan itulah yang saya maksud dengan lapisan ekstra yang saya coba komunikasikan. @Peter Sigh! ya, saya pernah mengalami ini juga. Saya mencoba untuk berbicara tentang cara, kesalahan standar, dll dan kemudian menghitung matematika sebanyak yang saya bisa setelahnya. Bagian dari itu adalah penghalang komunikasi yang terkadang merupakan tantangan. Bagian keengganan bahkan lebih sulit. Dulu saya akan menyerah dan mencoba mengisi kekosongan itu sendiri, tetapi jarang berhasil dengan baik. Artinya, jawabannya pada dasarnya adalah tembakan dalam gelap dengan penutup mata dan berdiri mundur.