Sebuah meta-analisis mencakup banyak studi, yang semuanya melaporkan nilai P lebih besar dari 0,05. Apakah mungkin untuk keseluruhan meta-analisis untuk melaporkan nilai P kurang dari 0,05? Dalam keadaan apa?
(Saya cukup yakin jawabannya adalah ya, tapi saya ingin referensi atau penjelasan.)
statistical-significance
meta-analysis
combining-p-values
Harvey Motulsky
sumber
sumber
Jawaban:
Secara teori, ya ...
Hasil studi individu mungkin tidak signifikan tetapi dilihat bersama-sama, hasilnya mungkin signifikan.
Secara teori Anda dapat melanjutkan dengan memperlakukan hasilysaya studi saya seperti variabel acak lainnya.
Mari ada beberapa variabel acak (misalnya. Estimasi dari penelitian i ). Kemudian jika y i adalah independen dan E [ y i ] = μ , Anda dapat secara konsisten memperkirakan rata dengan:ysaya saya ysaya E[ ysaya] = μ
Menambahkan lebih banyak asumsi, misalkan menjadi varian estimasi y i . Maka Anda dapat secara efisien memperkirakan μ dengan bobot varians terbalik:σ2saya ysaya μ
Dalam kedua kasus mungkin signifikan secara statistik pada tingkat kepercayaan bahkan jika perkiraan individu tidak.μ^
TAPI mungkin ada masalah besar, masalah yang harus diperhatikan ...
Jika maka meta-analisis mungkin tidak konvergen ke μ (yaitu rata-rata meta-analisis adalah penduga yang tidak konsisten).E[ ysaya] ≠ μ μ
Misalnya, jika ada bias terhadap penerbitan hasil negatif, meta-analisis sederhana ini mungkin sangat tidak konsisten dan bias! Ini akan seperti memperkirakan probabilitas bahwa sebuah koin membalik kepala dengan hanya mengamati flips di mana ia tidak mendaratkan ekornya!
dan y j mungkin tidak independen. Misalnya, jika dua studi i dan j didasarkan pada data yang sama, maka memperlakukan y i dan y j sebagai independen dalam meta-analisis dapat sangat meremehkan kesalahan standar dan melebih-lebihkan signifikansi statistik. Perkiraan Anda masih konsisten, tetapi kesalahan standar perlu menjelaskan korelasi silang dalam studi.ysaya yj saya j ysaya yj
Menggabungkan (1) dan (2) bisa sangat buruk.
Sebagai contoh, meta-analisis dari rata-rata jajak pendapat cenderung lebih akurat daripada jajak pendapat individu. Tapi rata-rata jajak pendapat bersama masih rentan terhadap kesalahan berkorelasi. Sesuatu yang telah muncul dalam pemilihan terakhir adalah bahwa pekerja muda yang keluar cenderung cenderung mewawancarai orang muda lainnya daripada orang tua. Jika semua jajak pendapat keluar membuat kesalahan yang sama, maka Anda memiliki perkiraan buruk yang menurut Anda adalah perkiraan yang baik (jajak pendapat keluar berkorelasi karena mereka menggunakan pendekatan yang sama untuk melakukan jajak pendapat keluar dan pendekatan ini menghasilkan kesalahan yang sama).
Tidak diragukan lagi orang yang lebih akrab dengan meta-analisis dapat memberikan contoh yang lebih baik, masalah yang lebih bernuansa, teknik estimasi yang lebih canggih, dll ..., tetapi ini mendapatkan beberapa teori paling dasar dan beberapa masalah yang lebih besar. Jika studi yang berbeda membuat independen, kesalahan acak, maka meta-analisis mungkin sangat kuat. Jika kesalahannya sistematis di seluruh studi (mis. Setiap orang menghitung lebih rendah pemilih yang lebih tua, dll ...), maka rata-rata studi juga akan mati. Jika Anda meremehkan bagaimana studi berkorelasi atau bagaimana kesalahan berkorelasi, Anda secara efektif memperkirakan ukuran sampel agregat Anda dan meremehkan kesalahan standar Anda.
Ada juga semua jenis masalah praktis dari definisi yang konsisten dll ...
sumber
Iya nih. Misalkan Anda memiliki nilai- p dari studi independen N.N N
Tes Fisher
(EDIT - sebagai tanggapan terhadap komentar berguna @ mdewey di bawah ini, relevan untuk membedakan antara berbagai tes meta. Saya menguraikan kasus tes meta lain yang disebutkan oleh mdewey di bawah)
Uji meta Fisher klasik (lihat Fisher (1932), "Metode Statistik untuk Pekerja Penelitian" ) statistik memiliki χ 2 2 N distribusi nol, seperti - 2 ln ( U ) ~ χ 2 2 untuk rv seragam U .
Misalkan menunjukkan ( 1 - α ) -quantile dari distribusi nol.χ22N( 1 - α ) ( 1 -α )
Misalkan semua nilai p sama dengan , di mana, mungkin, c > α . Kemudian, F = - 2 N ln ( c ) dan F > χ 2 2 N ( 1 - α ) ketika c < exp ( - χ 2 2 N ( 1 - α )c c > α F= - 2 Ndalam( c ) F> χ22 N( 1 - α )
Sebagai contoh, untukα=0,05danN=20, nilaipindividuhanya perlu kurang dari
Tentu saja, yang diuji statistik meta adalah "hanya" "agregat" nol yang semua nol individu adalah benar, yang harus ditolak segera setelah hanya satu dari nol yang palsu.N
EDIT:
Berikut ini adalah plot dari nilai-p "yang dapat diterima" terhadap , yang mengonfirmasi bahwa c tumbuh dalam N , meskipun tampaknya mendatar pada c ≈ 0,36 .N c N c ≈ 0,36
Saya menemukan sebuah batas atas untuk quantiles dari distribusi χ 2 2 N ( 1 - α ) ≤ 2 N + 2 log ( 1 / α ) + 2 √χ2 sini, menunjukkan bahwaχ 2 2 N (1-α)=O(N)sehingga
exp ( - χ 2 2 N ( 1 - α )
Uji Inverse Normal (Stouffer et al., 1949)
Statistik uji diberikan oleh
sumber
Metode LHC Tippett dijelaskan dalam buku Metode statistik. 1931 (edisi pertama) dan metode Wilkinson ada di sini dalam artikel "Pertimbangan statistik dalam penelitian psikologis"
sumber