Dapatkah meta-analisis studi yang semuanya "tidak signifikan secara statistik" mengarah pada kesimpulan "signifikan"?

29

Sebuah meta-analisis mencakup banyak studi, yang semuanya melaporkan nilai P lebih besar dari 0,05. Apakah mungkin untuk keseluruhan meta-analisis untuk melaporkan nilai P kurang dari 0,05? Dalam keadaan apa?

(Saya cukup yakin jawabannya adalah ya, tapi saya ingin referensi atau penjelasan.)

Harvey Motulsky
sumber
1
Saya tidak tahu banyak tentang meta-analisis, tetapi saya mendapat kesan bahwa itu tidak melibatkan tes hipotesis apa pun, hanya perkiraan efek populasi, dalam hal ini tidak ada pengertian tentang signifikansi untuk dibicarakan.
Kodiologist
1
Nah, meta-analisis - pada akhir hari - hanyalah rata-rata tertimbang. Dan Anda tentu saja dapat membuat tes hipotesis untuk rata-rata tertimbang itu. Lihat, misalnya, Borenstein, Michael, et al. "Pengantar dasar untuk model efek tetap dan efek acak untuk meta-analisis." Metode Sintesis Penelitian 1.2 (2010): 97-111.
boscovich
1
Jawaban lain juga baik, tetapi kasus sederhana: dua studi signifikan pada p = 0,9 tetapi tidak p = 0,95. Probabilitas bahwa dua studi independen akan menunjukkan p> = 0,9 hanya 0,01, sehingga analisis meta Anda dapat menunjukkan signifikansi pada p = 0,99
barrycarter
2
Ambillah batas: Tidak ada satu pengukuran yang dapat memberikan bukti yang cukup untuk / terhadap hipotesis (nontrivial) untuk memiliki nilai kecil hal, tetapi koleksi pengukuran yang cukup besar dapat.
Eric Towers
nilai p tidak menunjukkan efek "signifikan secara statistik" atau tidak signifikan. Apa yang bisa kita pahami dari kesimpulan yang signifikan? Apakah ini merupakan kesimpulan meta analitik?
Subhash C. Davar

Jawaban:

31

Secara teori, ya ...

Hasil studi individu mungkin tidak signifikan tetapi dilihat bersama-sama, hasilnya mungkin signifikan.

Secara teori Anda dapat melanjutkan dengan memperlakukan hasil ysaya studi saya seperti variabel acak lainnya.

Mari ada beberapa variabel acak (misalnya. Estimasi dari penelitian i ). Kemudian jika y i adalah independen dan E [ y i ] = μ , Anda dapat secara konsisten memperkirakan rata dengan:ysayasayaysayaE[ysaya]=μ

μ^=1nsayaysaya

Menambahkan lebih banyak asumsi, misalkan menjadi varian estimasi y i . Maka Anda dapat secara efisien memperkirakan μ dengan bobot varians terbalik:σsaya2ysayaμ

μ^=sayawsayaysayawsaya=1/σsaya2j1/σj2

Dalam kedua kasus mungkin signifikan secara statistik pada tingkat kepercayaan bahkan jika perkiraan individu tidak.μ^

TAPI mungkin ada masalah besar, masalah yang harus diperhatikan ...

  1. Jika maka meta-analisis mungkin tidak konvergen ke μ (yaitu rata-rata meta-analisis adalah penduga yang tidak konsisten).E[ysaya]μμ

    Misalnya, jika ada bias terhadap penerbitan hasil negatif, meta-analisis sederhana ini mungkin sangat tidak konsisten dan bias! Ini akan seperti memperkirakan probabilitas bahwa sebuah koin membalik kepala dengan hanya mengamati flips di mana ia tidak mendaratkan ekornya!

  2. dan y j mungkin tidak independen. Misalnya, jika dua studi i dan j didasarkan pada data yang sama, maka memperlakukan y i dan y j sebagai independen dalam meta-analisis dapat sangat meremehkan kesalahan standar dan melebih-lebihkan signifikansi statistik. Perkiraan Anda masih konsisten, tetapi kesalahan standar perlu menjelaskan korelasi silang dalam studi.ysayayjsayajysayayj

  3. Menggabungkan (1) dan (2) bisa sangat buruk.

    Sebagai contoh, meta-analisis dari rata-rata jajak pendapat cenderung lebih akurat daripada jajak pendapat individu. Tapi rata-rata jajak pendapat bersama masih rentan terhadap kesalahan berkorelasi. Sesuatu yang telah muncul dalam pemilihan terakhir adalah bahwa pekerja muda yang keluar cenderung cenderung mewawancarai orang muda lainnya daripada orang tua. Jika semua jajak pendapat keluar membuat kesalahan yang sama, maka Anda memiliki perkiraan buruk yang menurut Anda adalah perkiraan yang baik (jajak pendapat keluar berkorelasi karena mereka menggunakan pendekatan yang sama untuk melakukan jajak pendapat keluar dan pendekatan ini menghasilkan kesalahan yang sama).

Tidak diragukan lagi orang yang lebih akrab dengan meta-analisis dapat memberikan contoh yang lebih baik, masalah yang lebih bernuansa, teknik estimasi yang lebih canggih, dll ..., tetapi ini mendapatkan beberapa teori paling dasar dan beberapa masalah yang lebih besar. Jika studi yang berbeda membuat independen, kesalahan acak, maka meta-analisis mungkin sangat kuat. Jika kesalahannya sistematis di seluruh studi (mis. Setiap orang menghitung lebih rendah pemilih yang lebih tua, dll ...), maka rata-rata studi juga akan mati. Jika Anda meremehkan bagaimana studi berkorelasi atau bagaimana kesalahan berkorelasi, Anda secara efektif memperkirakan ukuran sampel agregat Anda dan meremehkan kesalahan standar Anda.

Ada juga semua jenis masalah praktis dari definisi yang konsisten dll ...

Matthew Gunn
sumber
1
Saya mengkritik meta-analisis karena mengabaikan ketergantungan antara ukuran efek (yaitu, banyak ukuran efek didasarkan pada peserta yang sama, tetapi diperlakukan sebagai independen). Penulis mengatakan tidak masalah, kami hanya tertarik dengan moderator. Saya membuat poin yang Anda buat di sini: memperlakukan mereka "sebagai independen dalam meta-analisis dapat sangat meremehkan kesalahan standar dan melebih-lebihkan signifikansi statistik." Apakah ada studi bukti / simulasi yang menunjukkan mengapa hal ini terjadi? Saya punya banyak referensi yang mengatakan bahwa kesalahan berkorelasi berarti meremehkan SE ... tapi saya tidak tahu mengapa?
Mark White
1
@ MarkWhite Ide dasarnya tidak lebih rumit dari . Jika untuk semuaikita memilikiVar(Xi)=σ2danCov(Xi,Xj)=0untukijlaluVar(1Var(1niXi)=1n2(iVar(Xi)+ijCov(Xi,Xj))iVar(Xi)=σ2Cov(Xi,Xj)=0ij dan kesalahan standar Anda adalahσVar(1nsayaXsaya)=σ2n . Di sisi lain, jika persyaratan kovarians positif dan besar, kesalahan standar akan menjadi lebih besar. σn
Matthew Gunn
@MarkWhite Saya bukan ahli meta-analisis, dan saya jujur ​​tidak tahu apa sumber yang bagus untuk bagaimana orang harus melakukan meta-analisis modern. Secara konseptual, mereplikasi analisis pada data yang sama tentu berguna (seperti mempelajari beberapa subjek secara intensif), tetapi itu tidak sama dengan mereproduksi temuan pada subjek baru yang independen.
Matthew Gunn
1
Ah, jadi dalam kata-kata: Varians total ukuran efek berasal dari (a) variansnya dan (b) itu kovarians dengan ukuran efek lainnya. Jika kovarians adalah 0, maka estimasi kesalahan standar baik-baik saja; tetapi jika itu bersinggungan dengan ukuran efek lainnya, kita perlu memperhitungkan varians itu, dan mengabaikannya berarti kita meremehkan varians tersebut. Ini seperti varians terdiri dari dua bagian A dan B, dan mengabaikan dependensi mengasumsikan bagian B adalah 0 ketika bukan?
Mark White
1
Juga, ini tampaknya menjadi sumber yang baik (lihat Kotak 2): nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf
Mark White
29

Iya nih. Misalkan Anda memiliki nilai- p dari studi independen N.NN

Tes Fisher

(EDIT - sebagai tanggapan terhadap komentar berguna @ mdewey di bawah ini, relevan untuk membedakan antara berbagai tes meta. Saya menguraikan kasus tes meta lain yang disebutkan oleh mdewey di bawah)

Uji meta Fisher klasik (lihat Fisher (1932), "Metode Statistik untuk Pekerja Penelitian" ) statistik memiliki χ 2 2 N distribusi nol, seperti - 2 ln ( U ) ~ χ 2 2 untuk rv seragam U .

F=-2saya=1Ndalam(halsaya)
χ2N2-2dalam(U)χ22U

Misalkan menunjukkan ( 1 - α ) -quantile dari distribusi nol.χ2N2(1-α)(1-α)

Misalkan semua nilai p sama dengan , di mana, mungkin, c > α . Kemudian, F = - 2 N ln ( c ) dan F > χ 2 2 N ( 1 - α ) ketika c < exp ( - χ 2 2 N ( 1 - α )cc>αF=-2Ndalam(c)F>χ2N2(1-α) Sebagai contoh, untukα=0,05danN=20, nilaipindividuhanya perlu kurang dari

c<exp(-χ2N2(1-α)2N)
α=0,05N=20hal
> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

Tentu saja, yang diuji statistik meta adalah "hanya" "agregat" nol yang semua nol individu adalah benar, yang harus ditolak segera setelah hanya satu dari nol yang palsu.N

EDIT:

Berikut ini adalah plot dari nilai-p "yang dapat diterima" terhadap , yang mengonfirmasi bahwa c tumbuh dalam N , meskipun tampaknya mendatar pada c 0,36 .NcNc0,36

masukkan deskripsi gambar di sini

Saya menemukan sebuah batas atas untuk quantiles dari distribusi χ 2 2 N ( 1 - α ) 2 N + 2 log ( 1 / α ) + 2 χ2sini, menunjukkan bahwaχ 2 2 N (1-α)=O(N)sehingga exp ( - χ 2 2 N ( 1 - α )

χ2N2(1-α)2N+2log(1/α)+22Nlog(1/α),
χ2N2(1-α)=HAI(N)dibatasi dari atas olehexp(-1)sebagaiN. Sebagaiexp(-1)0,3679, batas ini tampaknya cukup tajam.exp(-χ2N2(1-α)2N)exp(-1)Nexp(-1)0,3679

Uji Inverse Normal (Stouffer et al., 1949)

Statistik uji diberikan oleh

Z=1Nsaya=1NΦ-1(halsaya)
Φ-1Z<-1.645α=0,05halsaya=cZ=NΦ-1(c)c<0,5Φ-1(c)<0Zhal-Nc0,5ZNN

Z<-1.645c<Φ(-1.645/N)Φ(0)=0,5N

Christoph Hanck
sumber
2
1/e
Terima kasih :-). Saya tidak mengharapkan satu pun sebelum saya melihat plot ...
Christoph Hanck
5
Menariknya metode karena Fisher adalah satu-satunya metode yang umum digunakan yang memiliki properti ini. Untuk sebagian besar yang lain apa yang Anda sebut F meningkat dengan N jika $ c> 0,5) dan menurun sebaliknya. Itu berlaku untuk metode Stouffer dan metode Edgington serta metode berdasarkan log dan rata-rata p. Berbagai metode yang merupakan kasus khusus dari metode Wilkinson (p minimum, p maksimum, dll) memiliki sifat yang berbeda lagi.
mdewey
1
1/e
hal=0,9hal
4

hal

halα

hal[1]hal[2]...hal[k]
k
hal[1]<1-(1-α)1k

kαhal[1]α

halhal[r]1rkr=2hal=0,09

Metode LHC Tippett dijelaskan dalam buku Metode statistik. 1931 (edisi pertama) dan metode Wilkinson ada di sini dalam artikel "Pertimbangan statistik dalam penelitian psikologis"

Nyonya
sumber
1
Terima kasih. Tetapi perhatikan bahwa sebagian besar metode meta-analisis menggabungkan ukuran efek (memperhitungkan perbedaan ukuran sampel), dan tidak menggabungkan nilai P.
Harvey Motulsky
@HarveyMotulsky setuju, menggabungkan nilai-p adalah pilihan terakhir tetapi OP benar-benar menandai pertanyaannya dengan tag nilai-menggabungkan jadi saya menjawab dalam semangat itu
mdewey
Saya pikir jawaban Anda benar.
Subhash C. Davar