Mengapa menemukan efek kecil dalam studi besar menunjukkan bias publikasi?

32

Beberapa makalah metodologi (misalnya Egger et al 1997a, 1997b) membahas bias publikasi seperti yang diungkapkan oleh meta-analisis, menggunakan plot corong seperti yang di bawah ini. Saluran corong beta blocker dalam infark miokard

Makalah 1997b selanjutnya mengatakan bahwa "jika bias publikasi hadir, diharapkan, dari studi yang dipublikasikan, yang terbesar akan melaporkan efek terkecil." Tapi kenapa begitu? Tampaknya bagi saya bahwa semua ini akan membuktikan adalah apa yang sudah kita ketahui: efek kecil hanya dapat dideteksi dengan ukuran sampel besar ; sambil mengatakan apa-apa tentang studi yang tetap tidak dipublikasikan.

Juga, karya yang dikutip mengklaim bahwa asimetri yang dinilai secara visual dalam plot corong "menunjukkan bahwa ada non-publikasi selektif uji coba yang lebih kecil dengan manfaat yang kurang besar." Tapi, sekali lagi, saya tidak mengerti bagaimana setiap fitur dari studi yang telah dipublikasikan mungkin bisa menceritakan apa-apa (memungkinkan kita untuk membuat kesimpulan) tentang karya yang tidak dipublikasikan!

Referensi
Egger, M., Smith, GD, & Phillips, AN (1997). Meta-analisis: prinsip dan prosedur . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M., & Minder, C. (1997). Bias dalam meta-analisis terdeteksi oleh tes grafis sederhana . BMJ , 315 (7109), 629-634.

Z8080
sumber
Saya tidak berpikir Anda memiliki ini dengan cara yang benar. Mungkin jawaban untuk T&J ini dapat membantu stats.stackexchange.com/questions/214017/…
mdewey
7
Agar sebuah studi kecil dapat diterbitkan sama sekali, itu harus menunjukkan efek yang besar tidak peduli apa ukuran efek yang sebenarnya.
einar

Jawaban:

23

Jawaban di sini bagus, +1 untuk semua. Saya hanya ingin menunjukkan bagaimana efek ini terlihat dalam istilah alur corong dalam kasus yang ekstrem. Di bawah ini saya mensimulasikan efek kecil sebagai N(.01,.1) dan menggambar sampel antara 2 dan 2000 pengamatan.

hal<0,05

Seperti yang Anda lihat, di bawah bias publikasi ada kecenderungan kuat untuk studi kecil untuk melebih-lebihkan ukuran efek dan bagi yang lebih besar untuk melaporkan ukuran efek lebih dekat dengan kebenaran.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

Dibuat pada 2019-02-20 oleh paket reprex (v0.2.1)

Einar
sumber
1
Poin luar biasa, sangat membantu memahami hal ini secara intuitif, terima kasih!
z8080
2
+1 Grafik ini bernilai ribuan kata dan merangkum masalah dengan baik. Jenis bias ini bahkan dapat ditemukan ketika ukuran efek sebenarnya adalah 0.
Underminer
29

Pertama, kita perlu berpikir tentang apa "bias publikasi" itu, dan bagaimana hal itu akan memengaruhi apa yang sebenarnya membuatnya menjadi literatur.

hal<0,05|θ^|/SE(θ^)>1.96nSE(θ^)|θ^|

θ|θ^| θ^|θ| sebenarnya jauh lebih kecil daripada apa yang biasanya kita lihat dari percobaan yang lebih kecil yang membuatnya menjadi publikasi.

|θ^| SE(θ^)hal<0,05

Cliff AB
sumber
nSE(θ)|θ|SE(θ)=SD(θ)nSE(θ)SE
19

Baca pernyataan ini dengan cara yang berbeda:

Jika tidak ada bias publikasi, ukuran efek harus independen dari ukuran studi.

Artinya, jika Anda mempelajari satu fenomena, ukuran efek adalah properti dari fenomena, bukan sampel / penelitian.

Perkiraan ukuran efek dapat (dan akan) bervariasi di seluruh studi, tetapi jika ada ukuran efek penurunan sistematis dengan meningkatnya ukuran studi , itu menunjukkan ada bias. Intinya adalah bahwa hubungan ini menunjukkan bahwa ada studi kecil tambahan yang menunjukkan ukuran efek rendah yang belum dipublikasikan, dan jika mereka diterbitkan dan karenanya dapat dimasukkan dalam analisis meta, kesan keseluruhan adalah bahwa ukuran efek lebih kecil dari apa yang diperkirakan dari subset studi yang diterbitkan.

Varian dari estimasi ukuran efek di seluruh studi akan tergantung pada ukuran sampel, tetapi Anda harus melihat jumlah yang sama dari estimasi di bawah dan di atas pada ukuran sampel yang rendah jika tidak ada bias.

Bryan Krause
sumber
1
Tetapi apakah benar untuk mengatakan bahwa "Jika tidak ada bias publikasi, ukuran efek harus independen dari ukuran studi"? Ini benar tentu saja ketika Anda merujuk pada efek mendasar yang sebenarnya, tetapi saya pikir mereka mengacu pada efek yang diperkirakan. Efek ukuran yang adalah tergantung dari ukuran studi (menunjukkan bias) sebesar hubungan linear dalam scatter plot (korelasi yang tinggi). Ini adalah sesuatu yang secara pribadi tidak saya lihat dalam plot corong, meskipun tentu saja banyak dari plot corong itu menyiratkan adanya bias.
z8080
2
@ z8080 Anda benar, hanya jika estimasi rata-rata dan standar deviasi tidak bias ukuran efek yang diperkirakan akan benar-benar independen dari ukuran studi jika tidak ada bias publikasi. Karena standar deviasi sampel bias, akan ada beberapa bias dalam perkiraan ukuran efek, tetapi bias itu kecil dibandingkan dengan tingkat bias di seluruh studi yang mengacu Egger et al. Dalam jawaban saya, saya memperlakukannya sebagai diabaikan, dengan asumsi ukuran sampel cukup besar sehingga perkiraan SD hampir tidak bias, dan karena itu menganggapnya tidak tergantung pada ukuran studi.
Bryan Krause
2
@ z8080 The varians dari perkiraan ukuran efek akan tergantung pada ukuran sampel, tetapi Anda harus melihat jumlah yang sama bawah dan di atas perkiraan pada ukuran sampel yang rendah.
Bryan Krause
2
"Perkiraan ukuran efek dapat (dan akan) bervariasi di seluruh studi, tetapi jika ada hubungan sistematis antara ukuran efek dan ukuran studi" Ungkapan itu agak tidak jelas tentang perbedaan antara ketergantungan dan ukuran efek. Distribusi ukuran efek akan berbeda untuk ukuran sampel perbedaan, dan dengan demikian tidak akan terlepas dari ukuran sampel, terlepas dari apakah ada bias. Bias adalah arah sistematis ketergantungan.
Akumulasi
@Akumulasi Apakah hasil edit saya memperbaiki kurangnya kejelasan yang Anda lihat?
Bryan Krause