Pro dan kontra dari meta-analisis

Saya telah mempertimbangkan melakukan beberapa meta-analisis untuk bidang studi tertentu dalam evolusi, tetapi sebelum saya melangkah lebih jauh saya ingin tahu; apa positif dan negatif dari proses tersebut? Misalnya, tidak perlu eksperimen praktis adalah keuntungan (waktu & uang) tetapi akan ada bias publikasi (hasil yang lebih menarik akan dipublikasikan) yang akan merugikan.

Makalah apa dalam jurnal statistik yang membahas pro dan kontra dari meta-analisis?

Pengantar Meta-Analisis oleh Borenstein, Hedges, Higgins dan Rothstein menyediakan diskusi rinci tentang pro dan kontra dari meta-analisis. Lihat misalnya bab " Kritik meta-analisis " di mana penulis menanggapi berbagai kritik meta-analisis. Saya perhatikan judul bagian untuk bab itu dan kemudian melakukan beberapa pengamatan dari ingatan yang berhubungan dengan poin itu:

• "satu angka tidak dapat meringkas bidang penelitian": Analisis meta yang baik akan memodelkan variabilitas dalam ukuran efek sebenarnya dan memodelkan ketidakpastian estimasi.
• "masalah laci file membatalkan meta-analisis": Plot saluran dan alat terkait memungkinkan Anda untuk melihat apakah ukuran sampel terkait dengan ukuran efek untuk memeriksa bias publikasi. Meta-analisis yang baik berusaha untuk mendapatkan studi yang tidak dipublikasikan. Masalah ini dibagikan dengan studi naratif.
• "Pencampuran apel dan jeruk": Analisis meta yang baik menyediakan sistem pengkodean yang ketat untuk mengkategorikan studi termasuk dan membenarkan inklusi dan pengecualian studi dalam meta-analisis. Setelah penelitian diklasifikasikan, analisis moderator dapat dilakukan untuk melihat apakah ukuran efek bervariasi di seluruh jenis studi.
• "Studi penting diabaikan": Anda dapat membuat kode untuk kualitas studi yang dievaluasi. Sampel besar dapat diberi bobot lebih besar.
• "analisis meta dapat tidak setuju dengan uji coba acak":
• "meta-analisis berkinerja buruk": Ini hanyalah argumen untuk meningkatkan standar metode meta-analitik.
• "Apakah ulasan narasi lebih baik?": Banyak kritik meta-analisis (misalnya, bias publikasi) dibagikan oleh ulasan naratif. Hanya saja metode inferensi kurang eksplisit dan kurang teliti dalam ulasan naratif.

Dalam pengalaman saya melakukannya, jika belum pernah dilakukan sebelumnya, karena Anda tidak memberikan sentuhan Anda sendiri pada suatu bidang, maka jurnal yang tepat tidak memiliki bias terhadap mereka. Sebuah meta-analisis tidak akan diperoleh di Sains tetapi di bidang Anda, jurnal yang bagus biasanya baik-baik saja dengan meta-analisis baru.

Waktu dan biaya yang dihemat untuk tidak melakukan percobaan sering menghabiskan waktu untuk melakukan hal-hal lain. Salah satu masalah besar adalah bahwa banyak artikel tidak melaporkan informasi yang cukup untuk dianalisis. Anda sering harus menghubungi penulis untuk memulihkan ini dan sayangnya semuanya sering tidak dapat atau tidak akan memenuhi permintaan. Ini adalah waktu terbesar dalam prosesnya.

Anda juga melewatkan beberapa pro seperti tingkat kutipan tinggi. Jika Anda adalah meta-analisis pertama dan satu-satunya, peneliti baru akan sangat sering mengutip makalah Anda. Pro lain adalah studi tindak lanjut yang relatif mudah. Dalam satu atau dua tahun, dalam bidang studi yang dinamis, Anda hanya perlu menambahkan dua tahun ke depan penelitian untuk menindaklanjuti meta-analisis. Relatif mudah untuk memilih meta-analisis di bidang studi jika Anda penggerak pertama. Ini kemudian menyebabkan tingkat kutipan yang relatif tinggi.

Jika Anda khawatir bahwa hasil yang Anda ambil dari literatur memiliki bias publikasi ada teknik statistik seperti plot corong (ukuran studi (sering -se) pada sumbu y dan efek pada x) yang dapat digunakan untuk mendeteksi seperti itu. Literatur yang tidak memihak tentang suatu subjek akan cenderung memiliki hasil yang simetris dalam plot corong tetapi efek karena bias publikasi akan terlihat jauh lebih seperti itu hanya setengah dari distribusi. Dan tidak seperti melakukan percobaan, menemukan bahwa data yang masuk ke dalam meta-analisis bias diterbitkan.

Saya pikir saya akan melakukan kritik terhadap "Kritik meta-analisis" dengan permintaan maaf kepada Michael Borenstein dan rekan-rekannya.

• "satu angka tidak dapat meringkas bidang penelitian": Analisis meta yang baik akan memodelkan variabilitas dalam ukuran efek sebenarnya dan memodelkan ketidakpastian estimasi.

! Varians hanyalah ringkasan yang mungkin menyesatkan seperti halnya ketidaktentuan dan keduanya akan sangat menyesatkan jika bias yang hampir pasti ada tidak secara eksplisit ditangani.

• "masalah laci file membatalkan meta-analisis": Plot saluran dan alat terkait memungkinkan Anda untuk melihat apakah ukuran sampel terkait dengan ukuran efek untuk memeriksa bias publikasi. Meta-analisis yang baik berusaha untuk mendapatkan studi yang tidak dipublikasikan. Masalah ini dibagikan dengan studi naratif.

! Seperti yang pernah dikatakan Box - seperti mengirim perahu dayung untuk melihat apakah laut cukup tenang untuk dilalui oleh Ratu Mary. Daya sangat rendah dan hampir pasti proses penyensoran salah .

• "Pencampuran apel dan jeruk": Analisis meta yang baik menyediakan sistem pengkodean yang ketat untuk mengkategorikan studi termasuk dan membenarkan inklusi dan pengecualian studi dalam meta-analisis. Setelah penelitian diklasifikasikan, analisis moderator dapat dilakukan untuk melihat apakah ukuran efek bervariasi di seluruh jenis studi.

! Lagi-lagi kekuatan putus asa dan bias biasanya juga setuju.

• "Studi penting diabaikan": Anda dapat membuat kode untuk kualitas studi yang dievaluasi. Sampel besar dapat diberi bobot lebih besar.

! Sekarang daya putus asa, model salah spesifikasi, dan bias tidak selalu diperhitungkan dengan benar. Pada bias yang dihasilkan oleh skor kualitas dalam meta-analisis

• "analisis meta dapat tidak setuju dengan uji coba acak":

! Sepenuhnya setuju dan juga satu-satunya sumber tentang ketidakpastian nyata mereka.

• "meta-analisis berkinerja buruk": Ini hanyalah argumen untuk meningkatkan standar metode meta-analitik.

! Sangat setuju.

• "Apakah ulasan narasi lebih baik?": Banyak kritik meta-analisis (misalnya, bias publikasi) dibagikan oleh ulasan naratif. Hanya saja metode inferensi kurang eksplisit dan kurang teliti dalam ulasan naratif.

! Sangat setuju.

Tidak yakin mengapa banyak literatur meta-analisis mempertahankan kacamata berwarna seperti mawar - meta-analisis harus dilakukan Meta-analisis dalam penelitian medis: Dorongan kuat untuk kualitas yang lebih tinggi dalam upaya penelitian individu , tetapi harus dilakukan secara kritis dengan kesadaran penuh semua wort.

Dan, karena saya hampir selalu lupa, saya perlu mengklarifikasi apa yang sebenarnya saya maksud dengan meta-analisis karena apa yang orang lain maksudkan bervariasi dari waktu ke waktu dan tempat dan mungkin makna yang paling umum saat ini - hanya metode kuantitatif yang digunakan pada angka yang diekstraksi yang diperoleh dalam tinjauan sistematis - bukan itu yang saya maksud. Maksud saya seluruh proses peninjauan sistematis bahkan jika diputuskan untuk tidak benar-benar menggunakan metode kuantitatif sama sekali. Atau hanya dalam satu kalimat seperti dikutip dalam wiki

Dalam statistik, meta-analisis mengacu pada metode yang berfokus pada kontras dan menggabungkan hasil dari berbagai studi, dengan harapan mengidentifikasi pola di antara hasil studi, sumber ketidaksepakatan di antara hasil tersebut, atau hubungan menarik lainnya yang mungkin muncul dalam konteks banyak penelitian.