Apakah bobot berbasis presisi (yaitu invers-varians) merupakan bagian integral dari meta-analisis?

Apakah pembobotan berbasis presisi penting bagi meta-analisis? Borenstein et al. (2009) menulis bahwa untuk memungkinkan meta-analisis, semua yang diperlukan adalah:

1. Studi melaporkan estimasi titik yang dapat dinyatakan sebagai angka tunggal.
2. Varians dapat dihitung untuk estimasi titik itu.

Tidak segera jelas bagi saya mengapa (2) sangat diperlukan. Tetapi, memang, semua metode meta-analisis yang diterima secara luas mengandalkan skema pembobotan berbasis presisi (yaitu varian terbalik), yang memang membutuhkan estimasi varian untuk ukuran efek masing-masing studi. Perhatikan bahwa sementara Metode Hedges (Hedges & Olkin, 1985; Hedges & Vevea, 1998) dan Metode Hunter dan Schmidt (Hunter & Schmidt, 2004) keduanya pada dasarnya menggunakan pembobotan ukuran sampel, metode ini hanya berlaku untuk perbedaan rata-rata yang dinormalisasi, dan karenanya memerlukan standar deviasi di tempat lain. Masuk akal bahwa bobot berbanding terbalik dengan varians dalam setiap studi akan meminimalkan varians dalam penaksir ukuran efek keseluruhan, jadi apakah skema pembobotan ini merupakan fitur yang diperlukan dari semua metode?

Apakah mungkin untuk melakukan tinjauan sistematis tanpa akses ke varians untuk setiap ukuran efek dan masih menyebut hasilnya meta-analisis? Ukuran sampel tampaknya memiliki potensi sebagai proksi untuk presisi ketika varians tidak tersedia. Bisakah seseorang, misalnya, menggunakan pembobotan ukuran sampel dalam penelitian di mana ukuran efek didefinisikan sebagai perbedaan rata-rata baku? Bagaimana hal itu mempengaruhi konsistensi dan efisiensi ukuran efek rata-rata yang dihasilkan?

Pertanyaan ini sulit dijawab, karena sangat mengindikasikan kebingungan umum dan keadaan kacau di banyak literatur meta-analitik (OP tidak bisa disalahkan di sini - itu adalah literatur dan deskripsi metode , model, dan asumsi yang sering berantakan).

Tetapi untuk membuat cerita panjang pendek: Tidak, jika Anda ingin menggabungkan sekelompok perkiraan (yang mengukur semacam efek, tingkat asosiasi, atau hasil lain yang dianggap relevan) dan masuk akal untuk menggabungkan angka-angka itu, maka Anda bisa mengambil rata-rata (tidak tertimbang) dan itu akan baik-baik saja. Tidak ada yang salah dengan itu dan di bawah model yang biasanya kami asumsikan ketika kami melakukan meta-analisis, ini bahkan memberi Anda perkiraan yang tidak bias (dengan asumsi bahwa perkiraan itu sendiri tidak bias). Jadi, tidak, Anda tidak perlu varians pengambilan sampel untuk menggabungkan perkiraan.

Jadi mengapa pembobotan invers-varians hampir identik dengan melakukan meta-analisis? Ini ada hubungannya dengan gagasan umum bahwa kami melampirkan lebih banyak kredibilitas untuk studi besar (dengan varians sampel yang lebih kecil) daripada studi yang lebih kecil (dengan varians sampling yang lebih besar). Bahkan, di bawah asumsi model biasa, menggunakan pembobotan invers-varians mengarah ke penaksir tidak bias varians minimum seragam seragam(UMVUE) - well, semacam, sekali lagi mengasumsikan estimasi tidak bias dan mengabaikan fakta bahwa varians sampel sebenarnya sering tidak tahu persis, tetapi diperkirakan sendiri dan dalam model efek-acak, kita juga harus memperkirakan komponen varians untuk heterogenitas, tapi kemudian kita hanya memperlakukannya sebagai konstanta yang diketahui, yang juga tidak tepat ... tapi ya, kita mendapatkan UMVUE jika kita menggunakan pembobotan invers-varians jika kita hanya menyipitkan mata sangat keras dan mengabaikan beberapa di antaranya. masalah.

Jadi, efisiensi penduga yang dipertaruhkan di sini, bukan ketidakberpihakan itu sendiri. Tetapi bahkan rata-rata tanpa bobot sering kali tidak akan jauh lebih efisien daripada menggunakan rata-rata berbobot invers-varians, terutama dalam model efek-acak dan ketika jumlah heterogenitas besar (dalam hal ini skema pembobotan biasa menyebabkan bobot yang hampir seragam. bagaimanapun!). Tetapi bahkan dalam model efek tetap atau dengan sedikit heterogenitas, perbedaannya seringkali tidak berlebihan.

Dan seperti yang Anda sebutkan, orang juga dapat dengan mudah mempertimbangkan skema penimbangan lainnya, seperti penimbangan berdasarkan ukuran sampel atau beberapa fungsi daripadanya, tetapi sekali lagi ini hanya upaya untuk mendapatkan sesuatu yang dekat dengan bobot invers-varians (karena varians sampelnya adalah, untuk sebagian besar, ditentukan oleh ukuran sampel penelitian).

Tapi sungguh, kita bisa dan harus 'memisahkan' masalah bobot dan varian sama sekali. Mereka benar-benar dua bagian terpisah yang harus dipikirkan seseorang. Tapi itu tidak hanya bagaimana hal-hal yang disajikan dalam literatur.

Namun, intinya di sini adalah Anda benar-benar perlu memikirkan keduanya. Ya, Anda dapat mengambil rata-rata tidak tertimbang sebagai estimasi gabungan Anda dan itu, pada dasarnya, akan menjadi meta-analisis, tetapi begitu Anda ingin mulai melakukan inferensi berdasarkan estimasi gabungan tersebut (misalnya, lakukan uji hipotesis, buat interval kepercayaan ), Anda perlu mengetahui varians sampling (dan jumlah heterogenitas). Pikirkan seperti ini: Jika Anda menggabungkan banyak studi kecil (dan / atau sangat heterogen), estimasi poin Anda akan menjadi jauh lebih tepat daripada jika Anda menggabungkan jumlah yang sama sangat besar (dan / atau homogen) studi - terlepas dari bagaimana Anda menimbang perkiraan Anda saat menghitung nilai gabungan.

Sebenarnya, ada beberapa cara untuk tidak mengetahui varians sampel (dan jumlah heterogenitas) ketika kita mulai melakukan statistik inferensial. Satu dapat mempertimbangkan metode berdasarkan resampling (misalnya, bootstrap, pengujian permutasi) atau metode yang menghasilkan kesalahan standar yang konsisten untuk estimasi gabungan bahkan ketika kita salah menentukan bagian dari model - tetapi seberapa baik pendekatan ini dapat bekerja perlu dievaluasi dengan hati-hati pada dasar kasus per kasus.

Jika Anda mengetahui beberapa kesalahan standar tetapi tidak semuanya, berikut ini solusinya:

(1) mengasumsikan SE yang tidak diketahui diambil secara acak dari distribusi yang sama dengan SE yang diketahui atau biarkan distribusi SE dari estimasi makalah dengan SE yang tidak diketahui menjadi variabel bebas. Jika Anda ingin menjadi mewah, Anda dapat menggunakan model rata-rata di atas opsi-opsi ini.

(2) memperkirakan melalui kemungkinan maksimum

Jika studi Anda dengan SE yang tidak diketahui adalah 'outlier' model akan menjelaskan anomali dalam kombinasi cara-cara ini:

(a) studi kemungkinan memiliki SE tinggi untuk perkiraannya (studi ini kemungkinan memiliki daya rendah)

(B) penelitian ini kemungkinan memiliki komponen efek acak besar (peneliti memilih set data atau metode dll. yang memberikan hasil atipikal)

Efeknya, model ini akan mengurangi ketepatan efektif estimasi dengan SE yang tidak diketahui karena menjadi lebih anomali. Dalam hal ini sangat kuat untuk dimasukkannya 'outlier'. Pada saat yang sama, jika Anda menambahkan banyak studi dengan varian yang tidak diketahui tetapi dengan hasil yang khas, SE atau estimasi akhir Anda akan jatuh.