Meta-regresi multivariat bertingkat

Latar belakang:
Saya ingin melakukan meta-regresi menggunakan studi yang memiliki (1) beberapa hasil / konstruksi (= multivariat) dan (2) ukuran efek berganda untuk setiap hasil ini karena ukuran yang berbeda. Berikut adalah skema yang mudah-mudahan menjelaskannya:

• Studi 1, Hasil A, Efek Ukuran 1
• Studi 1, Hasil A, Efek Ukuran 2
• Studi 1, Hasil B, Efek Ukuran 3
• Studi 2, Hasil A, Efek Ukuran 4
• Studi 2, Hasil C, Efek Ukuran 5
• Studi 2, Hasil C, Efek Ukuran 6
• ...

Studi membandingkan cara dua kelompok pada hasil yang berbeda dan ukuran efek adalah Hedge's g.

Contoh praktisnya adalah "Memori Kerja" yang dapat dibagi menjadi hasil yang berbeda (Baddeley, 1974), misalnya "Lingkaran Fonologis", "Sketsa Papan Visuospatial" atau "Eksekutif Pusat".
Sebagai contoh, Studi 1 menilai "loop fonologis" (Hasil A) dengan dua ukuran berbeda (= Efek Ukuran 1 dan 2) dan "Eksekutif Pusat" (Hasil B) dengan satu ukuran (= Efek Ukuran 3).

Masalah:
Pendekatan multivariat yang tepat perlu mengetahui setiap korelasi antara ukuran efek dan hasil untuk memperkirakan kovarian. Namun saya tidak tahu (1) korelasi antara ukuran efek yang berbeda dalam studi yang sama dan (2) korelasi antara hasil dari berbagai studi. Saya dapat memperkirakannya atau mencoba menemukan setidaknya beberapa korelasi untuk dikerjakan, tetapi itu berarti banyak pencarian literatur tambahan yang ingin saya hindari.

Solusi (sejauh ini):
Saya menemukan beberapa metode yang menangani masalah serupa.
Robust Variance Estimation (Hedges, 2010) adalah pendekatan yang bagus untuk menangani berbagai ukuran efek. Namun saya masih harus menebak korelasi dan melakukan analisis sensitivitas dan juga tampaknya tidak mungkin untuk membandingkan beberapa hasil (yaitu hanya meta-regresi univariat).
Pendekatan multilevel Van den Noorgate (2014) cukup menjanjikan karena tidak perlu memperkirakan korelasi apa pun dengan memungkinkan variasi antara ukuran efek dan antara ukuran efek dalam penelitian. Meta-analisis multivariat bertingkat (= hasil yang berbeda dan ukuran efek berganda seperti dalam skema di atas) dan meta-regresi multivariat bertingkat (= ukuran efek berganda tetapi tidak ada perbedaan antara hasil) dijelaskan.

Menggunakan paket metafor di R Saya bertanya-tanya apakah saya bisa menggabungkan kedua pendekatan bertingkat dan melakukan meta-regresi multivariat bertingkat. Contoh untuk meta-analisis multilevel dan meta-regresi multivariat menggunakan metafor diberikan di sini http://www.metafor-project.org/doku.php/analyses:konstantopoulos2011 (multilevel) dan di sini http: //www.metafor- project.org/doku.php/analyses:berkey1998 (multivarian). (Harap dicatat bahwa contoh bertingkat yang dihubungkan di atas sebenarnya menggambarkan suatu pendekatan untuk menangani dependensi hirarkis (mis. Studi yang dilakukan oleh laboratorium penelitian yang sama). Sebaliknya saya menggunakan pendekatan bertingkat yang dijelaskan oleh Van den Noorgate.)

Variabel:
ES: Ukuran efek (Hedge's g)
VI: Varians ukuran efek
Pub_Year: Tahun publikasi sebagai prediktor dalam meta-regresi
ES_ID: Setiap ukuran efek memiliki ID unik, terlepas dari studi atau hasil yang dimiliki.
Outcome_ID: Hasil yang sama memiliki ID yang sama (misalnya "Lingkaran Fonologis" = 1, "Eksekutif Pusat" = 2), terlepas dari studi mana mereka berasal.
Study_ID: Ukuran efek dari studi yang sama memiliki ID yang sama (misalnya Ukuran efek dari Studi 1 = 1, Ukuran efek dari Studi 2 = 2), terlepas dari hasil mana yang mereka miliki.

R-Code dalam metafor untuk meta-analisis multivariat bertingkat:
rma.mv (ES, VI, mods = ~ Outcome_ID -1, acak = daftar (~ 1 | Study_ID, ~ 1 | ES_ID), data = data.set)

• mods = ~ Outcome_ID -1 membutuhkan pendekatan multivarian dan mencantumkan ukuran efek rata-rata untuk setiap hasil.
• random = daftar (~ 1 | Study_ID, ~ 1 | ES_ID) adalah pendekatan bertingkat yang dijelaskan oleh Van den Noorgate. Ini memungkinkan variasi acak antara ukuran efek dalam studi (~ 1 | Study_ID) dan antara ukuran efek (~ 1 | ES_ID). Anda juga dapat melakukan analisis ini menggunakan paket metaSEM. Hasilnya identik.

R-Code dalam metafor untuk multilevel multivariate meta-regression:
rma.mv (ES, VI, mods = ~ Hasil_ID + Hasil: I (Pub_Year-mean (Pub_Year)) -1, acak = daftar (~ 1 | Study_ID, ~ 1 | ES_ID), data = data.set)

• mods = ~ Outcome_ID + Hasil: I (Pub_Year-mean (Pub_Year)) -1 sekarang memanggil meta-regresi multivariat dengan Tahun Publikasi yang berpusat di sekitar mean sebagai prediktor.

Menggunakan opsi profil () dalam metafor, Plot Kemungkinan Profil terlihat baik-baik saja. Namun saya masih bertanya-tanya apakah saya tidak terlalu mengukur model atau jika ada sesuatu yang salah ketika menggabungkan mods- dan acak-argumen dengan cara ini.
Menantikan pendapat, saran, ide, pendekatan lain, semuanya ;-) Terima kasih!

Pembaruan, Respon untuk jawaban Wolfgang:

Pertama-tama: Terima kasih banyak atas jawaban terperinci Anda dan tautan tambahan yang Anda berikan. Saya tidak tahu tentang milis R-sig-model campuran. Jadi terima kasih! Saya sangat menghargainya.

Biarkan saya mencoba meringkas semuanya dan menyesuaikannya dengan situasi saya untuk melihat apakah saya memahami semuanya di sini. Saya dapat melakukan hal-hal berikut:

1. Memperoleh korelasi: Sayangnya korelasi tidak dilaporkan. Awalnya meta-analisis terdiri dari lebih dari 50 studi. Hampir setengah dari studi kehilangan atau tidak melaporkan data. Setiap penulis studi ini dihubungi dan saya menerima 4 balasan dari 26 permintaan (setelah 2 bulan menunggu). Tapi itu adalah masalah pelaporan umum yang tidak dibahas di sini.

2. Jika saya melakukan tebakan kasar dari semua korelasi saya dapat:
   Melakukan meta-analisis multivariat dan meta-regresi seperti dalam Berkey et al. (1998) contoh dan lakukan analisis sensitivitas.
   Gunakan model meta-analisis multivariat yang cocok ini dan bekerja dengan fungsi robust (). Namun tidak ada meta-regresi yang didasarkan pada fungsi robust () yang tampaknya mungkin dalam metafor. Dan fungsi robust () yang dijelaskan dalam blog James Pustejovsky hanya bekerja dengan meta-regresi univariat. Jadi, jika saya memahaminya dengan benar, perkiraan fungsi robust () kurang lebih mengonfirmasi estimasi model saya yang sudah terpasang (?).
   Langsung gunakan metode yang kuat dan gunakan paket robumeta. Namun tidak ada meta analisis multivariat yang memungkinkan. Saya menemukan kode SASuntuk menangani masalah ini. Tetapi kodenya dikembangkan 3 tahun yang lalu dan sepertinya tidak pernah benar-benar dibahas. Pada akhirnya, ketika menggunakan robumeta, saya harus merangkum banyak hasil yang berbeda menjadi satu meta-analisis besar atau saya harus melakukan beberapa meta-analisis univariat untuk setiap hasil yang ingin saya hindari.

3. Jika saya tidak ingin menebak korelasi apa pun, saya bisa menggunakan pendekatan bertingkat seperti yang dijelaskan oleh Van den Noorgate menggunakan metafor, metaSEM atau SAS. Namun ada beberapa kendala menggunakan pendekatan ini dibandingkan dengan pendekatan multivariat berdasarkan korelasi. Juga saya tidak yakin apakah meta-regresi multivariat multilevel dimungkinkan. Paket metaSEM hanya menjelaskan meta-analisis multivariat multilevel atau meta-regresi multivariat multilevel.

Sayangnya saya tidak begitu terbiasa dengan menggunakan metode resampling dalam meta-analisis. Saya telah mempelajari contoh Anda, tetapi saya tidak yakin bagaimana ini dapat membantu saya untuk menyelesaikan masalah "korelasi / multivarian". Apakah maksud Anda saya harus mencoba memperkirakan korelasi menggunakan bootstrap? Dan jika demikian, saya tidak yakin nilai mana yang harus berkorelasi karena jumlah rata-rata atau ukuran efek di dalam dan di antara studi berbeda.

Penyederhanaan model yang dijelaskan oleh Riley dan rekannya terdengar menarik. Saya mengingatnya, meskipun saya ingin bekerja dengan salah satu metode yang dijelaskan di atas.

Seperti yang Anda perhatikan, model yang menambahkan efek acak untuk setiap studi dan efek acak untuk setiap hasil adalah model yang memperhitungkan ketergantungan hirarkis. Model ini memungkinkan hasil / efek sebenarnya dalam suatu penelitian untuk dikorelasikan. Ini adalah contoh Konstantopoulos (2011) yang Anda tautkan.

Tetapi model ini masih mengasumsikan bahwa kesalahan pengambilan sampel dari hasil / efek yang diamati dalam penelitian adalah independen, yang jelas tidak terjadi ketika hasil tersebut dinilai dalam individu yang sama. Jadi, seperti dalam Berkey et al. (1998) contoh Anda tautkan, idealnya Anda perlu membangun seluruh matriks varians-kovarians dari kesalahan pengambilan sampel (dengan varians pengambilan sampel di sepanjang diagonal). Bab oleh Gleser dan Olkin (2009) dari Buku Pegangan sintesis penelitian dan meta-analisis menjelaskan bagaimana kovarian dapat dihitung untuk berbagai ukuran hasil (termasuk perbedaan rata-rata standar). Analisis / metode dari bab tersebut direplikasi di sini (Anda berurusan dengan kasus multi-endpoint).

Dan seperti yang Anda perhatikan, melakukan ini membutuhkan mengetahui bagaimana pengukuran aktual dalam studi berkorelasi. Dengan menggunakan contoh Anda, Anda perlu mengetahui untuk studi 1 seberapa kuat korelasi itu antara dua pengukuran untuk "loop fonologis" (lebih akurat, ada dua korelasi, satu untuk pertama dan satu untuk kelompok kedua, tetapi kami biasanya mengasumsikan bahwa korelasinya sama untuk kedua kelompok), dan seberapa kuat pengukuran tersebut berkorelasi dengan pengukuran "Eksekutif Pusat". Jadi, tiga korelasi secara total.

Memperoleh / mengekstraksi korelasi-korelasi ini seringkali sulit, jika bukan tidak mungkin (seperti yang sering tidak dilaporkan). Jika Anda benar-benar tidak dapat memperolehnya (bahkan setelah menghubungi penulis studi dalam upaya mendapatkan informasi yang hilang), ada beberapa opsi:

1. Orang masih sering dapat menebak dengan kasar seberapa besar korelasinya. Kemudian kami menggunakan 'guestimates' dan melakukan analisis sensitivitas untuk memastikan bahwa kesimpulan tetap tidak berubah ketika nilai bervariasi dalam kisaran yang masuk akal.

2. Seseorang dapat menggunakan metode yang kuat - pada intinya, kami kemudian menganggap matriks varians-kovarians yang diasumsikan dari kesalahan pengambilan sampel tidak ditentukan dengan benar (yaitu, kami menganggapnya diagonal, padahal sebenarnya kami tahu itu bukan diagonal) dan kemudian memperkirakan variansnya -kovarians matriks efek tetap (yang biasanya merupakan kepentingan utama) menggunakan metode yang konsisten bahkan di bawah salah spesifikasi model. Ini pada dasarnya pendekatan yang dijelaskan oleh Hedges, Tipton, dan Johnson (2010) yang Anda sebutkan.

3. Metode resampling (mis. Bootstrap dan pengujian permutasi) juga dapat berfungsi.

4. Ada juga beberapa model alternatif yang mencoba untuk menghindari masalah dengan cara penyederhanaan model. Secara khusus, dalam model / pendekatan oleh Riley dan rekan (lihat, misalnya: Riley, Abrams, Lambert, Sutton, & Thompson, 2007, Statistics in Medicine, 26, 78-97), kami mengasumsikan bahwa korelasi di antara kesalahan pengambilan sampel identik dengan korelasi antara efek sebenarnya yang mendasarinya, dan kemudian kami hanya memperkirakan satu korelasi itu. Ini bisa berhasil, tetapi apakah itu tergantung pada seberapa baik penyederhanaan cocok dengan kenyataan.

5. Selalu ada opsi lain: Hindari segala jenis ketergantungan statistik melalui pengurangan data (misalnya, memilih hanya satu perkiraan, melakukan analisis terpisah untuk hasil yang berbeda). Ini masih merupakan pendekatan yang paling umum digunakan untuk 'menangani' masalah, karena memungkinkan praktisi untuk tetap pada model / metode / perangkat lunak (yang relatif sederhana) yang sudah mereka kenal. Tetapi pendekatan ini bisa menjadi pemborosan dan membatasi inferensi (misalnya, jika kami melakukan dua meta-analisis terpisah untuk hasil A dan B, kami tidak dapat menguji apakah efek yang diperkirakan berbeda untuk A dan B kecuali jika kami dapat menghitung kovarians mereka dengan benar).

Catatan: Masalah yang sama dibahas pada milis R-sig-model campuran dan intinya saya mengulangi apa yang sudah saya posting di sana. Lihat di sini .

Untuk metode yang kuat, Anda bisa mencoba paket robumeta . Jika Anda ingin tetap berpegang pada metafor, Anda akan menemukan ini , blog , posting oleh James Pustejovsky menarik. Dia juga mengerjakan paket lain, yang disebut clubSandwich yang menambahkan beberapa koreksi sampel kecil. Anda juga dapat mencoba versi pengembangan dari metafor(lihat di sini ) - ini mencakup fungsi baru yang disebut robust()yang dapat Anda gunakan setelah Anda memasang model Anda untuk mendapatkan tes yang kuat dan interval kepercayaan cluster. Dan Anda dapat menemukan beberapa kode untuk memulai dengan bootstrap di sini .