Bagaimana cara melaporkan model efek campuran linier untuk mereka yang tidak terbiasa dan skeptis?

8

Saya telah mengalami masalah ini beberapa kali sekarang, dengan pengulas meminta lebih banyak pembenaran untuk penggunaan LMM, tes tradisional, bukan atau di samping LMM, dan tabel perkiraan parameter lengkap dengan apa yang Anda laporkan dengan model linier biasa .

Saat ini masalah spesifik saya adalah pengulas yang meminta "Tabel yang berisi perkiraan parameter utama dari berbagai model". Saya pikir mereka menginginkan sesuatu seperti tabel tradisional yang akan dilaporkan untuk model linier (dengan uji t dan nilai p), tetapi dalam hal ini analisis melibatkan perbandingan model bersarang dan tidak ada uji t untuk masing-masing parameter yang termasuk dalam masing-masing model, melainkan tes tunggal untuk perbandingan model, yang saya laporkan di koran. Jadi saya tidak yakin apa yang harus dilakukan - saya ingin memuaskan pengulas, tetapi saya tidak selalu ingin menyertakan tabel besar informasi yang sedikit berguna untuk mengevaluasi hasil. Saat ini saya hanya melaporkan nilai beta, SE, chi-square dan p. Saya juga memperjelas variabel apa yang dimasukkan dalam masing-masing model. Ada saran untuk bagaimana melanjutkan?

Inilah yang saya usulkan untuk merespons:

Kami percaya peninjau meminta sesuatu yang mirip dengan apa yang akan dilaporkan dalam analisis regresi berganda tradisional, dengan perkiraan parameter dan statistik yang menyertainya dan nilai p untuk setiap variabel termasuk dalam model yang diberikan. Namun, karena analisis model campuran linier menggunakan model bersarang yang membandingkan model yang dikurangi dengan model lengkap dengan satu parameter tambahan, satu-satunya parameter yang diuji adalah yang ditambahkan dalam model lengkap (CITATION). Dengan demikian, termasuk tabel tidak akan mendukung interpretasi dari hasil dengan cara yang akan di analisis yang lebih tradisional. Jadi untuk setiap analisis, kami melaporkan beta untuk parameter yang diuji di setiap perbandingan model, bersama dengan statistik utama, di tubuh bagian hasil, seperti yang direkomendasikan (CITATIONS).

Juga, ketika dimintai pembenaran untuk penggunaan LMM dalam kasus khusus saya, inilah yang saya usulkan untuk menanggapi:

Kami menggunakan model campuran linier karena analisis ini memungkinkan kami untuk memperhitungkan variabilitas karena tipe uji coba dalam model kami (uji coba versus uji tanpa beralih), sementara secara bersamaan memperhitungkan fakta bahwa uji coba bersarang dalam subjek, dan beberapa respons dari orang yang sama lebih mirip daripada tanggapan dari orang lain. Akuntansi untuk kedua jenis percobaan dan varians tingkat subjek dalam waktu reaksi diharapkan untuk mengurangi kesalahan dalam model kami dan meningkatkan kemampuan kami untuk mendeteksi efek kinerja tugas.

Jika Anda memiliki saran untuk memperbaiki ini, saya sangat menghargainya. Sekali lagi, audiens ini tidak canggih secara statistik, jadi menambahkan tabel dan data tambahan hanya cenderung menambah kebingungan / skeptisisme mereka.

Juga, perhatikan bahwa motivasi saya untuk menggunakan LMM berbeda dari apa yang saya lihat di makalah (misalnya, memodelkan beberapa efek acak secara bersamaan - dalam kasus saya, hanya ada satu efek acak - peserta, dan jenis percobaan adalah efek tetap), jadi Saya tidak yakin mengutip beberapa surat kabar umum itu membantu. Mungkin saja saya mengabaikan cara lain untuk menganalisis data ini sehingga pembenaran saya untuk menggunakan LMM tidak tepat.

mixed-model lme4-nlme reporting panpsych77
sumber
Bisakah Anda memberikan lebih banyak informasi tentang model yang Anda gunakan? Betapa rumitnya itu? Apa "berbagai model" yang dibicarakan oleh pengulas? Apakah Anda mendiskusikan model bersarang di naskah Anda?
amoeba
Saya melaporkan beberapa perbandingan model yang melibatkan model tereduksi dengan beberapa kovariat kunci dan model lengkap dengan variabel yang sama ditambah variabel bebas minat. Pada bagian pendekatan analitik dari naskah saya, saya menjelaskan dengan tepat bagaimana semua ini akan bekerja, tetapi para pengulas jelas tidak akrab dengan pendekatan tersebut sehingga masih memiliki harapan ini yang menurut saya dipandu oleh keakraban mereka dengan regresi berganda.
panpsych77
2
Saya tidak benar-benar melihat masalahnya. Anda bisa melaporkan semua estimasi parameter dan S untuk kedua model, baik dalam dua tabel terpisah atau digabungkan menjadi satu tabel, dan kemudian perhatikan: "uji rasio kemungkinan membandingkan kedua model ini menghasilkan ..." Atau, Anda bisa melakukan keseluruhan seperangkat perbandingan model dan melaporkan statistik LRT di sebelah setiap estimasi parameter tetap dalam tabel model lengkap, menggunakan misalnyadrop1(merMod, type="chisq")
Jake Westfall
@JakeWestfall, terima kasih! Saya hanya mendapat kesan bahwa konvensi itu bukan untuk melaporkan semua info ini (berdasarkan makalah psikis yang saya baca melaporkan LMM), tetapi sekarang saya bisa melihat mengapa masuk akal untuk melakukannya. Apakah Anda memiliki contoh dari makalah Anda sendiri atau di tempat lain tentang bagaimana Anda akan memformat tabel ini? Mirip dengan tabel regresi berganda biasa, saya kira? Saya dapat menemukan cara yang tampaknya intuitif bagi saya tetapi selalu baik untuk memiliki contoh.
panpsych77
2
@ panpsych77 Saya secara rutin meminta info ini saat meninjau, terutama sehingga benar-benar jelas bagi pembaca apa spesifikasi model lengkapnya. Berikut adalah beberapa contoh bagaimana kami memformat tabel-tabel seperti itu di kertas-kertas yang telah saya tulis bersama: jakewestfall.org/publications/ANES_supplement.pdf jakewestfall.org/publications/femininity.pdf
Jake Westfall

Jawaban:

7

Sebagian saya berpihak pada reviewer yang satu ini. Anda tertarik pada efek dari parameter yang Anda minati - mengingat sisa model . Sulit untuk menginterpretasikan hasil dan untuk memeriksa validitas model jika Anda hanya melaporkan satu parameter yang menarik. Saya akan memberikan:

  • rumus model Anda
  • perkiraan beta untuk semua efek tetap
  • UK dan CI yang sesuai
  • statistik uji yang sesuai (z, t, Chi ^ 2, perubahan AIC / BIC, apa pun yang Anda gunakan) dengan df's / n's
  • nilai p yang sesuai
  • SD untuk efek acak Anda dan korelasinya (jika perlu sebagai tabel terpisah)

Kendala ruang di sebagian besar jurnal klasik akan membuatnya perlu untuk memasukkan informasi ini ke dalam suplemen online.

Contoh untuk melaporkan model campuran dapat ditemukan di sini .

mzunhammer
sumber
Saya telah mencari pedoman tentang pelaporan model campuran dalam penelitian biomedis / psikologis untuk beberapa waktu sekarang, tetapi belum menemukan. Saya akan senang untuk referensi yang dikutip.
mzunhammer
Satu-satunya pedoman yang saya temukan adalah tutorial online, yang tampaknya tidak sesuai. Saya mungkin hanya mengutip buku R (Crawley) atau beberapa makalah psikis yang melaporkan LMM sejauh mereka menetapkan preseden.
panpsych77
Juga, bisakah Anda membaca apa yang saya tambahkan ke posting asli saya di atas dan beri tahu saya jika itu masuk akal? Terima kasih!
panpsych77
2
Memperbarui jawaban di atas. Poin lain yang dapat Anda gunakan untuk membenarkan penggunaan analisis LMM daripada analisis LM standar adalah bahwa perlu untuk memperhitungkan tindakan berulang, karena kegagalan untuk melakukan hal itu akan melanggar asumsi pengamatan independen.
mzunhammer
2
Pembaca akan sering ingin melihat hasil yang disajikan dengan cara yang membuatnya mudah untuk membandingkan studi baru dengan studi sebelumnya. Sebagai contoh, dalam analisis survival, jurnal sering lebih suka menunjukkan tabel besar dari banyak hubungan variabel tunggal dengan hasil meskipun hubungan tersebut memiliki nilai yang terbatas secara statistik. Tabel tersebut memberikan beberapa jaminan bahwa kohort pasien baru mirip dengan kohort lain. Saya setuju untuk menyediakan lebih banyak daripada kurang dalam hal tabel hasil; penjelasan tentang batas-batas tabel kemudian melayani fungsi pendidikan yang bermanfaat bagi pembaca.
EdM