Bagaimana mendeteksi studi mana yang lebih baik ketika mereka memberi Anda hasil yang bertentangan?

11

Anda begitu sering menemukan di pers berbagai penelitian yang menyimpulkan hasil yang berlawanan arah. Itu bisa terkait dengan pengujian obat resep baru atau manfaat nutrisi tertentu atau apa pun dalam hal ini.

Ketika dua penelitian semacam itu sampai pada hasil yang saling bertentangan, bagaimana Anda bisa tahu yang mana di antara keduanya yang paling dekat dengan kebenaran?

Sympa
sumber
Mungkin ini harus CW? Tidak akan ada jawaban unik untuk pertanyaan ini dan berbagai perspektif dan pendekatan mungkin muncul.
whuber
2
@whuber saya akan memilih CW karena meskipun ada perspektif yang berbeda ada satu pendekatan terbaik . Ini mirip dengan bagaimana hipotesis yang sama dapat diuji menggunakan berbagai kerangka kerja / model tetapi mungkin ada satu pendekatan terbaik.
@ Srikant: Dalam kasus tertentu, saya bisa membayangkan Anda bisa mengumpulkan pertahanan yang kuat untuk mendukung pernyataan Anda. Secara umum, meskipun - yang merupakan situasi saat ini - jawaban terbaik akan tergantung pada konteksnya. Sebagai contoh sederhana (dan tidak lengkap), renungkan perbedaan antara mengevaluasi sepasang eksperimen fisik yang dirancang (seperti mengukur kecepatan cahaya, di mana secara historis sebagian besar interval kepercayaan telah melewatkan kebenaran!) Dan studi observasional dalam ilmu sosial .
whuber
@whuber Mungkin, kita harus melanjutkan percakapan ini dengan meta. Saya akui bahwa saya masih kabur tentang kapan harus menggunakan CW dan kapan tidak tetapi untuk mengambil poin Anda: jawaban terbaik untuk pertanyaan ini kemudian adalah bahwa jawabannya tergantung konteks dan menjelaskan mengapa melalui beberapa contoh. Bagaimanapun, saya entah bagaimana merasa bahwa pertanyaan ini seharusnya bukan CW tetapi saya tidak dapat mengartikulasikan alasan lain di luar yang telah saya uraikan di atas.

Jawaban:

3

Saya pikir jawaban Jeromy cukup jika Anda memeriksa dua studi eksperimental atau meta-analisis yang sebenarnya. Tetapi sering kali kita dihadapkan dengan memeriksa dua studi non-eksperimental, dan ditugaskan untuk menilai validitas dari dua temuan yang berbeda.

Seperti yang disarankan oleh daftar belanjaan Cyrus , topik itu sendiri tidak dapat menerima tanggapan singkat, dan seluruh buku pada intinya ditujukan untuk menjawab pertanyaan semacam itu. Bagi siapa pun yang tertarik melakukan penelitian pada data non-eksperimental, saya sangat menyarankan Anda membaca

Desain eksperimental dan semu-eksperimental untuk inferensial kausal yang digeneralisasi oleh William R. Shadish, Thomas D. Cook, Donald Thomas Campbell (Juga saya telah mendengar bahwa versi yang lebih lama dari teks ini sama baiknya).

Beberapa item Jeromy disebut (ukuran sampel lebih besar, dan kekakuan metodologis yang lebih besar), dan segala sesuatu yang disebutkan Cyrus akan dianggap apa yang disebut Campbell dan Cook sebagai "Validitas Internal". Ini termasuk aspek desain penelitian dan metode statistik yang digunakan untuk menilai hubungan antara X dan Y. Khususnya sebagai kritik kami prihatin dengan aspek baik yang dapat membiaskan hasil, dan mengurangi keandalan temuan. Karena ini adalah forum yang ditujukan untuk analisis statistik, banyak jawaban dipusatkan di sekitar metode statistik untuk memastikan perkiraan yang tidak bias dari hubungan apa pun yang Anda nilai. Tetapi mereka adalah aspek-aspek lain dari desain penelitian yang tidak terkait dengan analisis statistik yang mengurangi validitas temuan, tidak peduli berapa panjang yang harus dilakukan dalam analisis statistik mereka (seperti penyebutan Cyrus tentang beberapa aspek kesetiaan eksperimen dapat diatasi tetapi tidak diselesaikan dengan metode statistik, dan jika itu terjadi akan selalu mengurangi validitas hasil studi). Ada banyak aspek lain dari validitas internal yang menjadi penting untuk dinilai dalam membandingkan hasil studi non-eksperimental yang tidak disebutkan di sini, dan aspek desain penelitian yang dapat membedakan keandalan temuan. Saya tidak berpikir itu cukup tepat untuk masuk ke detail terlalu banyak di sini,

Campbell dan Cook juga merujuk pada "validitas eksternal" studi. Aspek desain penelitian ini seringkali jauh lebih kecil ruang lingkupnya, dan tidak layak mendapatkan perhatian sebanyak validitas internal. Validitas eksternal pada dasarnya berkaitan dengan generalisasi temuan, dan saya akan mengatakan orang awam sering dapat menilai validitas eksternal dengan cukup baik selama mereka akrab dengan subjek. Singkat cerita, bacalah buku Shadish, Cook's, dan Campbell.

Andy W
sumber
8

The meta analisis sastra adalah relevan dengan pertanyaan Anda. Dengan menggunakan teknik meta-analitik, Anda dapat menghasilkan perkiraan pengaruh minat yang dikumpulkan dalam berbagai studi. Teknik-teknik semacam itu sering mempelajari berat badan dalam hal ukuran sampel mereka.

Dalam konteks analisis meta, para peneliti berbicara tentang model efek tetap dan efek acak (lihat Hunter dan Schmidt, 2002 ). Model efek tetap mengasumsikan bahwa semua studi memperkirakan efek populasi yang sama. Model efek-acak mengasumsikan bahwa studi berbeda dalam efek populasi yang diperkirakan. Model efek-acak biasanya lebih sesuai.

Karena semakin banyak penelitian terakumulasi melihat hubungan tertentu, pendekatan yang lebih canggih menjadi mungkin. Misalnya, Anda dapat mengkode studi dalam berbagai properti, seperti kualitas yang dirasakan, dan kemudian memeriksa secara empiris apakah ukuran efek bervariasi dengan karakteristik studi ini. Di luar kualitas mungkin ada beberapa perbedaan yang relevan secara teoritis antara studi yang akan memoderasi hubungan (misalnya, karakteristik sampel, tingkat dosis, dll.).

Secara umum, saya cenderung mempercayai studi dengan:

  • ukuran sampel lebih besar
  • kekakuan metodologis yang lebih besar
  • orientasi konfirmasi (misalnya, bukan penelitian di mana mereka menguji korelasi antara 100 nutrisi yang berbeda dan 50 hasil kesehatan)
  • tidak adanya konflik kepentingan (misalnya, bukan oleh perusahaan dengan kepentingan komersial dalam menunjukkan hubungan; bukan oleh peneliti yang memiliki insentif untuk menemukan hasil yang signifikan)

Tapi itu mengatakan Anda perlu menyimpan sampel acak dan perbedaan yang bermakna secara teoritis antara studi sebagai penjelasan yang masuk akal dari temuan studi yang bertentangan.

Jeromy Anglim
sumber
Saya terutama menyukai rasio kemungkinan sebagai alat untuk mengumpulkan bukti dalam meta-analisis; jika Anda memiliki data yang cukup untuk menghitungnya untuk setiap studi, Anda cukup menghitung produk lintas studi untuk mewakili bukti agregat untuk / terhadap suatu hipotesis.
Mike Lawrence
Saya mengomentari relevansi analisis meta setelah jawaban Cyrus, tetapi meningkatkan tanggapan ini untuk yang lainnya, terutama poin-poinnya.
whuber
@whuber @ pertanyaan Gaetan mengasumsikan bahwa satu penelitian lebih dekat dengan kebenaran. Saya mencoba untuk mengambil langkah mundur dan menempatkan variasi dalam hasil antara studi dalam kerangka meta-analitik, mengakui kemungkinan bahwa penelitian mungkin memiliki kualitas yang sama, tetapi pengambilan sampel acak atau perbedaan substantif mungkin menjadi penjelasannya.
Jeromy Anglim
@whuber Bahkan dengan dua studi akan dimungkinkan untuk membentuk estimasi meta-analitik dari pengaruh bunga. Tentu saja, interval kepercayaan dari perkiraan efek mungkin besar. Tetapi tingkat ketidakpastian yang tinggi diharapkan jika hanya dua studi telah dilakukan dan mereka memberikan hasil yang bertentangan.
Jeromy Anglim
5

Saya akan menunda mempertimbangkan meta-analisis sampai Anda meneliti sumber-sumber jika potensi bias atau variasi dalam populasi target. Jika ini adalah studi tentang efek pengobatan, apakah pengobatan ditugaskan secara acak? Apakah ada penyimpangan dari protokol? Apakah ada ketidakpatuhan? Apakah ada data hasil yang hilang? Apakah sampel diambil dari bingkai yang sama? Apakah ada penolakan untuk berpartisipasi? Kesalahan implementasi? Apakah kesalahan standar dihitung dengan benar, akuntansi untuk pengelompokan dan kuat untuk berbagai asumsi parametrik? Hanya setelah Anda menjawab pertanyaan-pertanyaan ini saya pikir masalah meta-analisis mulai masuk ke dalam gambar. Pasti jarang bahwa untuk dua studi manapun, meta-analisis adalah tepat, kecuali jika Anda bersedia membuat asumsi heroik.

Cyrus
sumber
Tetapi bukankah langkah-langkah ini sudah menjadi bagian dari meta-analisis?
chl
3
@ chl: Benar, tetapi intinya adalah langkah-langkah ini sampai pada inti pertanyaan. Sebuah meta-analisis akan membantu hanya ketika ada banyak studi (bukan hanya dua) dan manfaatnya telah dievaluasi dengan cermat. Pertanyaan di depan kita benar-benar menanyakan bagaimana seseorang mengevaluasi kualitas penelitian, atau sepasang studi yang bertentangan, di tempat pertama. Cyrus telah menunjuk beberapa aspek dari ini; pengobatan yang masuk akal biasanya memerlukan satu atau dua semester studi tingkat universitas. Dalam hal ini saya pikir penggunaan istilah "heroik" agak diremehkan!
whuber
1
@whuber Ya, saya setuju dengan Anda dan @Cyrus. Tentu saja, menilai kualitas dan kepercayaan studi sebelumnya adalah langkah wajib (dan butuh waktu untuk meninjau setiap studi, terutama ketika kita harus menghubungi penulis karena informasi tidak ada dalam MS); Saya hanya berpikir ini adalah bagian dari meta-analisis, dan "bagian statistik" mengurangi membawa ringkasan kuantitatif hasil yang dapat dipercaya.
chl