Bagaimana kita mendefinisikan 'penelitian yang dapat direproduksi'?

50

Ini muncul dalam beberapa pertanyaan sekarang, dan saya bertanya-tanya tentang sesuatu. Sudahkah bidang secara keseluruhan bergerak ke arah "reproduksibilitas" yang berfokus pada ketersediaan data asli, dan kode yang dimaksud?

Saya selalu diajari bahwa inti dari kemampuan reproduksi tidak harus, seperti yang saya sebutkan, kemampuan untuk mengklik Jalankan dan mendapatkan hasil yang sama. Pendekatan data-dan-kode tampaknya mengasumsikan bahwa data itu benar - bahwa tidak ada cacat dalam pengumpulan data itu sendiri (sering terbukti salah dalam kasus penipuan ilmiah). Ini juga berfokus pada satu sampel dari populasi target, daripada replikabilitas dari temuan pada beberapa sampel independen.

Mengapa penekanan pada saat itu untuk dapat menjalankan kembali analisis, daripada menduplikasi studi dari bawah ke atas?

Artikel yang disebutkan dalam komentar di bawah tersedia di sini .

Fomite
sumber
Pertanyaan bagus ! Saya memberikan referensi ke kertas donoho dalam jawaban saya, tetapi apa referensi tertulis Anda tentang penelitian yang dapat direproduksi?
robin girard
Reiter dan Kinney memiliki makalah dalam terbitan Epidemiologi bulan ini yang disebut 'Berbagi Data Rahasia untuk Tujuan Penelitian: A Primer' yang membantu mendapatkan cara membuat kode dan data tersedia dalam keadaan di mana Anda tidak bisa hanya membuang file .csv, dan perlu memastikan kerahasiaan tetap utuh.
Fomite
@EpiGrad, karena "bulan ini" telah berlalu, memiliki tautan ke artikel akan sangat membantu. Terima kasih telah mengajukan pertanyaan hebat yang berkontribusi pada CV dan analisis sains / data!
gung - Reinstate Monica
@ung artikel mana itu?
Fomite
@EpiGrad tepat di atas, Reiter & Kinney. +1 btw
gung - Reinstate Monica

Jawaban:

41

"Penelitian yang dapat direproduksi" sebagai analisis yang dapat direproduksi

Penelitian yang dapat direproduksi adalah istilah yang digunakan dalam beberapa domain penelitian untuk merujuk secara khusus untuk melakukan analisis sedemikian rupa

  • kode mengubah data mentah dan meta-data menjadi data yang diproses,
  • kode menjalankan analisis pada data, dan
  • kode menggabungkan analisis ke dalam laporan.

Ketika data dan kode tersebut dibagikan, ini memungkinkan peneliti lain untuk:

  • melakukan analisis yang tidak dilaporkan oleh para peneliti asli
  • periksa kebenaran analisis yang dilakukan oleh para peneliti asli

Penggunaan ini dapat dilihat dalam diskusi tentang teknologi seperti Sweave . Misalnya, Friedrich Leisch menulis dalam konteks Sweave bahwa "laporan dapat diperbarui secara otomatis jika data atau analisis berubah, yang memungkinkan untuk penelitian yang benar-benar dapat direproduksi." Hal ini juga dapat dilihat dalam CRAN Task View pada Reproducible Research yang menyatakan bahwa "tujuan dari penelitian yang dapat direproduksi adalah untuk mengikat instruksi khusus untuk analisis data dan data eksperimental sehingga beasiswa dapat diciptakan kembali, dipahami dengan lebih baik dan diverifikasi."

Penggunaan istilah "reproduksibilitas" yang lebih luas

Reproduksibilitas adalah tujuan dasar sains. Itu bukan hal baru. Laporan penelitian mencakup bagian metode dan hasil yang harus menguraikan bagaimana data dihasilkan, diproses, dan dianalisis. Aturan umum adalah bahwa rincian yang diberikan harus cukup untuk memungkinkan peneliti yang kompeten untuk mengambil informasi yang diberikan dan mereplikasi penelitian.

Reproducibilitas juga terkait erat dengan konsep replikabilitas dan generalisasi.

Dengan demikian, istilah "penelitian yang dapat direproduksi", diambil secara harfiah, sebagaimana diterapkan pada teknologi seperti Sweave, adalah keliru, mengingat bahwa itu menunjukkan relevansi yang lebih luas daripada yang dicakupnya. Juga, ketika menyajikan teknologi seperti Sweave kepada para peneliti yang belum menggunakan teknologi semacam itu, peneliti semacam itu sering terkejut ketika saya menyebut proses itu "penelitian yang dapat direproduksi".

Istilah yang lebih baik daripada "penelitian yang dapat direproduksi"

Mengingat bahwa "penelitian yang dapat direproduksi" seperti yang digunakan dalam konteks seperti-Sweave hanya berkaitan dengan satu aspek penelitian yang dapat direproduksi, mungkin istilah alternatif harus diadopsi. Alternatif yang mungkin termasuk:

Semua istilah di atas adalah cerminan yang lebih akurat dari apa yang melibatkan analisis Sweave. Analisis yang dapat direproduksi pendek dan manis. Menambahkan "data" atau "statistik" semakin memperjelas hal-hal, tetapi juga membuat istilah tersebut lebih panjang dan lebih sempit. Lebih jauh, "statistik" memiliki arti sempit dan luas, dan tentu saja dalam arti sempit, banyak dari pemrosesan data tidak bersifat statistik. Dengan demikian, luasnya tersirat oleh istilah "analisis direproduksi" memiliki kelebihannya .

Ini bukan hanya tentang reproduksibilitas

Masalah tambahan lainnya dengan istilah "penelitian yang dapat direproduksi" adalah tujuan dari teknologi seperti Sweave bukan hanya "reproduktifitas". Ada beberapa tujuan yang saling terkait:

  • Reproduksibilitas
    • Dapatkah analisis dengan mudah dijalankan kembali untuk mengubah data mentah menjadi laporan akhir dengan hasil yang sama?
  • Ketepatan
    • Apakah analisis data konsisten dengan niat peneliti?
    • Apakah niat peneliti itu benar?
  • Keterbukaan
    • Transparansi, akuntabilitas
      • Dapatkah orang lain memeriksa dan memverifikasi keakuratan analisis yang dilakukan?
    • Extensibility, modfifiability
      • Dapatkah orang lain memodifikasi, memperluas, menggunakan kembali, dan menggabungkan data, analisis, atau keduanya untuk membuat karya penelitian baru?

Ada argumen bahwa analisis yang dapat direproduksi harus mempromosikan analisis yang benar, karena ada catatan analisis tertulis yang dapat diperiksa. Lebih jauh lagi jika data dan kode dibagikan, itu menciptakan akuntabilitas yang memotivasi peneliti untuk memeriksa analisis mereka, dan memungkinkan peneliti lain untuk mencatat koreksi.

Analisis yang dapat direproduksi juga cocok dengan konsep-konsep seputar penelitian terbuka. Tentu saja, seorang peneliti dapat menggunakan teknologi seperti Sweave hanya untuk diri mereka sendiri. Prinsip penelitian terbuka mendorong berbagi data dan kode analisis untuk memungkinkan penggunaan kembali dan akuntabilitas yang lebih besar.

Ini sebenarnya bukan kritik terhadap penggunaan kata "reproducible". Sebaliknya, itu hanya menyoroti bahwa menggunakan teknologi seperti Sweave diperlukan tetapi tidak cukup untuk mencapai tujuan penelitian ilmiah terbuka.

Jeromy Anglim
sumber
2
(+1) Jawaban bagus, poin sangat bagus. Saya setuju bahwa kita harus menyebut apa yang Sweave dan teman-teman lakukan analisis yang dapat direproduksi .
NRH
1
(+1) ikhtisar yang bagus. tetapi saya akan mencatat bahwa istilah 'data mentah' bersifat ambigu dan dapat menyesatkan - data umumnya diproses sebelum tahap yang dianggap 'mentah', jika hanya untuk memasukkannya ke dalam mesin.
David LeBauer
@Jeromy Anglim Ini jawaban yang bagus, dan mendapatkan inti dari apa yang mengganggu saya tentang semantik "penelitian yang dapat direproduksi" - ini digunakan untuk menggambarkan proses yang hanya terjadi setelah proses pembuatan data selesai. Saya suka ide "Analisis Reproducible" sebagai istilah.
Fomite
+1 @Jeromy Anglim, saya baru-baru ini menghubungi seorang penulis untuk melihat apakah dia dapat membagikan Rkode yang digunakan dalam publikasi, penulis menolak untuk melakukannya dan mengarahkan saya ke publikasi. Menurut pendapat Anda, apakah Anda menganggap ini sebagai kurangnya keterbukaan untuk penelitian yang dapat direproduksi atau apakah cukup untuk membuat metodologi secara eksplisit dalam jurnal dan membiarkan program lain kode sendiri? Terima kasih
peramal
11

Memiliki akses ke data dan kode untuk analisis dalam bentuk yang mudah dieksekusi adalah sine qua non dari penelitian yang dapat direproduksi. Setelah Anda memverifikasi bahwa analisis tersebut berfungsi, Anda dapat mengganti kode / data Anda sendiri di mana Anda skeptis dengan pembuat aslinya. Saya akan mengatakan bahwa mayoritas makalah yang mengandung statistik yang saya baca memiliki setidaknya satu bagian dari metodologi yang dibiarkan kabur. Upaya saya untuk mereproduksi analisis ini sering tidak berhasil (dan selalu memakan waktu), tetapi sangat sulit untuk mengatakan apakah ini karena penipuan, kesalahan manusia, atau (lebih mungkin) saya menyelesaikan ambiguitas ini secara berbeda dari penulis. Jadi, memiliki data + kode untuk sebuah makalah tidak menjamin bahwa kesimpulannya benar, tetapi membuatnya lebih mudah untuk mengkritik atau memperluasnya.

Juga, "penelitian yang dapat direproduksi" adalah masalah derajat. Jadi gerakan penelitian yang dapat direproduksi dapat dilihat sebagai penelitian yang mendorong yang "lebih dapat direproduksi" daripada norma, daripada menuntut penelitian yang memenuhi batas minimum. Saya kira "rilis data dan kode" sedang populer sekarang karena ini adalah langkah yang relatif mudah dan tidak mengancam.

Harun
sumber
9

Mampu menjalankan kembali semuanya adalah titik awal untuk penelitian yang dapat direproduksi. Itu memungkinkan untuk menunjukkan bahwa Anda benar-benar menggunakan prosedur yang sama. Setelah itu - dan hanya setelah itu - Anda dapat melanjutkan penelitian rekan Anda. Dengan kata lain, reproduktifitas yang ketat tidak dianggap sebagai waktu di mana penelitian bergerak maju, tetapi sebagai tengara, konsensus , sesuatu yang disetujui orang. Bukankah ini mendasar untuk melangkah lebih jauh?

Juga, menurut diskusi Donoho (baca bagian 2 "skandal"), tujuan penelitian yang dapat direproduksi juga untuk menguji kekuatan kode yang diberikan. Pertama dengan bermain dengan kode, membuat modifikasi sligth yang tidak dilakukan di kertas (karena kita tidak ingin kertas dengan 30 Angka ...). Saya pikir konsep penelitian yang dapat direproduksi dalam literatur berisi gagasan memiliki tengara yang kuat dan kuat. Itu hampir berisi gagasan untuk melangkah lebih jauh.

robin girard
sumber