Apa pedoman untuk melakukan eksperimen komputasi?

13

Physics, biology, chemistry etc. have different sets of rules for making experiments: what events are considered relevant, how to avoid contamination of samples, how to create and fix a reproducing process and so on.

What are standards, protocols and best practices in ensure accuracy and reproducibility in numerical experiments?

benchmarking reproducibility experiment homocomputeris
sumber
1
Saya belum pernah menemukan seperangkat aturan praktik terbaik, tetapi berdasarkan bekerja dengan apa yang sedang diterbitkan, saya akan mengatakan bahwa bahkan untuk reproduktifitas saja ada masalah utama dalam praktik saat ini: Hasil dapat dipengaruhi oleh platform perangkat keras, sistem operasi (dan versi), kompiler (dan versi), sakelar kompilasi, dan pengaturan konfigurasi aplikasi. Jarang saya menemukan ini didokumentasikan dengan jumlah detail yang cukup.
njuffa

Jawaban:

19

Banyak yang telah ditulis tentang bagaimana mendesain, menjalankan, dan melaporkan hasil percobaan komputasi. Ini memiliki koneksi yang jelas dengan perangkat lunak sumber terbuka dan gerakan "ilmu terbuka" yang lebih luas. Masalah penting lainnya adalah perbedaan antara penelitian dan penelitian "kode saya lebih cepat dari milik Anda" yang membantu kami untuk lebih memahami sifat-sifat algoritma.

Beberapa referensi tentang percobaan komputasi dan pengujian yang mungkin ingin Anda saksikan meliputi:

Peti mati, Marie, dan Matius J. Saltzman. 2000. “ Analisis Statistik Tes Komputasi Algoritma dan Heuristik ." INFORMS Journal on Computing 12 (1): 24-44.

Crowder, Harlan, Ron S. Dembo, dan John M. Mulvey. 1979. “ Pada Pelaporan Eksperimen Komputasi dengan Perangkat Lunak Matematika ." Transaksi ACM pada Perangkat Lunak Matematika (TOMS) 5 (2): 193–203.

Feitelson, Dror G. 2006. " Ilmu Komputer Eksperimental: Perlunya Perubahan Budaya ."

Hooker, John N. 1995. " Menguji Heuristik: Kami Memiliki Semuanya Salah ." Jurnal Heuristik 1 (1): 33–42.

McGeoch, Catherine C. 2012. Panduan untuk Algoritma Eksperimental. Cambridge University Press.

Brian Borchers
sumber
Saya juga merujuk ke alat-alat seperti Sumatra ( pypi.org/project/Sumatra ) yang bertujuan untuk menyediakan alat untuk melacak eksperimen komputasi untuk mendukung penelitian yang dapat direproduksi. Lihat juga di sini datasetcience.stackexchange.com/questions/758
GertVdE