Saya tidak yakin tentang bidang ilmu mana yang Anda maksudkan (saya yakin jawabannya akan sangat berbeda jika berurusan dengan biologi vs fisika misalnya ...)
Bagaimanapun, sebagai seorang ahli biologi, saya akan menjawab dari sudut pandang "biologis":
Berapa banyak upaya yang harus kita lakukan untuk memahami bidang aplikasi?
Setidaknya saya cenderung membaca makalah sebelumnya dari penulis yang sama dan mencari beberapa ulasan tentang masalah ini jika saya tidak terlalu akrab dengannya. Ini terutama benar ketika berhadapan dengan teknik baru yang saya tidak tahu, karena saya perlu memahami jika mereka melakukan semua kontrol yang tepat, dll.
Berapa banyak waktu yang harus saya habiskan untuk laporan?
Sebanyak yang diperlukan (OK, jawaban bodoh, saya tahu!: P) Secara umum saya tidak ingin seseorang meninjau makalah saya untuk melakukan pekerjaan perkiraan hanya karena dia memiliki hal-hal lain yang harus dilakukan, jadi saya mencoba untuk tidak melakukannya sendiri .
Bagaimana Anda pilih-pilih ketika melihat angka / tabel.
Cukup pemilih. Angka adalah hal pertama yang Anda lihat saat menelusuri kertas. Mereka harus konsisten (misalnya judul yang tepat pada sumbu, legenda yang benar, dll.). Kadang-kadang saya menyarankan untuk menggunakan plot yang berbeda untuk menampilkan data ketika saya pikir yang digunakan bukanlah yang terbaik. Ini banyak terjadi dalam biologi, bidang yang didominasi oleh jenis grafik "barplot +/- SEM". Saya juga cukup pemilih pada bagian "bahan dan metode": analisis statistik yang sempurna pada model biologis yang salah secara inheren sama sekali tidak berguna.
Bagaimana Anda mengatasi data yang tidak tersedia.
Anda hanya melakukan dan mempercayai Penulis, saya kira. Dalam banyak kasus dalam biologi tidak banyak yang bisa Anda lakukan, terutama ketika berhadapan dengan hal-hal seperti pencitraan atau perilaku hewan dan sejenisnya. Kecuali jika Anda ingin orang-orang menerbitkan berton-ton gambar, video, dll (yang kemungkinan besar tidak akan Anda lalui), tetapi itu mungkin sangat tidak taktis. Jika menurut Anda data benar-benar diperlukan, minta penulis untuk memberikannya sebagai data / angka tambahan.
Apakah Anda mencoba dan menjalankan kembali analisis yang digunakan.
Hanya jika saya memiliki keraguan serius pada kesimpulan yang ditarik oleh penulis. Dalam biologi sering ada perbedaan antara apa yang "signifikan secara statistik" dan apa yang "signifikan secara biologis". Saya lebih suka analisis statistik yang lebih tipis dengan penalaran biologis yang baik daripada sebaliknya. Tetapi sekali lagi, dalam hal yang sangat tidak mungkin bahwa saya akan meninjau makalah bio-statistik (ahah, itu akan menyenangkan !!!) Saya mungkin akan lebih memperhatikan statistik daripada biologi di sana.
sumber
POV saya akan meninjau makalah dalam psikologi atau memperkirakan manfaat statistiknya. Saya akan sebagian besar komentar kedua Nico yang sangat baik.
Cukup banyak, sebenarnya. Saya tidak akan memercayai diri sendiri untuk mengomentari lebih dari masalah statistik paling mendasar tanpa memahami area tersebut. Untungnya, ini sering tidak terlalu sulit di banyak cabang psikologi.
Saya akan mengambil risiko dan menyatakan waktu tertentu: Saya akan menghabiskan apa saja antara dua dan delapan jam pada ulasan, kadang-kadang lebih. Jika saya menemukan bahwa saya menghabiskan lebih dari satu hari di atas kertas, mungkin itu berarti saya benar-benar tidak memenuhi syarat untuk memahaminya, jadi saya akan merekomendasikan jurnal menemukan orang lain (dan mencoba menyarankan beberapa orang).
Memang sangat pemilih. Angka-angka itu akan menjadi apa yang orang ingat dari sebuah makalah dan yang berakhir dengan presentasi kuliah tanpa banyak konteks, jadi ini benar-benar perlu dilakukan dengan baik.
Dalam psikologi, data biasanya tidak dibagi - mengukur 50 orang oleh MRI sangat mahal, dan penulis akan ingin menggunakan data ini untuk makalah lebih lanjut, jadi saya agak memahami keengganan mereka untuk hanya memberikan data. Jadi siapa pun yang membagikan data mereka mendapat bonus besar di buku saya, tetapi tidak berbagi itu bisa dimengerti.
Dalam peramalan, banyak dataset tersedia untuk umum. Dalam hal ini saya biasanya menyarankan agar penulis membagikan kode mereka (dan melakukannya sendiri).
Tanpa data, hanya ada begitu banyak yang bisa dipelajari dari ini. Saya akan bermain-main dengan data simulasi jika ada sesuatu yang sangat mengejutkan tentang hasil kertas; Kalau tidak, orang sering dapat mengatakan yang tepat dari metode yang tidak pantas tanpa data (begitu seseorang memahami daerah tersebut, lihat di atas).
Ada sangat sedikit untuk ditambahkan ke poin whuber di atas - dengan asumsi bahwa setiap makalah dengan rata-rata n penulis bersama saya (co-) kirimkan mendapat 3 ulasan, orang harus benar-benar bertujuan meninjau setidaknya 3 / ( n + 1 ) makalah untuk setiap pengajuan sendiri (Menghitung pengajuan alih-alih memiliki dokumen yang dapat ditolak dan dikirim kembali). Dan tentu saja, jumlah pengajuan serta jumlah penulis bersama sangat bervariasi dengan disiplin.
sumber