Meninjau statistik dalam makalah

43

Bagi sebagian dari kita, kertas wasit adalah bagian dari pekerjaan. Ketika meringkas makalah metodologi statistik, saya pikir saran dari bidang studi lain cukup berguna, yaitu ilmu komputer dan Matematika .

Pertanyaan ini menyangkut meninjau makalah statistik yang lebih terapan. Maksud saya, makalah ini diserahkan ke jurnal non-statistik / matematika dan statistik hanya disebutkan di bagian "metode".

Beberapa pertanyaan khusus:

  1. Berapa banyak upaya yang harus kita lakukan untuk memahami bidang aplikasi?
  2. Berapa banyak waktu yang harus saya habiskan untuk laporan?
  3. Bagaimana Anda pilih-pilih ketika melihat angka / tabel.
  4. Bagaimana Anda mengatasi data yang tidak tersedia.
  5. Apakah Anda mencoba dan menjalankan kembali analisis yang digunakan.
  6. Berapa jumlah makalah maksimum yang akan Anda tinjau dalam setahun?

Ada pertanyaan yang terlewat? Jangan ragu untuk mengedit atau menambahkan komentar.

Sunting

Saya sampai pada pertanyaan ini sebagai ahli statistik yang meninjau makalah biologi, tetapi saya tertarik pada tinjauan statistik dari disiplin non-matematika.


Saya tidak yakin apakah ini harus menjadi CW. Di satu sisi itu agak terbuka, tetapi di sisi lain aku bisa melihat diriku menerima jawaban. Juga, jawaban mungkin akan cukup panjang.

csgillespie
sumber

Jawaban:

21

Saya tidak yakin tentang bidang ilmu mana yang Anda maksudkan (saya yakin jawabannya akan sangat berbeda jika berurusan dengan biologi vs fisika misalnya ...)

Bagaimanapun, sebagai seorang ahli biologi, saya akan menjawab dari sudut pandang "biologis":

Berapa banyak upaya yang harus kita lakukan untuk memahami bidang aplikasi?

Setidaknya saya cenderung membaca makalah sebelumnya dari penulis yang sama dan mencari beberapa ulasan tentang masalah ini jika saya tidak terlalu akrab dengannya. Ini terutama benar ketika berhadapan dengan teknik baru yang saya tidak tahu, karena saya perlu memahami jika mereka melakukan semua kontrol yang tepat, dll.

Berapa banyak waktu yang harus saya habiskan untuk laporan?

Sebanyak yang diperlukan (OK, jawaban bodoh, saya tahu!: P) Secara umum saya tidak ingin seseorang meninjau makalah saya untuk melakukan pekerjaan perkiraan hanya karena dia memiliki hal-hal lain yang harus dilakukan, jadi saya mencoba untuk tidak melakukannya sendiri .

Bagaimana Anda pilih-pilih ketika melihat angka / tabel.

Cukup pemilih. Angka adalah hal pertama yang Anda lihat saat menelusuri kertas. Mereka harus konsisten (misalnya judul yang tepat pada sumbu, legenda yang benar, dll.). Kadang-kadang saya menyarankan untuk menggunakan plot yang berbeda untuk menampilkan data ketika saya pikir yang digunakan bukanlah yang terbaik. Ini banyak terjadi dalam biologi, bidang yang didominasi oleh jenis grafik "barplot +/- SEM". Saya juga cukup pemilih pada bagian "bahan dan metode": analisis statistik yang sempurna pada model biologis yang salah secara inheren sama sekali tidak berguna.

Bagaimana Anda mengatasi data yang tidak tersedia.

Anda hanya melakukan dan mempercayai Penulis, saya kira. Dalam banyak kasus dalam biologi tidak banyak yang bisa Anda lakukan, terutama ketika berhadapan dengan hal-hal seperti pencitraan atau perilaku hewan dan sejenisnya. Kecuali jika Anda ingin orang-orang menerbitkan berton-ton gambar, video, dll (yang kemungkinan besar tidak akan Anda lalui), tetapi itu mungkin sangat tidak taktis. Jika menurut Anda data benar-benar diperlukan, minta penulis untuk memberikannya sebagai data / angka tambahan.

Apakah Anda mencoba dan menjalankan kembali analisis yang digunakan.

Hanya jika saya memiliki keraguan serius pada kesimpulan yang ditarik oleh penulis. Dalam biologi sering ada perbedaan antara apa yang "signifikan secara statistik" dan apa yang "signifikan secara biologis". Saya lebih suka analisis statistik yang lebih tipis dengan penalaran biologis yang baik daripada sebaliknya. Tetapi sekali lagi, dalam hal yang sangat tidak mungkin bahwa saya akan meninjau makalah bio-statistik (ahah, itu akan menyenangkan !!!) Saya mungkin akan lebih memperhatikan statistik daripada biologi di sana.

nico
sumber
6
Saya akan memberikan jawaban yang hampir sama tetapi di sini juga dinyatakan dengan baik. Izinkan saya menambahkan dua hal berdasarkan pengalaman. Pertama, saya telah menemukan bahwa hampir selalu berguna untuk menjalankan kembali setiap analisis yang saya bisa: itu berfungsi untuk memeriksa pemahaman saya dan, lebih sering dari yang mungkin diharapkan, itu memaparkan kesalahan di koran itu sendiri. Kedua, sangat penting untuk menemukan referensi kunci dan untuk menemukan referensi Anda sendiri dengan mencari di web untuk frasa di koran. Sejumlah besar kontribusi baru-baru ini adalah plagiarisme (otomatis) atau upaya botak untuk mengeluarkan kertas lama dari pekerjaan lama.
whuber
Saya telah menambahkan pertanyaan tambahan. Jika tidak terlalu merepotkan, akankah Anda memperbarui jawaban Anda?
csgillespie
1
@csgillespie: Saya kira saya terlalu awal dalam karir saya untuk menjawab itu, karena saya mungkin tidak diminta untuk meninjau sebanyak mungkin makalah dengan seseorang yang lebih berpengalaman daripada saya. Saya pikir jawaban @whuber sangat masuk akal.
nico
16

x3/(x/100), jika tingkat penerimaan adalah 33%, editor harus mendapatkan sembilan ulasan untuk setiap makalah yang diterbitkan. Jika Anda, sebagai penulis, menganggap serius hal ini, maka Anda harus berusaha memberikan sembilan ulasan (atau berapa pun angkanya untuk jurnal target Anda) untuk setiap makalah yang Anda terbitkan!

rr/10r/5 r/10

whuber
sumber
1
@ chl dari semua orang di sini Anda harus menjadi yang paling tidak khawatir tentang pemungutan suara yang cukup!
whuber
1
@ chl: Anda menetapkan bilah tinggi dalam segala hal! :) Mungkin proyek polystats pertama kami adalah mengatur beberapa skrip untuk memelihara dan memperbarui serangkaian bagan seperti ini: meta.stats.stackexchange.com/questions/314/…
ars
11

POV saya akan meninjau makalah dalam psikologi atau memperkirakan manfaat statistiknya. Saya akan sebagian besar komentar kedua Nico yang sangat baik.

Berapa banyak upaya yang harus kita lakukan untuk memahami bidang aplikasi?

Cukup banyak, sebenarnya. Saya tidak akan memercayai diri sendiri untuk mengomentari lebih dari masalah statistik paling mendasar tanpa memahami area tersebut. Untungnya, ini sering tidak terlalu sulit di banyak cabang psikologi.

Berapa banyak waktu yang harus saya habiskan untuk laporan?

Saya akan mengambil risiko dan menyatakan waktu tertentu: Saya akan menghabiskan apa saja antara dua dan delapan jam pada ulasan, kadang-kadang lebih. Jika saya menemukan bahwa saya menghabiskan lebih dari satu hari di atas kertas, mungkin itu berarti saya benar-benar tidak memenuhi syarat untuk memahaminya, jadi saya akan merekomendasikan jurnal menemukan orang lain (dan mencoba menyarankan beberapa orang).

Bagaimana Anda pilih-pilih ketika melihat angka / tabel.

Memang sangat pemilih. Angka-angka itu akan menjadi apa yang orang ingat dari sebuah makalah dan yang berakhir dengan presentasi kuliah tanpa banyak konteks, jadi ini benar-benar perlu dilakukan dengan baik.

Bagaimana Anda mengatasi data yang tidak tersedia.

Dalam psikologi, data biasanya tidak dibagi - mengukur 50 orang oleh MRI sangat mahal, dan penulis akan ingin menggunakan data ini untuk makalah lebih lanjut, jadi saya agak memahami keengganan mereka untuk hanya memberikan data. Jadi siapa pun yang membagikan data mereka mendapat bonus besar di buku saya, tetapi tidak berbagi itu bisa dimengerti.

Dalam peramalan, banyak dataset tersedia untuk umum. Dalam hal ini saya biasanya menyarankan agar penulis membagikan kode mereka (dan melakukannya sendiri).

Apakah Anda mencoba dan menjalankan kembali analisis yang digunakan.

Tanpa data, hanya ada begitu banyak yang bisa dipelajari dari ini. Saya akan bermain-main dengan data simulasi jika ada sesuatu yang sangat mengejutkan tentang hasil kertas; Kalau tidak, orang sering dapat mengatakan yang tepat dari metode yang tidak pantas tanpa data (begitu seseorang memahami daerah tersebut, lihat di atas).

Berapa jumlah makalah maksimum yang akan Anda tinjau dalam setahun?

Ada sangat sedikit untuk ditambahkan ke poin whuber di atas - dengan asumsi bahwa setiap makalah dengan rata-rata n penulis bersama saya (co-) kirimkan mendapat 3 ulasan, orang harus benar-benar bertujuan meninjau setidaknya 3 / ( n + 1 ) makalah untuk setiap pengajuan sendiri (Menghitung pengajuan alih-alih memiliki dokumen yang dapat ditolak dan dikirim kembali). Dan tentu saja, jumlah pengajuan serta jumlah penulis bersama sangat bervariasi dengan disiplin.

S. Kolassa - Reinstate Monica
sumber
Saya telah menambahkan pertanyaan tambahan. Jika tidak terlalu merepotkan, akankah Anda memperbarui jawaban Anda?
csgillespie
1
Menariknya, sebagian besar peneliti dalam studi genetika didorong atau senang (tergantung pada ulasan) untuk membuat data tersedia. Saya juga mengingatkan @csgillepsie jawaban yang bagus tentang penelitian yang dapat direproduksi , stats.stackexchange.com/questions/1980/…
chl
@ chl: ya, menyediakan data sangat tergantung pada disiplin ilmu, dan saya ingin melihat lebih banyak tentang hal ini dalam psikologi "arus utama" - Saya tidak dapat mengingat pernah melihat satu pun contoh kertas psikis yang benar-benar memberikan data.
S. Kolassa - Reinstate Monica