Meskipun upaya-upaya "gotcha" yang penting tetapi dilakukan oleh individu untuk mengungkap praktik jurnal predator , ancaman yang lebih besar dan lebih mendasar tampak dalam bayang-bayang penelitian ilmu sosial ( meskipun tentu saja ada beberapa masalah yang perlu ditangani oleh para peneliti ). Untuk langsung ke titik, menurut satu pandangan kita mungkin tidak dapat mempercayai koefisien korelasi yang berasal dari sampel yang lebih kecil dari 250 .
Seseorang akan kesulitan untuk menemukan tes yang lebih diandalkan untuk menyimpulkan keberadaan, arah, dan kekuatan hubungan antara langkah-langkah dalam ilmu sosial daripada koefisien korelasi tepercaya. Namun, orang tidak akan kesulitan untuk menemukan laporan peer-review membuat klaim kuat tentang hubungan antara dua konstruksi berdasarkan koefisien korelasi yang dihitung dari data dengan kurang dari 250 kasus.
Mengingat krisis replikasi saat ini menghadapi ilmu sosial (lihat tautan kedua di atas), bagaimana seharusnya kita melihat laporan ini mengenai stabilisasi koefisien korelasi hanya pada sampel besar (setidaknya oleh beberapa standar bidang ilmu sosial)? Apakah ini celah lain dalam dinding penelitian ilmu sosial yang ditinjau oleh rekan sejawat, ataukah itu adalah masalah yang relatif sepele yang telah terlalu banyak dibicarakan dalam presentasinya?
Karena tidak ada kemungkinan jawaban yang benar untuk pertanyaan ini, saya berharap untuk menghasilkan utas di mana sumber daya tentang pertanyaan ini dapat dibagikan, dipertimbangkan secara matang, dan diperdebatkan (tentu saja dengan sopan dan penuh hormat).
sumber
Jawaban:
Menambahkan interval kepercayaan untuk memperkirakan koefisien korelasi yang benar akan menjadi kecil (dan sangat sederhana) langkah pertama ke arah yang benar. Lebarnya langsung memberi Anda kesan pada presisi korelasi sampel Anda dan, pada saat yang sama, memungkinkan penulis dan juga audiens untuk menguji hipotesis yang berguna . Apa yang selalu membingungkan saya ketika berbicara dengan ahli statistik dari ilmu sosial bahwa koefisien korelasi sampel absolut di atas (atau batas lainnya) dianggap bermakna. Pada saat yang sama, mereka menguji hipotesis kerjaρ L=0.3 ρ≠0 . Ini tidak penting. Mengapa koefisien korelasi populasi yang sangat kecil tiba-tiba dianggap sebagai bermakna? Hipotesis kerja yang "benar" adalah . Memiliki interval kepercayaan untuk di tangan, hipotesis seperti ini dapat dengan mudah diuji: hanya memeriksa bahwa interval terletak seluruhnya di atas (atau di bawah ) dan Anda tahu apakah Anda dapat mengklaim "substansial" asosiasi statistik bahkan di populasi.|ρ|>L ρ L −L
Tentu saja hanya menambahkan interval kepercayaan dan menggunakan tes yang berarti tidak akan menyelesaikan terlalu banyak masalah (seperti desain pengambilan sampel yang buruk, pertimbangan pembaur yang diabaikan dll.). Tetapi pada dasarnya ini gratis. Saya kira bahkan SPSS dapat menghitungnya!
sumber
Seperti yang dicatat oleh Michael M , kepercayaan dari korelasi yang dilaporkan - atau estimasi lainnya - dapat dinilai menggunakan interval kepercayaan. Sampai taraf tertentu. CI akan terlalu sempit jika model dipilih setelah pengumpulan data, yang saya perkirakan terjadi sekitar 95% dari waktu dalam ilmu sosial (yang sejujurnya saya nyatakan sebagai tebakan lengkap saya).
Obatnya ada dua:
Kita berbicara tentang " krisis replikasi ". Dengan demikian, replikasi yang gagal memberi tahu kami bahwa efek asli mungkin hanyalah noise acak. Kita perlu melakukan (dan mendanai, menulis, dan mengirim, dan menerima) lebih banyak ulangan. Studi replikasi perlahan mendapatkan kehormatan, dan itu adalah hal yang baik.
Obat kedua tentu saja meta-analisis . Jika kami memiliki banyak korelasi yang dilaporkan dari data yang serupa, bahkan jika setiap satu dari mereka memiliki rendah , maka kami dapat mengumpulkan informasi dan mempelajari sesuatu. Idealnya, kita bahkan dapat mendeteksi bias publikasi dalam proses.n
sumber