Nilai rendah dalam penelitian ilmu sosial atau pendidikan?

8

Saya mencari kertas yang membahas tentang "mengapa nilai rendah dapat diterima dalam ilmu sosial atau penelitian pendidikan". Tolong tunjukkan saya ke jurnal yang tepat jika Anda tahu. $R^2$

correlation references r-squared social-science Amin
sumber

Utas yang relevan: stats.stackexchange.com/q/414349/121522

mkt

11

Sebuah makalah oleh Abelson (1985) berjudul "Parad penjelasan varians: Ketika sedikit banyak" , yang diterbitkan dalam Psychological Bulletin , membahas (bagian dari) masalah ini. Secara khusus, Abelson menunjukkan bahwa proporsi varian yang dibagi antara variabel dikotomis dan kontinu bisa sangat kecil, bahkan ketika intuisi akan menentukan sangat besar (ia menggunakan contoh apakah pemukul bisbol akan mengenai bola atau tidak) , sebagai fungsi dari rata-rata pukulan adonan - menghasilkan kekalahan ). $R^2$ $R^2 < .001$

Abelson melanjutkan untuk menjelaskan bahwa sekecil itu bisa bermakna, selama efek yang sedang diselidiki dapat membuat dirinya terasa seiring waktu. $R^2$

PS: Saya menggunakan makalah ini beberapa bulan yang lalu untuk menanggapi pengulas yang tidak terkesan dengan kami yang rendah , dan itu mengenai sasaran - makalah kami sekarang sedang dicetak :) $R^2$

Referensi: Abelson, RP (1985). Sebuah paradoks penjelasan varians: Ketika sedikit banyak. Buletin Psikologis , 97 , 129-133.

Patrick Coulombe
sumber

1

Terimakasih atas infonya. Saya menemukan kertas itu menarik. Meskipun menunjukkan contoh counter untuk nilai saya mencoba untuk menemukan makalah / ulasan yang membahas tren / konvensi dalam penelitian yang melibatkan perilaku / kinerja manusia. -

R^{2}

$R^2$

Amin

6

Argumen melambai-lambaikan tangan yang bagaimanapun memiliki banyak kekuatan bekerja mundur. Apa yang disiratkan oleh prediksi sempurna? Sebagai contoh, itu akan menyiratkan bahwa kita dapat memprediksi kinerja siswa persis hanya dengan mengetahui usia, jenis kelamin, ras, kelas, dll. Namun kita tahu itu tidak masuk akal; itu bertentangan banyak hal dari apa yang kita ketahui dalam ilmu sosial, belum lagi kehidupan sehari-hari. Selain itu, meskipun ini adalah masalah yang berbeda: banyak dari kita tidak ingin hidup di dunia seperti itu.

Nick Cox
sumber

1

Saya tidak yakin apa yang Anda maksud. Pertama mungkin tidak ada contoh di mana Anda memiliki 1 sebelumnya untuk a

R^{2}

$R^2$ ketika mempelajari perilaku manusia, itu hanya kerangka kerja. Kedua, karena setiap hasil statistik, itu didasarkan pada hasil dalam jumlah besar. Terakhir, untuk mengambil contoh Anda, ilmu sosial (sayangnya?) Sering memberi tahu kami bahwa beberapa variabel (katakanlah ijazah orang tua dan implikasi, etnisitas, jam kerja) memang merupakan prediktor yang sangat baik tentang prestasi siswa.

Anthony Martin

2

Saya lebih suka ragu "sangat bagus" dalam latihan. Kecuali pada dasarnya tautologis,

R^{2}

$R^2$ dalam ilmu sosial tampaknya jauh lebih mungkin terjadi

\sim 0.1

$\sim 0.1$ dari

\sim 1

$\sim 1$ .

Nick Cox

1

Saya tidak memiliki contoh yang tepat dalam pendidikan, tetapi misalnya persamaan Mincer (prediksi upah) dengan hanya dua variabel (pendidikan dan pengalaman) sudah dapat menghasilkan

R^{2}

$R^2$ lebih besar dari 0,5

Anthony Martin

2

Itu konsisten dengan poin saya. Dalam ilmu fisika,

R^{2} < 0.9

$R^2 < 0.9$ sering merupakan tanda ketidakmampuan atau kegagalan untuk memilih masalah yang bermanfaat. Fakta bahwa Anda menganggap sesuatu seperti

0.5

$0.5$ sebagai batang "sangat baik", saya curiga, dari pengetahuan Anda bahwa selalu ada banyak yang tidak diketahui.

Nick Cox

1

Saya tidak melihat teori apa pun dalam diskusi Anda sama sekali. Lebih penting lagi, saya tidak berpikir kita saling bertentangan. Anda terkesan bahwa kita bisa menjadi moderat

R^{2}

$R^2$ beberapa kali dalam ilmu sosial; Saya tidak terkejut dan saya tidak mengklaim sebaliknya.

Nick Cox

4

Saya menemukan pertanyaan Anda agak kabur, mungkin tergantung pada apa yang ingin Anda lakukan dalam penelitian ilmu sosial atau pendidikan. Tetapi lebih umum, seperti setiap indikator, $R^2$ bagus untuk memeriksa apa yang dirancang untuk diperiksa, buruk untuk sisanya.

Tepat, $R^2$ dapat didefinisikan sebagai $R^2 = \frac{SSE}{SST} = 1 - \frac{SSR}{SST}$ , sehingga menjelaskan berapa banyak data yang dapat Anda jelaskan dengan model Anda, seberapa baik data sesuai dengan model statistik.

Domain tempat yang paling penting adalah ketika Anda ingin melakukan prediksi : jika Anda ingin memprediksi hasil Anda, perlu bahwa model Anda menjelaskan hampir semua apa yang terjadi jika data.
Sebaliknya, jika Anda tertarik - itu sering terjadi - dalam pengaruh satu variabel / parameter , Anda tidak peduli sama sekali tentang $R^2$ , yang Anda pedulikan adalah bahwa efek Anda misalnya signifikan, dengan hipotesis yang perlu diverifikasi.

Saya tidak memiliki referensi yang pasti dalam pikiran, tetapi setiap buku teks ekonometrika pengantar akan memiliki bab atau bagian di atasnya (misalnya sebagian besar ekonometrika tidak berbahaya atau Econometrics Pengantar Wooldridge : Pendekatan Modern ).

Anthony Martin
sumber

2

Poin Abelson dapat diringkas: Apa yang tidak mungkin menjadi mungkin jika cukup banyak pengulangan.

Evolusi dibangun berdasarkan prinsip ini: Mustahil mutasi akan menguntungkan bagi mutan. Tetapi, jika cukup banyak mutasi, ada kemungkinan beberapa di antaranya menguntungkan. Melalui seleksi dan keturunan, yang tidak mungkin sesudahnya menjadi mungkin dalam populasi.

Dalam kedua kasus, ada mekanisme seleksi yang membuat keberhasilan menentukan, dan kegagalan bukan bencana (setidaknya untuk spesies).

Buku Jesper Juul tentang game, "The Art of Failure", menambahkan dimensi lain pada pertimbangan Abelson. Poin Juul adalah bahwa tidak menarik untuk bermain game di mana Anda tidak pernah kehilangan. Sebenarnya, harus ada keseimbangan antara keterampilan dan frekuensi kegagalan / keberhasilan, sebelum menjadi aktif untuk bermain dan meningkatkan kinerja Anda.

Permainan dan pelatihan memastikan bahwa kegagalan bukanlah bencana, dan kemudian mekanisme seleksi efektif dan nilai R2 rendah tidak menjadi masalah, bahkan mungkin lebih disukai. Sebaliknya, ketika kegagalan adalah bencana, nilai R2 yang tinggi sangat penting.

Lebih umum, nilai R2 penting di mana acara adalah pengubah permainan. Selain itu, acara-acara gamechanging sering tidak dapat direduksi menjadi binarity, kegagalan / kesuksesan: Hasil yang mungkin berlipat ganda dan memiliki banyak efek. Dalam hal ini, hasilnya memiliki arti-penting historis / biografis.

Dalam kasus, peristiwa adalah historis dan belum pernah terjadi sebelumnya, pada dasarnya tidak mungkin untuk memperkirakan R2, meskipun beberapa deskripsi analitis dapat mengurangi keacakan karena sejarah sampai batas tertentu mungkin menyerupai dirinya sendiri. Singkatnya, Anda mungkin mengalami kombinasi R2 kecil dan peristiwa gamechanging. ... Ya, itu hidup, kadang-kadang ;-)

pengguna285684
sumber

Nilai rendah dalam penelitian ilmu sosial atau pendidikan?

Jawaban: