Apakah tampilan ukuran efek binomial (BESD) merupakan representasi menyesatkan dari ukuran efek?

Sulit bagi saya untuk menerima bahwa Donald Rubin akan pernah menghasilkan lemon teknik yang sebenarnya. Namun, itulah persepsi saya tentang BESD [ 1 , 2 , 3 ].

Makalah asli oleh Rosenthal dan Rubin (1982) mengklaim bahwa ada nilai dalam menunjukkan "bagaimana menyusun kembali korelasi momen-produk ke dalam tampilan [2x2] seperti itu, apakah data asli kontinu atau kategorikal."

Tabel di bawah ini dari hal. 451 dari tautan ke-2 di atas:

Teknik ini tampaknya melebih-lebihkan besarnya hampir semua ukuran efek. Di sini, dari data asli = .01, tetapi ketika "diterjemahkan" ke dalam tabel kontingensi 2x2, kita tampaknya dihadapkan dengan efek yang jauh lebih kuat. Saya tidak menyangkal bahwa, ketika data disusun kembali ke dalam format kategorikal dengan cara ini, memang = .1, tetapi saya merasa ada sesuatu yang sangat terdistorsi dalam terjemahan.$R^2$$\phi$

Apakah saya melewatkan sesuatu yang benar-benar berharga di sini? Juga, saya mendapat kesan bahwa dalam 10 tahun terakhir atau lebih komunitas statistik pada umumnya menolak ini sebagai metode yang sah — apakah saya salah tentang itu?

Persamaan untuk menghitung tingkat keberhasilan eksperimental ( ) dan kontrol ( ) ( ), masing-masing, cukup sederhana:C s $E$$C$$sr$

$E_{sr} = .50 + r/2$

dan

$C_{sr} = .50 - r/2$

Referensi:

Rosenthal, R., & Rubin, DB (1982). Tampilan tujuan umum sederhana dari besarnya efek eksperimental. Jurnal Psikologi Pendidikan, 74 , 166–169.

Saya dapat menunjukkan bahwa itu bias (saya pikir), tetapi saya tidak bisa menjelaskan mengapa. Saya berharap seseorang dapat melihat jawaban saya dan membantu menjelaskannya lebih lanjut.

Seperti dalam banyak meta-analisis dan gambar yang Anda poskan, banyak orang menafsirkan BESD sebagai: Jika Anda median membagi dua variabel, Anda akan secara akurat menempatkan orang di sel "kanan" dari tabel kontingensi 2 x 2 persen yang diberikan waktu.

Jadi jika , orang mungkin mengatakan, "Mengingat ini diamati , Anda dapat memikirkannya seperti ini: Orang-orang di atas median dalam X juga akan di atas median pada Y 70% dari waktu. " Ini adalah bagaimana Kraus (1995, hal. 69) menafsirkannya (ia bergantung pada situasi hipotetis di mana satu variabel benar-benar dikotomis, sementara yang lain adalah median split):$.50 + r/2 = .70$$r$

Orang-orang juga sering menggunakan metafora medis: " ini sesuai dengan perbedaan dalam 40 poin persentase antara orang dalam kondisi kontrol dan eksperimental."$r$

Untuk melihat apakah interpretasi median-split-esque bias, saya mensimulasikan populasi 1.000.000 kasus di mana populasi sebenarnya . Saya kemudian menarik 100 orang dari populasi ini, menghitung "tingkat yang benar" BESD (yaitu, ), dan kemudian menghitung rata - rata sel split rata - rata untuk tabel kontingensi 2 x 2, seperti yang dijelaskan di atas untuk mengkategorikan orang "dengan benar." Saya melakukan ini 10.000 kali..50 + r /$r = .38$$.50 + r/2$

Saya kemudian mengambil rata-rata dan standar deviasi masing-masing vektor dengan panjang 10.000. Kode:

library(MASS)
# set population params
mu <- rep(0,2)
Sigma <- matrix(.38, nrow=2, ncol=2) + diag(2)*.62
# set seed
set.seed(1839)
# generate population
pop <- as.data.frame(mvrnorm(n=1000000, mu=mu, Sigma=Sigma))
# initialize vectors
besd_correct <- c()
actual_correct <- c()
# actually break up raw data by median split, see how it works
for (i in 1:10000) {
  samp <- pop[sample(1:1000000, 100),]
  besd_correct[i] <- round(100*(.50 + cor(samp)[1,2]/2),0)
  samp$V1_split <- ifelse(samp$V1 > median(samp$V1), 1, 0)
  samp$V2_split <- ifelse(samp$V2 > median(samp$V2), 1, 0)
  actual_correct[i] <- with(samp, table(V1_split==V2_split))[[2]]
}
# cells for BESD
mean(besd_correct)
100 - mean(besd_correct)
# cells for actual 2 x 2 table with median split
mean(actual_correct)
100 - mean(actual_correct)

Berdasarkan BESD, kami mendapatkan tabel ini, di mana v1dan v2merujuk ke variabel dan lowdan highmerujuk ke bawah dan di atas median, masing-masing:

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 69     | 31      |
+---------+--------+---------+
| v1 high | 31     | 69      |
+---------+--------+---------+

Berdasarkan benar-benar melakukan pemisahan median dengan data mentah, kami mendapatkan tabel ini:

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 62     | 38      |
+---------+--------+---------+
| v1 high | 38     | 62      |
+---------+--------+---------+

Jadi, sementara seseorang dapat berdebat, menggunakan BESD, bahwa ada "perbedaan 38 poin persentase dalam kontrol dan eksperimen," rata-rata pembagian rata-rata memiliki angka ini di angka 24.

Saya tidak yakin mengapa ini terjadi, atau jika itu tergantung pada ukuran sampel dan korelasi (orang dapat dengan mudah melakukan lebih banyak simulasi untuk mencari tahu), saya pikir ini menunjukkan itu bias. Saya akan senang jika seseorang dapat berpadu dengan penjelasan matematis - bukan komputasi.

Intuisi Mark White salah. BESD sebenarnya tidak memodelkan split median. Perpecahan median dikaitkan dengan kehilangan informasi statistik nyata - ini secara sistematis melemahkan hubungan (lihat http://psycnet.apa.org/record/1990-24322-001), itulah sebabnya nilai median split menunjukkan akurasi yang lebih kecil daripada BESD. BESD menunjukkan akurasi klasifikasi seolah-olah variabel benar-benar dikotomis, tidak dikotomiskan secara artifisial melalui split median. Untuk melihat ini, hitung korelasi pada median data split. Anda akan melihat bahwa itu lebih kecil daripada korelasi untuk variabel asli. Jika variabel awalnya biner, kedua metode akan setuju. Secara alami, BESD menampilkan variabel seolah-olah mereka benar-benar biner. Ketika digunakan untuk variabel kontinu, ini tentu mewakili suatu abstraksi - sebenarnya tidak ada kelompok "sukses" dan "gagal" atau "pengobatan" dan "kontrol",

BESD tidak bias. Ini secara akurat mencerminkan dampak dari perlakuan tertentu pada akurasi klasifikasi jika kami bekerja dengan dua variabel biner. Ini adalah tampilan yang berguna untuk menunjukkan nilai praktis potensial dari tindakan atau perawatan, dan, ya, itu menunjukkan bahwa efek dengan varians kecil yang diperhitungkan untuk statistik dapat menjadi sangat penting. BESD digunakan secara luas dalam praktik psikologis dan organisasi terapan, dan ia sangat setuju dengan tampilan ukuran efek praktis lainnya (misalnya, bahwa top-down memilih grup menggunakan ukuran dengan korelasi validitas r = 0,25 akan menghasilkan 0,25. SD meningkatkan kinerja hasil di antara kelompok yang dipilih versus kelompok yang tidak dipilih).

Varians menyumbang statistik secara konsisten menyebabkan kesalahpahaman dan meremehkan tentang ukuran hubungan variabel karena operasi kuadrat adalah nonlinier. Banyak ahli metodologi yang diterapkan (misalnya, https://us.sagepub.com/en-us/nam/methods-of-meta-analysis/book240589 ) sangat tidak menyarankan penggunaannya demi akar kuadratnya (yang lebih akurat menyampaikan ukuran dari efek).