Mengapa ketergantungan merupakan masalah?

8

Saya tertarik pada mengapa pengamatan dependen merupakan masalah dalam statistik. Katakanlah Anda ingin tahu apakah ada perbedaan dalam nilai ujian rata-rata antara dua sekolah. Anda mengumpulkan 50 pengamatan di setiap sekolah. 50 pengamatan ini berasal dari 5 ruang kelas yang berbeda di setiap sekolah dan ada ketergantungan di dalam ruang kelas. Dalam hal ini, bagaimana hasil uji-t akan terpengaruh dan bagaimana hasilnya mengarah pada kesimpulan yang tidak akurat?

hypothesis-testing t-test independence non-independent luciano
sumber

5

Nilai p untuk uji-t dihitung dengan asumsi bahwa semua pengamatan independen. Probabilitas komputasi (seperti nilai p) jauh lebih sulit ketika Anda berurusan dengan variabel dependen, dan tidak selalu mudah untuk melihat secara matematis di mana ada yang salah dengan tes di hadapan ketergantungan. Namun kami dapat dengan mudah menggambarkan masalah dengan simulasi.

Misalnya, perhatikan kasus di mana ada 5 ruang kelas di masing-masing dua sekolah, dengan 10 siswa di setiap ruang kelas. Di bawah asumsi normalitas, nilai p tes harus didistribusikan secara merata pada interval jika tidak ada perbedaan dalam nilai tes rata-rata antara semua ruang kelas. Artinya, jika kami melakukan banyak penelitian seperti ini dan merencanakan histogram dari semua nilai-p, itu harus menyerupai distribusi seragam berbentuk kotak . $(0,1)$

Namun, jika ada suatu korelasi di dalam kelas antara hasil siswa, nilai-p tidak lagi berperilaku sebagaimana mestinya. Korelasi positif (seperti yang mungkin diharapkan di sini) akan sering mengarah pada nilai-p yang terlalu kecil, sehingga hipotesis nol akan ditolak terlalu sering padahal faktanya benar. Simulasi R menggambarkan ini dapat ditemukan di bawah. 1000 studi dari dua sekolah disimulasikan untuk korelasi dalam kelas yang berbeda. Nilai-p dari uji-t correpsonding ditunjukkan dalam histogram pada gambar. Mereka didistribusikan secara seragam ketika tidak ada korelasi, tetapi tidak sebaliknya. Dalam simulasi, diasumsikan bahwa tidak ada perbedaan rata-rata antara ruang kelas, dan bahwa semua ruang kelas memiliki korelasi dalam ruang kelas yang sama.

Konsekuensi dari fenomena ini adalah bahwa tingkat kesalahan tipe I dari uji-t akan jauh jika ada korelasi di dalam kelas. Sebagai contoh, uji-t pada tingkat 5% sebenarnya sekitar pada tingkat 25% jika korelasi di dalam kelas adalah 0,1! Dengan kata lain, risiko salah menolak hipotesis nol meningkat secara dramatis ketika pengamatan bergantung .

Simulasi Perhatikan bahwa sumbu agak berbeda di antara histogram.

Kode R:

library(MASS) 
B1<-1000

par(mfrow=c(3,2))

for(correlation in c(0,0.1,0.25,0.5,0.75,0.95))
{
# Create correlation/covariance matrix and mean vector
Sigma<-matrix(correlation,10,10)
diag(Sigma)<-1
mu<-rep(5,10)

# Simulate B1 studies of two schools A and B
p.value<-rep(NA,B1)
for(i in 1:B1)
{
    # Generate observations of 50 students from school A
    A<-as.vector(mvrnorm(n=5,mu=mu,Sigma=Sigma))

    # Generate observations of 50 students from school B
    B<-as.vector(mvrnorm(n=5,mu=mu,Sigma=Sigma))

    p.value[i]<-t.test(A,B)$p.value
}

# Plot histogram
hist(p.value,main=paste("Within-classroom correlation:",correlation),xlab="p-value",cex.main=2,cex.lab=2,cex.axis=2)
}

MånsT
sumber

MånsT jawaban Anda adalah jenis jawaban yang saya harapkan (+1). Namun, dapatkah Anda menjelaskan bagaimana menghitung korelasi di dalam kelas? Masing-masing dari 5 ruang kelas di masing-masing 2 sekolah memiliki 10 pengamatan masing-masing diukur pada variabel tunggal. Pemahaman saya tentang korelasi adalah bahwa mereka membutuhkan pengamatan yang diukur pada dua variabel.

luciano

@ luciano: Menghitung, atau lebih tepatnya, memperkirakan korelasi ini memang terbukti rumit! Namun mudah untuk dimasukkan dalam model yang digunakan dalam simulasi: ketika hasil untuk 10 siswa di kelas dihasilkan, mereka dihasilkan dalam cara yang berkorelasi. Dua variabel yang memiliki korelasi adalah hasil dari siswa dan hasil dari siswa untuk semua kombinasi dan . Pada dasarnya ini berarti bahwa jika satu siswa di kelas berkinerja baik (dibandingkan dengan rata-rata sekolah), yang lain lebih mungkin juga berperforma baik.

ρ

$\rho$

X_{i}

$X_i$

i

$i$

X_{j}

$X_j$

j

$j$

i = 1, \dots, 10

$i=1,\ldots,10$

j = 1, \dots, 10

$j=1,\ldots,10$

MånsT

3

Masalahnya adalah bahwa membandingkan kedua sekolah dengan cara ini menggabungkan efek tingkat universitas dengan efek tingkat kelas. Model campuran akan membiarkan Anda mengurai ini. Jika Anda tidak tertarik untuk menguraikannya, Anda harus tetap memperhitungkan pengambilan sampel berkerumun (meskipun banyak orang gagal melakukan ini).

Komentar @Nico di atas menimbulkan satu masalah di sini: Misalkan seorang guru di satu sekolah benar-benar baik, dan dia salah satu guru yang dipilih?

Tetapi masalah lain adalah bahwa siswa di setiap kelas akan lebih mirip satu sama lain daripada mereka akan menjadi siswa lain di universitas yang sama dalam segala macam cara: Mata pelajaran yang berbeda menarik berbagai jenis siswa berdasarkan usia, jenis kelamin, pengalaman, kekuatan akademik dan kelemahan dll

Peter Flom
sumber

1

Tidak ada yang salah dengan tes yang Anda gambarkan karena Anda mengambil sampel dari kedua sekolah secara adil. Pengamatan dependen mulai berlaku ketika ada variabel lain yang menjadi dasar sampel. Yaitu, di salah satu sekolah hanya satu kelas yang muncul dan Anda memutuskan untuk mengambil hasil dari 50 orang dalam satu kelas ini dengan berpikir bahwa itu akan baik-baik saja. Tetapi dalam hasil sekolah tergantung pada kelas, sehingga Anda tidak dapat melakukannya seperti ini dan itu akan memberikan hasil yang salah yang tidak dapat Anda deteksi dengan tes statistik apa pun ... itu hanya desain eksperimen yang salah.

Tapi saya pikir orang berbicara tentang pengamatan tergantung dari sudut pandang yang berbeda. Saat Anda berpikir bahwa Anda dapat memperoleh distribusi dan kesalahan dari sampel Anda berdasarkan asumsi independensi (kebanyakan rumus standar mengasumsikan itu), sedangkan ketika hasil Anda bergantung satu sama lain, aturan itu tidak tepat sama sekali ...

sashkello
sumber

3

Bagaimana jika satu kelas di salah satu dari dua sekolah memiliki guru yang sangat baik sehingga anak-anak di kelas itu semua akan melebihi rata-rata kelas lainnya? Skor rata-rata keseluruhan sekolah itu mungkin lebih tinggi tetapi hanya karena kelas itu, bukan karena populasi umum sekolah itu lebih baik.

nico

Lalu apa? Rata-rata sekolah itu lebih baik, dan ya, juga karena guru itu. Jika Anda mencoba membandingkan anak-anak dari area yang berbeda, ya ini akan berlaku. Kalau tidak, tidak ada yang salah dengan itu.

sashkello

Nah, orang mungkin sampai pada kesimpulan yang salah bahwa semua kelas di sekolah itu lebih baik (karena, katakanlah, kebijakan dari kepala sekolah), ketika Anda benar-benar melihat efek dari pencilan. Mengoreksi untuk "efek guru", misalnya memodelkannya sebagai faktor gangguan dapat memperbaiki masalah ini.

nico

1

Saya pikir itu tidak relevan. Dalam konteks "sekolah mana yang lebih baik" sekolah dengan hasil rata-rata lebih tinggi lebih baik, tidak peduli apa alasannya. Hasil percobaan seperti itu tidak salah, Anda hanya perlu menafsirkannya dengan benar. Juga 1 dari 5 kelas bukan merupakan pencilan. Saya juga bisa berpendapat bahwa sebenarnya tidak ada yang namanya "pencilan" sama sekali, karena tidak peduli seberapa jauh dari rata-rata itu, itu masalah definisi sekolah mana yang Anda anggap lebih baik - sekolah yang memiliki rata-rata lebih baik atau sekolah yang memiliki median lebih baik atau yang memiliki 5 siswa terbaik atau apa pun.

sashkello

Mengapa ketergantungan merupakan masalah?

Jawaban: