Bagaimana uji-t signifikan secara statistik jika perbedaan rata-rata hampir 0?

Saya mencoba membandingkan data dari 2 populasi untuk mengetahui apakah perbedaan antara perawatan secara statistik signifikan. Set data tampaknya terdistribusi secara normal dengan sedikit perbedaan antara kedua set. Perbedaan rata-rata adalah 0,00017. Saya melakukan uji-t berpasangan, berharap bahwa saya akan gagal untuk menolak hipotesis nol tidak ada perbedaan antara rata-rata, namun, nilai-t yang saya hitung jauh lebih tinggi daripada nilai-t kritis saya.

Saya tidak melihat alasan untuk percaya Anda melakukan kesalahan hanya karena tes itu signifikan, bahkan jika perbedaan rata-rata sangat kecil. Dalam uji-t berpasangan, signifikansi akan didorong oleh tiga hal:

1. besarnya perbedaan rata-rata
2. jumlah data yang Anda miliki
3. standar deviasi dari perbedaan

Harus diakui, perbedaan rata-rata Anda sangat, sangat kecil. Di sisi lain, Anda memiliki jumlah data yang cukup (N = 335). Faktor terakhir adalah standar deviasi perbedaan. Saya tidak tahu apa itu, tetapi karena Anda mendapatkan hasil yang signifikan, aman untuk menganggapnya cukup kecil untuk mengatasi perbedaan rata-rata kecil dengan jumlah data yang Anda miliki. Demi membangun intuisi, bayangkan bahwa perbedaan berpasangan untuk setiap pengamatan dalam penelitian Anda adalah 0,00017, maka standar deviasi dari perbedaan itu adalah 0. Tentunya, akan masuk akal untuk menyimpulkan bahwa perawatan menyebabkan pengurangan (walaupun yang kecil).

Seperti @whuber catat dalam komentar di bawah ini, perlu menunjukkan bahwa sementara 0,00017 tampak seperti jumlah qua angka yang sangat kecil, itu tidak selalu kecil dalam hal yang bermakna. Untuk mengetahuinya, kita perlu mengetahui beberapa hal, pertama apa unitnya. Jika unit sangat besar (misalnya, tahun, kilometer, dll.), Apa yang tampak kecil bisa berarti besar, sedangkan jika unitnya kecil (misalnya, detik, sentimeter, dll.), Perbedaan ini bahkan tampak lebih kecil. Kedua, bahkan perubahan kecil dapat menjadi penting: bayangkan beberapa jenis perawatan (misalnya, vaksin) yang sangat murah, mudah diberikan kepada seluruh penduduk, dan tidak memiliki efek samping. Mungkin layak dilakukan bahkan jika itu menyelamatkan hanya sedikit nyawa.

Untuk mengetahui apakah perbedaan benar-benar besar atau kecil memerlukan beberapa ukuran skala, standar deviasi adalah salah satu ukuran skala dan merupakan bagian dari rumus uji-t untuk memperhitungkan sebagian untuk skala itu.

Pertimbangkan jika Anda membandingkan ketinggian anak berusia 5 tahun dengan ketinggian anak berusia 20 tahun (manusia, wilayah geografis yang sama, dll.). Intuisi memberi tahu kita bahwa ada perbedaan praktis di sana dan jika ketinggian diukur dalam inci atau sentimeter maka perbedaan itu akan terlihat bermakna. Tetapi bagaimana jika Anda mengubah ketinggian menjadi kilometer? atau tahun cahaya? maka perbedaannya akan menjadi angka yang sangat kecil (tetapi masih berbeda), tetapi (kecuali kesalahan pembulatan) uji-t akan memberikan hasil yang sama apakah ketinggiannya diukur dalam inci, sentimeter, atau kilometer.

Jadi perbedaan 0,00017 mungkin sangat besar tergantung pada skala pengukuran.

$t$unlikely to emerge at least as large in another, similar pair of samples selected randomly from the same populations if the null hypothesis of no difference is literally true of those populations$t$$\frac{17}{100,000}$

pop1=rep(15:20* .00001, 56);pop2=rep(0,336) #Some fake samples of sample size = 336
t.test(pop1,pop2,paired=T)                #Paired t-test with the following output...

.00001$t$

Mungkin Anda akan lebih tertarik pada signifikansi praktis daripada dalam arti harfiah dari pengujian signifikansi nol hipotesis ini. Signifikansi praktis akan lebih tergantung pada makna data Anda dalam konteks daripada pada signifikansi statistik; ini bukan masalah statistik semata. Saya mengutip contoh yang berguna dari prinsip ini dalam menjawab pertanyaan populer di sini, Mengakomodasi pandangan yang mengakar tentang nilai-p :

$r=.03$

Ini "masalah hidup dan mati" adalah ukuran efek aspirin pada serangan jantung, pada dasarnya - contoh kuat dari perbedaan kecil numerik, jauh kurang konsisten dengan makna yang praktis penting. Banyak pertanyaan lain dengan jawaban yang solid yang dapat Anda manfaatkan dari tautan layak di sini, termasuk:

• Mengapa "signifikan secara statistik" tidak cukup?
• signifikansi praktis vs statistik
• Signifikansi praktis, terutama dengan persen: ukuran dan ambang "standar"

Referensi

Rosenthal, R., Rosnow, RL, & Rubin, DB (2000). Kontras dan efek ukuran dalam penelitian perilaku: Pendekatan korelasional . Cambridge University Press.

Berikut ini adalah contoh dalam R yang menunjukkan konsep teoritis dalam aksi. 10.000 percobaan membalik koin 10.000 kali yang memiliki kemungkinan kepala .0001 dibandingkan dengan 10.000 percobaan membalik koin 10.000 kali yang memiliki kemungkinan kepala .00011

t.test (rbinom (10000, 10000, .0001), rbinom (10000, 10000, .00011))

t = -8.0299, df = 19886.35, p-value = 1.03e-15 hipotesis alternatif: perbedaan rata-rata dalam mean tidak sama dengan interval kepercayaan 0 95 persen: -0.14493747 -0.08806253 perkiraan sampel: rata-rata x rata-rata y 0,9898 1,1063

Perbedaan rata-rata relatif dekat dengan 0 dalam hal persepsi manusia, namun secara statistik sangat berbeda dari 0.