Bagaimana menafsirkan nilai-p 0 atau 1?

9

Saya menjalankan temuan ANOVA misalnya interaksi antara jenis kelamin dan kelas daripada yang saya ingin tahu dalam apa nilai anak laki-laki dan perempuan berbeda, tetapi dalam banyak kasus saya menemukan (disesuaikan) nilai-p 0 dan 1. Bagaimana / mengapa ini mungkin? Sepertinya tidak benar ...

as.factor(gender)                     1     16    16.2    2.6377  0.104396    
as.factor(grade)                      7  50077  7153.9 1165.4184 < 2.2e-16 ***
as.factor(gender):as.factor(grade)    7    132    18.9    3.0795  0.003056 ** 
Residuals                          7747  47555     6.1                        
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

  Tukey multiple comparisons of means
    95% family-wise confidence level

Fit: aov(formula = rating ~ as.factor(gender) * as.factor(grade), data = users_c[users_c$grade %in% 1:8, ])

$`as.factor(gender)`
           diff        lwr        upr     p adj
m-f -0.09135851 -0.2016276 0.01891058 0.1043964

$`as.factor(grade)`
         diff        lwr       upr     p adj
2-1 0.3823566 -0.5454435  1.310157 0.9169296
3-1 1.9796023  1.1649854  2.794219 0.0000000
4-1 3.9558543  3.1534606  4.758248 0.0000000
5-1 5.7843111  4.9829529  6.585669 0.0000000
6-1 7.0752044  6.2708610  7.879548 0.0000000
7-1 8.4868609  7.6776332  9.296089 0.0000000
8-1 9.3867231  8.5626511 10.210795 0.0000000
3-2 1.5972457  1.0395026  2.154989 0.0000000
4-2 3.5734976  3.0337642  4.113231 0.0000000
5-2 5.4019544  4.8637616  5.940147 0.0000000
6-2 6.6928478  6.1502200  7.235476 0.0000000
7-2 8.1045042  7.5546625  8.654346 0.0000000
8-2 9.0043665  8.4329024  9.575831 0.0000000
4-3 1.9762520  1.6694948  2.283009 0.0000000
5-3 3.8047088  3.5006705  4.108747 0.0000000
6-3 5.0956021  4.7837806  5.407424 0.0000000
7-3 6.5072586  6.1830461  6.831471 0.0000000
8-3 7.4071208  7.0474558  7.766786 0.0000000
5-4 1.8284568  1.5588754  2.098038 0.0000000
6-4 3.1193501  2.8410202  3.397680 0.0000000
7-4 4.5310066  4.2388618  4.823151 0.0000000
8-4 5.4308688  5.0998193  5.761918 0.0000000
6-5 1.2908933  1.0155630  1.566224 0.0000000
7-5 2.7025498  2.4132612  2.991838 0.0000000
8-5 3.6024120  3.2738803  3.930944 0.0000000
7-6 1.4116565  1.1141985  1.709114 0.0000000
8-6 2.3115187  1.9757711  2.647266 0.0000000
8-7 0.8998622  0.5525763  1.247148 0.0000000

$`as.factor(gender):as.factor(grade)`
                diff         lwr        upr     p adj
m:1-f:1  0.005917865 -1.77842639  1.7902621 1.0000000
f:2-f:1  0.318074165 -1.28953805  1.9256864 0.9999988
m:2-f:1  0.442924925 -1.11597060  2.0018205 0.9998619
f:3-f:1  1.769000750  0.35262166  3.1853798 0.0020136
m:3-f:1  2.174229216  0.76569156  3.5827669 0.0000147
f:4-f:1  3.738998543  2.34268666  5.1353104 0.0000000
m:4-f:1  4.163719997  2.77146170  5.5559783 0.0000000
f:5-f:1  5.769586591  4.37599400  7.1631792 0.0000000
m:5-f:1  5.816721075  4.42497532  7.2084668 0.0000000
f:6-f:1  7.169439003  5.77317769  8.5657003 0.0000000
m:6-f:1  7.000924045  5.60308216  8.3987659 0.0000000
f:7-f:1  8.330142924  6.92683436  9.7334515 0.0000000
m:7-f:1  8.674488370  7.26930678 10.0796700 0.0000000
f:8-f:1  9.535307293  8.11198164 10.9586329 0.0000000
m:8-f:1  9.251081088  7.82191240 10.6802498 0.0000000
f:2-m:1  0.312156300 -1.12690148  1.7512141 0.9999959
m:2-m:1  0.437007060 -0.94741539  1.8214295 0.9995001
f:3-m:1  1.763082885  0.54136279  2.9848030 0.0000892
m:3-m:1  2.168311350  0.95569081  3.3809319 0.0000001
f:4-m:1  3.733080678  2.53468294  4.9314784 0.0000000
m:4-m:1  4.157802132  2.96412989  5.3514744 0.0000000
f:5-m:1  5.763668726  4.56844048  6.9588970 0.0000000
m:5-m:1  5.810803210  4.61772882  7.0038776 0.0000000
f:6-m:1  7.163521138  5.96518233  8.3618599 0.0000000
m:6-m:1  6.995006180  5.79482611  8.1951862 0.0000000
f:7-m:1  8.324225059  7.11768240  9.5307677 0.0000000
m:7-m:1  8.668570505  7.45984987  9.8772911 0.0000000
f:8-m:1  9.529389428  8.29962271 10.7591561 0.0000000
m:8-m:1  9.245163223  8.00863850 10.4816879 0.0000000
m:2-f:2  0.124850760 -1.02282435  1.2725259 1.0000000
f:3-f:2  1.450926585  0.50586965  2.3959835 0.0000172
m:3-f:2  1.856155050  0.92289131  2.7894188 0.0000000
f:4-f:2  3.420924378  2.50621691  4.3356318 0.0000000
m:4-f:2  3.845645832  2.93713824  4.7541534 0.0000000
f:5-f:2  5.451512425  4.54096139  6.3620635 0.0000000
m:5-f:2  5.498646910  4.59092496  6.4063689 0.0000000
f:6-f:2  6.851364838  5.93673457  7.7659951 0.0000000
m:6-f:2  6.682849880  5.76580854  7.5998912 0.0000000
f:7-f:2  8.012068759  7.08671595  8.9374216 0.0000000
m:7-f:2  8.356414205  7.42822339  9.2846050 0.0000000
f:8-f:2  9.217233128  8.26179669 10.1726696 0.0000000
m:8-f:2  8.933006923  7.96888762  9.8971262 0.0000000
f:3-m:2  1.326075825  0.46649985  2.1856518 0.0000150
m:3-m:2  1.731304290  0.88471145  2.5778971 0.0000000
f:4-m:2  3.296073618  2.46998162  4.1221656 0.0000000
m:4-m:2  3.720795071  2.90157332  4.5400168 0.0000000
f:5-m:2  5.326661665  4.50517434  6.1481490 0.0000000
m:5-m:2  5.373796150  4.55544575  6.1921465 0.0000000
f:6-m:2  6.726514078  5.90050756  7.5525206 0.0000000
m:6-m:2  6.557999120  5.72932364  7.3866746 0.0000000
f:7-m:2  7.887217999  7.04935402  8.7250820 0.0000000
m:7-m:2  8.231563445  7.39056617  9.0725607 0.0000000
f:8-m:2  9.092382368  8.22140761  9.9633571 0.0000000
m:8-m:2  8.808156163  7.92766524  9.6886471 0.0000000
m:3-f:3  0.405228465 -0.13578346  0.9462404 0.4221367
f:4-f:3  1.969997793  1.46166478  2.4783308 0.0000000
m:4-f:3  2.394719246  1.89762897  2.8918095 0.0000000
f:5-f:3  4.000585840  3.49977062  4.5014011 0.0000000
m:5-f:3  4.047720325  3.55206739  4.5433733 0.0000000
f:6-f:3  5.400438253  4.89224417  5.9086323 0.0000000
m:6-f:3  5.231923295  4.71940255  5.7444440 0.0000000
f:7-f:3  6.561142174  6.03389412  7.0883902 0.0000000
m:7-f:3  6.905487620  6.37327442  7.4377008 0.0000000
f:8-f:3  7.766306543  7.18788499  8.3447281 0.0000000
m:8-f:3  7.482080337  6.88942637  8.0747343 0.0000000
f:4-m:3  1.564769328  1.07871270  2.0508260 0.0000000
m:4-m:3  1.989490781  1.51520464  2.4637769 0.0000000
f:5-m:3  3.595357375  3.11716862  4.0735461 0.0000000
m:5-m:3  3.642491860  3.16971239  4.1152713 0.0000000
f:6-m:3  4.995209787  4.50929846  5.4811211 0.0000000
m:6-m:3  4.826694830  4.33626022  5.3171294 0.0000000
f:7-m:3  6.155913709  5.65010831  6.6617191 0.0000000
m:7-m:3  6.500259155  5.98928021  7.0112381 0.0000000
f:8-m:3  7.361078078  6.80213257  7.9200236 0.0000000
m:8-m:3  7.076851872  6.50319055  7.6505132 0.0000000
m:4-f:4  0.424721453 -0.01192015  0.8613631 0.0668946
f:5-f:4  2.030588047  1.58971048  2.4714656 0.0000000
m:5-f:4  2.077722532  1.64271796  2.5127271 0.0000000
f:6-f:4  3.430440460  2.98119847  3.8796825 0.0000000
m:6-f:4  3.261925502  2.80779484  3.7160562 0.0000000
f:7-f:4  4.591144381  4.12045589  5.0618329 0.0000000
m:7-f:4  4.935489827  4.45924616  5.4117335 0.0000000
f:8-f:4  5.796308750  5.26892973  6.3236878 0.0000000
m:8-f:4  5.512082545  4.96913148  6.0550336 0.0000000
f:5-m:4  1.605866594  1.17800058  2.0337326 0.0000000
m:5-m:4  1.653001078  1.23118920  2.0748130 0.0000000
f:6-m:4  3.005719006  2.56923916  3.4421989 0.0000000
m:6-m:4  2.837204048  2.39569420  3.2787139 0.0000000
f:7-m:4  4.166422928  3.70789927  4.6249466 0.0000000
m:7-m:4  4.510768373  4.04654394  4.9749928 0.0000000
f:8-m:4  5.371587296  4.85503631  5.8881383 0.0000000
m:8-m:4  5.087361091  4.55492128  5.6198009 0.0000000
m:5-f:5  0.047134485 -0.37906079  0.4733298 1.0000000
f:6-f:5  1.399852412  0.95913504  1.8405698 0.0000000
m:6-f:5  1.231337454  0.78563790  1.6770370 0.0000000
f:7-f:5  2.560556334  2.09799705  3.0231156 0.0000000
m:7-f:5  2.904901779  2.43669086  3.3731127 0.0000000
f:8-f:5  3.765720703  3.24558412  4.2858573 0.0000000
m:8-f:5  3.481494497  2.94557538  4.0174136 0.0000000
f:6-m:5  1.352717928  0.91787572  1.7875601 0.0000000
m:6-m:5  1.184202970  0.74431204  1.6240939 0.0000000
f:7-m:5  2.513421849  2.05645683  2.9703869 0.0000000
m:7-m:5  2.857767295  2.39508230  3.3204523 0.0000000
f:8-m:5  3.718586218  3.20341827  4.2337542 0.0000000
m:8-m:5  3.434360013  2.90326187  3.9654582 0.0000000
m:6-f:6 -0.168514958 -0.62249009  0.2854602 0.9968060
f:7-f:6  1.160703921  0.69016548  1.6312424 0.0000000
m:7-f:6  1.505049367  1.02895400  1.9811447 0.0000000
f:8-f:6  2.365868290  1.83862318  2.8931134 0.0000000
m:8-f:6  2.081642085  1.53882109  2.6244631 0.0000000
f:7-m:6  1.329218879  0.85401081  1.8044269 0.0000000
m:7-m:6  1.673564325  1.19285330  2.1542753 0.0000000
f:8-m:6  2.534383248  2.00296656  3.0657999 0.0000000
m:8-m:6  2.250157043  1.70328327  2.7970308 0.0000000
m:7-f:7  0.344345446 -0.15203755  0.8407284 0.5648416
f:8-f:7  1.205164369  0.65953016  1.7507986 0.0000000
m:8-f:7  0.920938164  0.36023867  1.4816377 0.0000022
f:8-m:7  0.860818923  0.31038540  1.4112524 0.0000101
m:8-m:7  0.576592718  0.01122178  1.1419637 0.0401330
m:8-f:8 -0.284226205 -0.89329509  0.3248427 0.9688007
r
sumber
7747 tingkat residual kebebasan banyak; apakah mungkin kumpulan data Anda memiliki beberapa respons per individu? Jika itu masalahnya, Anda mungkin ingin menciutkan respons setiap orang ke nilai rata-rata (dilakukan secara otomatis oleh ezANOVA dari paket ez), atau menggunakan sesuatu seperti model efek campuran, yang memungkinkan Anda untuk menghitung pengukuran berulang (lihat ezDicampur dari paket ez).
Mike Lawrence
Saya bermaksud mengatakan "atau menggunakan sesuatu yang lebih kuat seperti model efek campuran". Juga, untuk versi terbaru dari kode ezMixed (yang memungkinkan evaulasi kuat dari kemungkinan efek non-linear dari variabel kontinu seperti kelas, belum lagi visualisasi melalui ezPlot2), sumber dan jalankan fungsi ezDev ini saat terhubung ke internet: raw.github .com / mike-lawrence / ez / master / R / ezDev.R
Mike Lawrence

Jawaban:

15

Semua yang berarti 0 dan 1 adalah bahwa mereka sangat sangat dekat dengan 0 atau 1. Jika Anda perhatikan dengan seksama Anda akan melihat bahwa ketika p yang disesuaikan adalah 1 maka efeknya hampir 0 dan ketika p yang disesuaikan adalah 0 maka batas yang lebih dekat efeknya sangat jauh. Karena itu, tidak ada yang "salah" per se. Sekarang lihat berapa banyak digit signifikan yang Anda miliki. Angka 1 atau 0 berarti lebih dekat ke nilai itu daripada yang dapat diwakili oleh angka dengan banyak digit. Jangan ragu untuk melaporkan sesuatu seperti <0,0001, atau> 0,9999.

John
sumber
+1 - Itu hanyalah ambang pembulatan yang sewenang-wenang. Dan salah satu alasan saya sangat benci pelaporan signifikansi * berdasarkan.
Fomite
3
Dengan ukuran sampel sebesar itu, tidak mengejutkan untuk menemukan nilai-p yang sangat kecil. Saya pikir ini menimbulkan pertanyaan praktis vs signifikansi statistik di sini dan saya akan lebih tertarik pada interval kepercayaan daripada nilai-p.
Glen
@ John, maksud Anda menyiratkan bahwa akan ada masalah dengan melaporkan nilai p sebagai 1,00 atau 1.000? Saya akan melihat tidak ada yang salah dengan melakukan ini.
mark999
Glen, saya setuju ...
John
mark999, maka Anda harus melaporkannya seperti itu. Satu-satunya masalah yang saya miliki dengan itu adalah bahwa angka-angka seperti itu cenderung ditafsirkan istimewa. Kita semua tahu nilai apa pun akan menjadi perkiraan tetapi 1,0 dan 0,0 mungkin dianggap istimewa atau membingungkan bagi siswa statistik sama seperti mereka terhadap penanya ini. Kebingungan yang memicu pertanyaan ini kemudian akan ada di pembaca laporan.
Yohanes