Shrunken

Ada beberapa kebingungan di kepala saya tentang dua jenis penduga nilai populasi dari koefisien korelasi Pearson.

A. Fisher (1915) menunjukkan bahwa untuk populasi normal bivariat, empiris $r$ adalah penaksir bias negatif dari $\rho$ , meskipun bias bisa dibilang cukup besar hanya untuk ukuran sampel kecil ( $n<30$ ). Sampel $r$ meremehkan $\rho$ dalam arti bahwa ia lebih dekat ke $0$ daripada $\rho$ . (Kecuali ketika yang terakhir adalah $0$ atau $\pm 1$ , untuk kemudian $r$ adalah berisi.) Beberapa hampir estimator berisi dari $\rho$ telah diusulkan, yang terbaik mungkin menjadi Olkin dan Pratt (1958) mengoreksi $r$:

B. Dikatakan bahwa dalam regresi diamati melebih-lebihkan populasi yang sesuai R-square. Atau, dengan regresi sederhana, itu adalah bahwa r 2 overestimates ρ 2 . Berdasarkan fakta itu, saya telah melihat banyak teks yang mengatakan bahwa r adalah bias positif relatif terhadap ρ , yang berarti nilai absolut: r lebih jauh dari 0 daripada ρ (apakah pernyataan itu benar?). Teks mengatakan itu adalah masalah yang sama dengan estimasi berlebihan dari parameter standar deviasi dengan nilai sampelnya. Ada banyak formula untuk "menyesuaikan" mengamati R $R^2$$r^2$$\rho^2$$r$$\rho$$r$$0$$\rho$$R^2$lebih dekat ke parameter populasinya, adj Wherry (1931) menjadi yang paling terkenal (tapi bukan yang terbaik). Akar tersebut disesuaikan r 2 adj disebut menyusut r :$R_\text{adj}^2$$r_\text{adj}^2$ $r$

Hadir adalah dua penduga yang berbeda dari . Sangat berbeda: yang pertama mengembang r , yang kedua mengempiskan r . Bagaimana cara mendamaikan mereka? Di mana menggunakan / melaporkan satu dan di mana - yang lainnya?$\rho$$r$$r$

Secara khusus, dapatkah benar bahwa penaksir "menyusut" juga (hampir) tidak bias, seperti yang "tidak bias", tetapi hanya dalam konteks yang berbeda - dalam konteks regresi yang asimetris. Sebab, dalam regresi OLS kami menganggap nilai-nilai satu sisi (prediktor) sebagai tetap, hadir tanpa kesalahan acak dari sampel ke sampel? (Dan untuk menambahkan di sini, regresi tidak perlu normalitas bivariat .)

Mengenai bias dalam korelasi: Ketika ukuran sampel cukup kecil untuk bias memiliki signifikansi praktis (misalnya, n <30 yang Anda sarankan), maka bias cenderung menjadi yang paling sedikit dari kekhawatiran Anda, karena ketidaktepatan mengerikan.

Mengenai bias R ² dalam regresi berganda, ada banyak penyesuaian berbeda yang berkaitan dengan estimasi populasi yang tidak bias vs estimasi yang tidak bias dalam sampel independen dengan ukuran yang sama. Lihat Yin, P. & Fan, X. (2001). Memperkirakan penyusutan R ² dalam regresi berganda: Perbandingan metode analitik. Jurnal Pendidikan Eksperimental, 69, 203-224.

Metode regresi modern juga membahas penyusutan koefisien regresi serta R ² sebagai konsekuensi - misalnya, jaring elastis dengan validasi silang k- lipat, lihat http://web.stanford.edu/~hastie/Papers/ elasticnet.pdf .

Saya pikir jawabannya adalah dalam konteks regresi sederhana dan regresi berganda. Dalam regresi sederhana dengan satu IV dan satu DV, R sq tidak bias positif, dan pada kenyataannya mungkin bias negatif mengingat r bias negatif. Tetapi dalam regresi berganda dengan beberapa IV yang mungkin berkorelasi sendiri, R sq mungkin bias positif karena setiap "penindasan" yang mungkin terjadi. Jadi, pendapat saya adalah bahwa mengamati R2 melebih-lebihkan populasi yang sesuai R-square, tetapi hanya dalam regresi berganda