Aturan praktis untuk ukuran sampel minimum untuk regresi berganda

Dalam konteks proposal penelitian dalam ilmu sosial, saya ditanya pertanyaan berikut:

Saya selalu pergi dengan 100 + m (di mana m adalah jumlah prediktor) ketika menentukan ukuran sampel minimum untuk regresi berganda. Apakah ini tepat?

Saya sering mendapat pertanyaan serupa, seringkali dengan aturan praktis yang berbeda. Saya juga membaca aturan praktis seperti itu cukup banyak di berbagai buku pelajaran. Saya kadang bertanya-tanya apakah popularitas aturan dalam hal kutipan didasarkan pada seberapa rendah standar yang ditetapkan. Namun, saya juga menyadari nilai heuristik yang baik dalam menyederhanakan pengambilan keputusan.

Pertanyaan:

• Apa kegunaan aturan sederhana untuk ukuran sampel minimum dalam konteks peneliti terapan yang merancang studi penelitian?
• Apakah Anda menyarankan aturan praktis alternatif untuk ukuran sampel minimum untuk regresi berganda?
• Atau, strategi alternatif apa yang akan Anda sarankan untuk menentukan ukuran sampel minimum untuk regresi berganda? Secara khusus, akan lebih baik jika nilai diberikan ke tingkat di mana strategi apa pun dapat segera diterapkan oleh non-ahli statistik.

Saya bukan penggemar formula sederhana untuk menghasilkan ukuran sampel minimum. Paling tidak, formula apa pun harus mempertimbangkan ukuran efek dan pertanyaan yang menarik. Dan perbedaan antara kedua sisi cut-off minimal.

Ukuran sampel sebagai masalah pengoptimalan

• Sampel yang lebih besar lebih baik.
• Ukuran sampel sering ditentukan oleh pertimbangan pragmatis.
• Ukuran sampel harus dilihat sebagai salah satu pertimbangan dalam masalah optimisasi di mana biaya dalam waktu, uang, usaha, dan sebagainya untuk mendapatkan peserta tambahan ditimbang dengan manfaat memiliki peserta tambahan.

Aturan Jempol yang Kasar

Dalam hal aturan praktis yang sangat kasar dalam konteks khas studi psikologis observasional yang melibatkan hal-hal seperti tes kemampuan, skala sikap, ukuran kepribadian, dan sebagainya, kadang-kadang saya memikirkan:

• n = 100 memadai
• n = 200 sebagai baik
• n = 400 + lebih bagus

Aturan praktis ini didasarkan pada interval kepercayaan 95% yang terkait dengan korelasi pada tingkat masing-masing dan tingkat presisi yang saya ingin secara teoritis memahami hubungan yang menarik. Namun, itu hanya heuristik.

G Power 3

• Saya biasanya menggunakan G-Power 3 untuk menghitung daya berdasarkan berbagai asumsi, lihat posting saya .
• Lihat tutorial ini dari situs G Power 3 khusus untuk regresi berganda
• The Kekuatan Primer juga merupakan alat yang berguna bagi para peneliti diterapkan.

Regresi Berganda menguji berbagai hipotesis

• Setiap pertanyaan analisis daya memerlukan pertimbangan ukuran efek.

• Analisis daya untuk regresi berganda dibuat lebih rumit oleh fakta bahwa ada beberapa efek termasuk r-kuadrat keseluruhan dan satu untuk setiap koefisien individu. Selain itu, sebagian besar penelitian mencakup lebih dari satu regresi berganda. Bagi saya, ini adalah alasan lebih lanjut untuk lebih mengandalkan heuristik umum, dan memikirkan ukuran efek minimal yang ingin Anda deteksi.

• Sehubungan dengan regresi berganda, saya akan sering berpikir lebih dalam hal tingkat presisi dalam memperkirakan matriks korelasi yang mendasarinya.

Akurasi dalam Estimasi Parameter

Saya juga suka diskusi Ken Kelley dan kolega tentang Akurasi dalam Estimasi Parameter.

• Lihat situs web Ken Kelley untuk publikasi
• Seperti yang disebutkan oleh @Dmitrij, Kelley dan Maxwell (2003) PDF GRATIS memiliki artikel yang bermanfaat.
• Ken Kelley mengembangkan MBESSpaket dalam R untuk melakukan analisis terkait ukuran sampel dengan presisi dalam estimasi parameter.

$n$$R^2$$R^2$$R_{adj}^{2}$$R^2$$1 - (1 - R^{2})\frac{n-1}{n-p-1}$$R^2$

$p$$n-1$$R_{adj}^{2}$$k$$R^2$$k$

require(Hmisc)
dop <- function(k, type) {
  z <- list()
  R2 <- seq(.01, .99, by=.01)
  for(a in k) z[[as.character(a)]] <-
    list(R2=R2, pfact=if(type=='relative') ((1/R2) - a) / (1 - a) else
         (1 - R2 + a) /  a)
  labcurve(z, pl=TRUE, ylim=c(0,100), adj=0, offset=3,
           xlab=expression(R^2), ylab=expression(paste('Multiple of ',p)))
}
par(mfrow=c(1,2))
dop(c(.9, .95, .975), 'relative')
dop(c(.075, .05, .04, .025, .02, .01), 'absolute')

$R^{2}$$R^{2}$$R^{2}_{adj}$

Jika ada yang melihat ini sudah dicetak, beri tahu saya.

(+1) untuk pertanyaan yang menurut saya krusial.

$4\cdot m$$4$

Sebagian besar ukuran sampel terkait dengan kekuatan tes untuk hipotesis yang akan Anda uji setelah Anda cocok dengan model regresi berganda.

Ada kalkulator bagus yang bisa berguna untuk model regresi berganda dan beberapa rumus di balik layar. Saya pikir kalkulator seperti itu dapat dengan mudah diterapkan oleh non-ahli statistik.

Mungkin artikel K.Kelley dan SEMaxwell mungkin berguna untuk menjawab pertanyaan-pertanyaan lain, tetapi saya perlu lebih banyak waktu pertama untuk mempelajari masalahnya.

$m$$m=500$$500$$600$

$m$$m+1$$n-m-1$$m+1$$n$$O\left(\frac{m+1}{n}\right)$$n=k(m+1)$$k$$O\left(\frac{1}{k}\right)$$k$$k$$10-20$$30\equiv\infty$$1,2,\dots,26,27,28,29,\infty$

Dalam Psikologi:

$N > 50 + 8m$$N > 104 + m$

Aturan lain yang bisa digunakan adalah ...

$50$

$10$$30$

Saya setuju bahwa kalkulator daya berguna, terutama untuk melihat pengaruh berbagai faktor terhadap daya. Dalam hal itu, kalkulator yang memasukkan lebih banyak informasi input jauh lebih baik. Untuk regresi linier, saya suka kalkulator regresi di sini yang mencakup faktor-faktor seperti kesalahan dalam Xs, korelasi antara Xs, dan banyak lagi.

$R^2$

( pdf )

Tentu saja, seperti juga diakui oleh makalah, (relatif) tidak memihak tidak berarti memiliki kekuatan statistik yang cukup. Namun, perhitungan daya dan ukuran sampel biasanya dilakukan dengan menentukan efek yang diharapkan; dalam kasus regresi berganda, ini menyiratkan hipotesis tentang nilai koefisien regresi atau pada matriks korelasi antara regressor dan hasilnya harus dibuat. Dalam praktiknya, itu tergantung pada kekuatan korelasi para regressor dengan hasil dan di antara mereka (jelas, semakin kuat semakin baik untuk korelasi dengan hasilnya, sementara keadaan menjadi lebih buruk dengan multikolinieritas). Sebagai contoh, dalam kasus ekstrim dari dua variabel collinear sempurna, Anda tidak dapat melakukan regresi terlepas dari jumlah pengamatan, dan bahkan dengan hanya 2 kovariat.