Regresi bertahap dalam R - nilai p kritis

Apa nilai p kritis yang digunakan oleh step()fungsi dalam R untuk regresi bertahap? Saya berasumsi 0,15, tetapi apakah asumsi saya benar? Bagaimana saya bisa mengubah nilai p kritis?

r regression p-value stepwise-regression Jason Samuels
sumber

Fungsi 'langkah' R adalah berbasis AIC.

Michael M

Yang terbaik adalah tidak menggunakan rutinitas pemilihan model bertahap sama sekali. Untuk memahami alasannya, ada baiknya Anda membaca jawaban saya di sini: Algoritma untuk pemilihan model otomatis .

gung - Pasang kembali Monica

Lebih lanjut ke komentar @ MichaelMayer: Descriptionbagian dari halaman bantuan untuk ?stepmengatakan, secara keseluruhan: Pilih model berbasis formula oleh AIC.

Stephan Kolassa

Jawaban:

Seperti yang saya jelaskan di komentar saya pada pertanyaan Anda yang lain, stepgunakan AIC daripada nilai-p.

Namun, untuk variabel tunggal pada suatu waktu, AIC tidak sesuai dengan menggunakan nilai-p 0,15 (atau lebih tepatnya, 0,1573):

$\cal{M}_0$ $\cal{M}_1$ $\text{AIC}_0$ $\text{AIC}_1$

$\text{AIC}_1<\text{AIC}_0$ $-2\log\cal{L_0}-(-2\log\cal{L_1})>2$

$\alpha$ $\chi^2_1$ $-2\log\cal{L_0}-(-2\log\cal{L_1})>C_\alpha$

$2$ $\chi^2_1$ $1-0.843=0.157$ $15.7\%$

Jadi bagaimana Anda memodifikasinya?

Mudah. Ubah kparameter stepdari 2 menjadi yang lain. Anda ingin 10%? Jadikan 2.7:

qchisq(0.10,1,lower.tail=FALSE)
[1] 2.705543

Anda ingin 2,5%? Setel k=5:

qchisq(0.025,1,lower.tail=FALSE)
[1] 5.023886

dan seterusnya.

Namun, meskipun itu memecahkan pertanyaan Anda, saya menyarankan Anda untuk memperhatikan dengan seksama jawaban Frank Harrell pada pertanyaan Anda yang lain, dan untuk mencari tanggapan dari banyak ahli statistik tentang pertanyaan lain yang berkaitan dengan regresi bertahap di sini, yang sarannya cenderung sangat secara konsisten untuk menghindari prosedur bertahap pada umumnya.

Glen_b -Reinstate Monica
sumber

Penjelasan yang bagus. Apakah Anda tahu apakah ini kira-kira berlaku untuk nilai-p dari uji-t regresi biasa?

Ben Ogorek

α = 0.05

$\alpha=0.05$

(Ctd) ... banyak masalah serius dengan bertahap. Lainnya termasuk perkiraan bias dan kesalahan standar yang terlalu kecil.

Glen_b -Reinstate Monica

Untuk sementara mengesampingkan masalah dengan pemilihan model bertahap, saya tertarik untuk menyamaratakan AIC yang lebih kecil => .1573 aturan nilai p. Nilai-L Rasio Kemungkinan yang Anda gambarkan baik-baik saja, tetapi dalam rutinitas seperti Rm, estimasi / std.err sedang dibandingkan dengan distribusi-t. Ini adalah tes yang berbeda, dan saya ingin tahu apakah hasil .1573 Anda mungkin bertahan sekitar.

Ben Ogorek

t

$t$

k

$k$

Seperti dikatakan di atas, stepfungsi dalam R didasarkan pada kriteria AIC. Tapi saya kira dengan p-value yang Anda maksud alpha untuk masuk dan alpha untuk pergi. Yang dapat Anda lakukan adalah menggunakan fungsi yang stepwiseditulis oleh Paul Rubin dan tersedia di sini . Seperti yang Anda lihat, Anda memiliki argumen alpha.to.enter dan alpha.to.leave yang dapat Anda ubah. Perhatikan bahwa fungsi ini menggunakan uji-F atau uji-setara untuk memilih model. Selain itu, ia dapat menangani tidak hanya regresi bertahap tetapi juga seleksi maju dan eliminasi mundur juga jika Anda mendefinisikan argumen dengan benar.

Stat
sumber