Kemungkinan kisaran

10

Misalkan ada tiga deret waktu, , danX1X2Y

Menjalankan regresi linier biasa pada ~ ( ), kita mendapatkan . Regresi linier biasa ~ mendapatkan . AsumsikanYX1Y=bX1+b0+ϵR2=UYX2R2=VU<V

Berapa nilai minimum dan maksimum yang mungkin dari pada regresi ~ ( )?R2YX1+X2Y=b1X1+b2X2+b0+ϵ

Saya percaya minimum harus + nilai kecil, karena menambahkan variabel baru selalu meningkatkan , tapi saya tidak tahu bagaimana mengukur nilai kecil ini, dan saya tidak tahu cara mendapatkan rentang maksimum .R2VR2

Vendetta
sumber

Jawaban:

9

1) EDIT: komentar Kardinal bawah menunjukkan bahwa jawaban yang benar untuk min pertanyaan adalah . Karenanya saya menghapus jawaban "menarik", tetapi akhirnya salah, pada bagian pos OP. VR2V

2) Maksimum adalah 1. Pertimbangkan contoh berikut, yang sesuai dengan kasus Anda.R2

x1 <- rnorm(100)
x2 <- rnorm(100)
y <- x1 + 2*x2

> summary(lm(y~x1))$r.squared
[1] 0.2378023                 # This is U
> summary(lm(y~x2))$r.squared
[1] 0.7917808                 # This is V; U < V
> summary(lm(y~x1+x2))$r.squared
[1] 1

Di sini kita memperbaiki varians dari di 0. Jika Anda ingin , semuanya berubah sedikit. Anda bisa mendapatkan mendekati angka 1 dengan membuat lebih kecil dan lebih kecil, tetapi, seperti masalah minimum, Anda tidak bisa sampai di sana, jadi tidak ada yang maksimum. 1 menjadi supremum , karena selalu lebih besar dari tetapi juga batas sebagai .σ 2 ϵ > 0 R 2 σ 2 ϵ R 2 σ 2 ϵ0ϵσϵ2>0R2σϵ2R2σϵ20

Jbowman
sumber
2
(+1) Beberapa komentar: Ini adalah jawaban yang bagus; itu menarik bahwa Anda telah mengambil pendekatan asimtotik padahal tidak jelas apakah OP itu tertarik pada itu atau, mungkin, fixed satu (atau keduanya). Jawaban ini sedikit tidak konsisten dengan kendala OP yang U < V , meskipun, dan jika X 1 = 0 atau X 1 = a 1 untuk beberapa sebuah R , misalnya, maka minimal R 2 untuk semua ukuran sampel tetap adalah persis V : = V ( n )nU<VX1=0X1=Sebuah1SebuahRR2V: =V(n). (Maafkan patologi dari contoh-contoh ini.) Selain itu, OLS tidak selalu konsisten, tidak ada kendala tambahan pada prediktor. :)
kardinal
@ cardinal - tentang membaca ulang, saya tidak tahu mengapa saya mengambil pendekatan itu untuk masalah min, ketika sekarang sepertinya jawaban yang jelas benar dan, seperti yang telah Anda amati secara implisit, saya dapat membuat contoh yang mencapainya dalam urat dari bagian maksimal ... oh well, mungkin espresso saya pagi ini tanpa disengaja. (Mungkin saya harus meninjau jawaban saya lebih teliti sebelum memposting, juga!)V
jbowman
Saya tidak berpikir Anda harus menghapus apa yang telah Anda tulis, yang saya lakukan menemukan pendekatan yang menarik untuk menjawab pertanyaan! Sementara patologi yang saya sebutkan tentu memungkinkan untuk minimum , orang mungkin bertanya-tanya apa yang sebenarnya dimaksud dengan X 1 = 0 . Contoh lainnya mungkin tidak cukup sebagai patologis sejak dalam versi umum masalah ini, meluas ke kasus di mana setiap tambahan X i adalah di ruang kolom dari prediktor lainnya. :)R2X1=0Xsaya
kardinal
1
@ cardinal - terima kasih! Saya akan merekonstruksinya, mungkin sedikit lebih formal, dan meletakkannya kembali di bawah sebentar.
jbowman
5

Biarkan sama dengan korelasi antara X 1 dan X 2 , r 1 , Y sama dengan korelasi antara X 1 dan Y , dan r 2 , Y korelasi antara X 2 dan Y . Kemudian R 2 untuk model lengkap dibagi dengan V sama denganr1,2X1X2r1,YX1Yr2,YX2YR2V

(1(1-r1,22))(1-2r1,2r1,Yr2,Y+UV).

Jadi untuk model penuh sama dengan V hanya jika r 1 , 2 = 0 dan r 2 1 , Y = U = 0 atauR2Vr1,2=0r1,Y2=U=0

r1,22=2r1,2r1,Yr2,Y-UV.

Jika , R 2 untuk model penuh sama U + V .r1,2=0R2U+V

Margot
sumber
(+1) Lucu. Selamat datang di situs ini. Harap pertimbangkan untuk mendaftarkan akun Anda sehingga Anda dapat berpartisipasi lebih penuh. Saya harus melihat ungkapan ini sedikit lebih dekat nanti. :)
kardinal
4

Tanpa kendala pada dan V , maka minimum adalah V , dan kemudian maksimum adalah min yang lebih kecil ( V + U , 1 ) . Hal ini karena dua variabel dapat berkorelasi sempurna (dalam hal menambahkan variabel kedua tidak mengubah R 2 sama sekali) atau mereka bisa menjadi orthogonal dalam hal termasuk kedua hasil di U + V . Benar ditunjukkan dalam komentar bahwa ini juga mengharuskan masing-masing ortogonal ke 1 , vektor kolom 1s.UVVmin(V+U,1)R2U+V1

Anda menambahkan kendala . Namun, masih mungkin bahwa U = 0 . Yaitu, X 1Y , dalam hal ini, min = maks = V + 0 . Akhirnya, adalah mungkin bahwa X 1X 2 sehingga batas atas masih min ( V + U , 1 ) .U<VX1X2U=0X1Ymin=maks=V+0X1X2min(V+U,1)

Jika Anda tahu lebih banyak tentang hubungan antara dan X 2 , saya pikir Anda bisa mengatakan lebih banyak.X1X2

Joshua
sumber
1
(+1) Tetapi, perhatikan bahwa tidak (cukup) benar bahwa jika dan X 2 adalah ortogonal, maka nilai R 2 masing-masing akan dijumlahkan ketika memasukkan keduanya dalam model. Kita juga membutuhkan mereka agar ortogonal dengan vektor semua-yang 1 . Perhatikan bahwa Anda dapat menggunakan LX1X2R21 di situs ini untuk menandai matematika. :)L.SEBUAHTEX
kardinal
Itu benar. Terima kasih banyak atas komentarnya, dan untuk menunjukkan bahwa bisa digunakan. Saya pikir itu mungkin tetapi telah mencoba lolos gaya mathjax (dan [untuk inline / persamaan. Menulis seperti yang saya lakukan di TeX bekerja seperti pesona :)L.SEBUAHTEX
Joshua