Bagaimana vektor variabel mewakili hyperplane?

12

Saya membaca Elemen Pembelajaran Statistik dan pada halaman 12 (bagian 2.3) model linier dinotasikan sebagai:

Y^=XTβ^

... di mana adalah transpos dari vektor kolom prediktor / variabel / input independen. (Ini menyatakan sebelumnya "semua vektor diasumsikan vektor kolom" sehingga tidak akan membuat ini X T vektor baris dan ß vektor kolom?)XTXTβ^

Termasuk dalam adalah " 1 " yang akan dikalikan dengan koefisien terkait yang memberikan intersep (konstan).X1

Selanjutnya dikatakan:

Dalam berdimensi ruang input-output, ( X , Y ) merupakan hyperplane. Jika konstanta termasuk dalam X , maka hyperplane menyertakan asal dan merupakan subruang; jika tidak, itu adalah set affine memotong Y- sumbu pada titik ( 0 , ^ β 0 ) .(p+1)(X, Y^)XY(0, β0^)

Apakah " " menggambarkan vektor dibentuk oleh gabungan dari prediksi, yang mencegat itu " 1 " dan Y ? Dan mengapa memasukkan " 1 " di X memaksa hyperplane untuk melewati titik asal, tentunya bahwa " 1 " harus dikalikan dengan ^ β 0 ?(X, Y^)1Y^1X1β0^

Saya gagal memahami buku itu; bantuan / saran / tautan ke sumber daya akan sangat dihargai.

Scott
sumber
4
Mungkin membantu untuk mempertimbangkan terlebih dahulu. Dalam hal ini, y = β 0 + x β , dengan β 0 mencegat. Ini adalah persamaan garis yang melewati ( 0 , β 0 ) . Ekstensi ke dimensi yang lebih tinggi bersifat langsung. p=1y^=β^0+xβ^β0(0,β^0)
ocram
Jika bantuan @ocram tidak cukup, coba tuliskan vektornya dan lakukan penggandaannya.
Peter Flom - Reinstate Monica
2
Berikut ini adalah presentasi grafis yang bagus: blog.stata.com/2011/03/03/… . Notasi berbeda, A ada X dan x adalah β . β^
Dimitriy V. Masterov
2
Buku itu salah, atau setidaknya tidak konsisten. Jelas ada variabel tidak termasuk konstanta. Dengan demikian set { ( X , Y ) | X R p } memang adalah hyperplane, tetapi tidak benar untuk mengatakan bahwa konstanta "termasuk dalam X. " Sebaliknya saya kira buku bermaksud mengatakan konstan yang dimasukkan dalam regresi tetapi masih tidak harus dianggap sebagai bagian dari X . Oleh karena itu model benar-benar harus ditulis Y = β 0 +p{(X,Y^)|XRp}XX β mana β = ( β 1 , β 2 , ... , β p ) ' . Pengaturan X = 0 segera memberikan penegasan tentang intersep. Y^=β^0+Xβ^β=(β1,β2,,βp)X=0
whuber
1
(Jika kita bukan termasuk konstan dalam , maka kita tidak bisa membiarkan X dengan bebas bervariasi dari semua R p : itu dibatasi untuk kebohongan dalam p - 1 ruang bagian berdimensi Grafik. { ( X , Y ) } kemudian memiliki codimension setidaknya 2 dan bukan sebenarnya "pesawat XXRpp1{(X,Y^)}2
terbang

Jawaban:

4

NK

XN×KxiTK×1βYN×1Yn

YXXN×KXYYX

YXKXK+1

X1β1β1Yx1iK+1Kβ1K

yi=β1x1i+β2x2i+ui
Y=Xβ+uXN×2

<Y,X>

x11

yi=β1i+β2x2i+ui
X, Y<Y,X>β1x2i=0

<0,β1><0,0>β

(XX)β=Xy(XX)βXy=0X(yXβ)=0.
XyXβ=0

( Sunting: Saya baru menyadari bahwa untuk pertanyaan kedua Anda, ini persis kebalikan dari Anda yang telah menulis penyertaan ulang pemasukan atau pengecualian konstanta. Namun, saya telah menemukan solusi di sini dan saya berdiri dikoreksi jika saya salah tentang yang itu. )

Saya tahu representasi matriks dari suatu regresi bisa sangat membingungkan pada awalnya, tetapi pada akhirnya itu menyederhanakan banyak ketika menurunkan aljabar yang lebih kompleks. Semoga ini bisa membantu sedikit.

Majte
sumber
1

Saya pikir cara untuk memikirkannya adalah mengatur ulang persamaan itu:

Y^XTβ^=0

Y^
DWIN
sumber