Memahami proyeksi linear dalam "Elemen Pembelajaran Statistik"

Dalam buku "Elemen-elemen Pembelajaran Statistik" pada bab 2 ("model linear dan kuadrat terkecil; halaman no: 12"), tertulis bahwa

Dalam (p + 1) ruang input-output dimensi, (X, Y) mewakili hyperplane. Jika konstanta termasuk dalam X, maka hyperplane menyertakan asal dan merupakan subruang; jika tidak, itu adalah set affine yang memotong sumbu Y pada titik (0, ).$\beta$

Saya tidak mendapatkan kalimat "jika konstanta adalah ... (0, )". Tolong bantu? Saya pikir hyperplane akan memotong sumbu Y di (0, ) dalam kedua kasus, apakah itu benar?$\beta$$\beta$

Jawaban di bawah agak membantu, tetapi saya mencari jawaban yang lebih spesifik. Saya mengerti bahwa ketika dimasukkan dalam , itu tidak akan berisi asal, tapi kemudian bagaimana akan mengandung asal? Tidakkah seharusnya itu tergantung pada nilai ? Jika intersep bukan , tidak boleh berisi asal, dalam pemahaman saya?$1$$X$$(X,Y)$$\beta$$\beta_0$$0$$(X,Y)$

Memasukkan konstanta 1dalam vektor input adalah trik umum untuk memasukkan bias (pikirkan tentang penyadapan-Y) tetapi menjaga semua istilah ekspresi simetris: Anda dapat menulis alih-alih mana-mana.$\beta X$$\beta_0 + \beta X$

Jika Anda melakukan ini, maka benar bahwa hyperplane menyertakan asal, karena asal adalah vektor dari nilai dan mengalikannya untuk memberikan nilai .$Y = \beta X$$0$$\beta$$0$

Namun, vektor input Anda akan selalu memiliki elemen pertama sama dengan ; karena itu mereka tidak akan pernah berisi asal-usulnya, dan akan ditempatkan pada hyperplane yang lebih kecil, yang memiliki satu dimensi lebih sedikit.$1$

Anda dapat memvisualisasikan ini dengan memikirkan garis pada lembar kertas Anda (2 dimensi). Hyperplane yang sesuai jika Anda memasukkan bias vektor Anda menjadi dan koefisien Anda . Dalam 3 dimensi ini adalah bidang yang lewat dari titik asal, yang memotong bidang menghasilkan garis tempat input Anda dapat ditempatkan.$Y=mx+q$$q$$X = [x, x_0=1]$$\beta = [m, q]$$x_0=1$

Untuk membantu Anda memahami ini, saya membuat visualisasi kasus yang sangat sederhana.

Katakanlah kita memiliki masalah satu dimensi (p = 1) sehingga satu fitur (variabel input) $X_1$ untuk memprediksi satu variabel keluaran $Y$. Mari kita bayangkan bahwa kita sudah menemukan penyadapan$\beta_0 = 5$ dan koefisien $\beta_1 = 2$ untuk variabel input kami $X_1$.

Model linier kami akan terlihat seperti: $\hat{Y} = \beta_0 + \beta_1 \times X_1$.

Oleh karena itu representasi yang jelas akan menjadi hyperplane (garis) di (p + 1) -dimensi ruang dalam kasus ini (2d):

Representasi lain adalah menambahkan variabel lain $X_0$ yang akan mengarah pada persamaan berikut: $\hat{Y} = \beta_0 \times X_0 + \beta_1 \times X_1$.

Dalam praktiknya kita tahu itu $X_0$akan menjadi konstan dan sama dengan 1 tetapi mari kita asumsikan itu belum diperbaiki. Dalam hal ini, kita sekarang dapat memplot grafik 3d dengan hyperplane sebagai berikut:

Akhirnya karena kita hanya tahu $X_0 = 1$ mungkin saya disorot dengan garis putus-putus merah satu-satunya proyeksi bekerja dari hyperplane ini yang sesuai persis dengan plot yang kami miliki sebelumnya.