Apa artinya linear dalam regresi linier?

Dalam R, jika saya menulis

lm(a ~ b + c + b*c) 

apakah ini masih merupakan regresi linier?

Bagaimana melakukan regresi jenis lain dalam R? Saya sangat menghargai rekomendasi untuk buku teks atau tutorial?

Linear mengacu pada hubungan antara parameter yang Anda (misalnya, ) dan hasilnya (misalnya, ). Karenanya, linier, tetapi tidak. Model linier berarti bahwa estimasi Anda terhadap vektor parameter Anda dapat ditulis , di mana adalah bobot yang ditentukan oleh prosedur estimasi Anda. Model linear dapat diselesaikan secara aljabar dalam bentuk tertutup, sementara banyak model non-linear perlu diselesaikan dengan maksimalisasi numerik menggunakan komputer.y i y = e x β + ε y = e β x + ε β = Σ i w i y i { w i$\beta$$y_i$$y=e^x\beta+\epsilon$$y=e^\beta x + \epsilon$$\hat{\beta} = \sum_i{w_iy_i}$$\{w_i\}$

Posting ini di minitab.com memberikan penjelasan yang sangat jelas:

• Sebuah model linear ketika dapat ditulis dalam format ini:
  • Response = constant + parameter * predictor + ... + parameter * predictor
    • Yaitu, ketika setiap istilah (dalam model) adalah konstanta atau produk dari parameter dan variabel prediktor.
  • Jadi keduanya adalah model linier:
    • $Y = B_0 + B_1X_1$ (Ini adalah garis lurus)
    • $Y = B_0 + B_1X_1^2$ (Ini adalah kurva)
• Jika model tidak dapat diekspresikan menggunakan format di atas, itu adalah non-linear.
  • Contoh model non-linear:
    • X B 1$Y = B_0 +$$X_1^{B_1}$
    • $Y = B_0 \centerdot \cos (B_1 \centerdot X_1)$

Saya akan berhati-hati dalam menanyakan ini sebagai pertanyaan "R linear regression" versus pertanyaan "linear regression". Rumus dalam R memiliki aturan yang mungkin Anda sadari atau tidak. Sebagai contoh:

http://wiener.math.csi.cuny.edu/st/stRmanual/ModelFormula.html

Dengan asumsi Anda bertanya apakah persamaan berikut ini linier:

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * (b*c))

Jawabannya adalah ya, jika Anda mengumpulkan variabel independen baru seperti:

newv = b * c

Mengganti persamaan newv di atas ke dalam persamaan asli mungkin terlihat seperti apa yang Anda harapkan dari persamaan linear:

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * newv)

Sejauh referensi, Google "regresi", atau apa pun yang Anda pikir mungkin bekerja untuk Anda.

Anda dapat menuliskan regresi linier sebagai persamaan matriks (linear).

$\left[ \matrix{a_1 \\a_2 \\a_3 \\a_4 \\a_5 \\ ... \\ a_n} \right] = \left[ \matrix{b_1 & c_1 & b_1*c_1 \\ b_2 & c_2 & b_2*c_2 \\b_3 & c_3 & b_3*c_3 \\b_4 & c_4 & b_4*c_4 \\b_5 & c_5 & b_5*c_5 \\ &...& \\ b_n & c_n & b_n*c_n } \right] \times \left[\matrix{\alpha_b & \alpha_c & \alpha_{b*c}} \right] + \left[ \matrix{\epsilon_1 \\\epsilon_2 \\\epsilon_3 \\\epsilon_4 \\\epsilon_5 \\ ... \\ \epsilon_n} \right]$

atau jika Anda menciutkan ini:

$\mathbf{a} = \alpha_b \mathbf{b} + \alpha_c \mathbf{c} + \alpha_{b*c} \mathbf{b*c} + \mathbf{\epsilon}$

Regresi linier ini setara dengan menemukan kombinasi linier vektor , dan yang paling dekat dengan vektor .$\mathbf{b}$$\mathbf{c}$$\mathbf{b*c}$$\mathbf{a}$

(Ini juga memiliki interpretasi geometris sebagai menemukan proyeksi pada rentang vektor , dan . Untuk masalah dengan dua vektor kolom dengan tiga pengukuran ini masih dapat digambar sebagai angka misalnya seperti yang ditunjukkan di sini: http://www.math.brown.edu/~banchoff/gc/linalg/linalg.html )$\mathbf{a}$$\mathbf{b}$$\mathbf{c}$$\mathbf{b*c}$

Memahami konsep ini juga penting dalam regresi non-linear. Misalnya, lebih mudah untuk menyelesaikan daripada karena parameterisasi pertama memungkinkan untuk memecahkan dan koefisien dengan teknik untuk regresi linear. y = u ( e c ( t - v ) + e d ( t - v ) ) a $y=a e^{ct} + b e^{dt}$$y=u(e^{c(t-v)}+e^{d(t-v)})$$a$$b$