Saya membaca tautan berikut tentang regresi non linear SAS Non Linear . Pemahaman saya dari membaca bagian pertama "Regresi Nonlinear vs Regresi Linier" adalah bahwa persamaan di bawah ini sebenarnya adalah regresi linier, apakah itu benar? Jika demikian mengapa?
Apakah saya juga memahami bahwa dalam multikolinearitas regresi nonlinier bukan merupakan masalah? Saya tahu bahwa multikolinieritas dapat menjadi masalah dalam regresi linier jadi tentu saja jika model di atas sebenarnya adalah regresi linier akan ada multikolinieritas?
Jawaban:
Ada (setidaknya) tiga pengertian di mana regresi dapat dianggap "linier." Untuk membedakannya, mari kita mulai dengan model regresi yang sangat umum
Agar diskusi tetap sederhana, gunakan variabel independen untuk diperbaiki dan diukur secara akurat (bukan variabel acak). Mereka memodelkan pengamatan dari atribut masing-masing, sehingga menimbulkan -vector tanggapan . Secara konvensional, direpresentasikan sebagai matriks dan sebagai kolom vektor. The (terbatas vektor) terdiri dari parameter . adalah variabel acak bernilai vektor. Biasanya memilikin p n Y X n × p Y n q θ ε n f n Y θ εX n hal n Y X n×p Y n q θ ε n komponen, tetapi kadang-kadang memiliki lebih sedikit. Fungsi bernilai vektor (dengan komponen yang cocok dengan ) dan biasanya diasumsikan kontinu dalam dua argumen terakhirnya ( dan ).f n Y θ ε
Contoh pola dasar , dari pemasangan garis ke data, adalah kasus di mana adalah vektor angka - nilai-x; adalah vektor paralel angka ; memberikan intersepsi dan slope ; dan adalah vektor "kesalahan acak" yang komponen-komponennya independen (dan biasanya diasumsikan memiliki distribusi yang sama tetapi tidak diketahui rata-rata nol). Dalam notasi sebelumnya,X ( x i ,(x,y) X Y n ( y i ) θ = ( α , β ) α β ε = ( ε 1 , ε 2 , … , ε n )(xi,i=1,2,…,n) Y n (yi) θ=(α,β) α β ε=(ε1,ε2,…,εn)
dengan .θ=(α,β)
Fungsi regresi dapat linier dalam salah satu (atau semua) dari tiga argumennya:
"Regresi linier, atau" model linear, "biasanya berarti bahwa adalah linier sebagai fungsi dari parameter . Arti SAS dari" regresi nonlinear " adalah dalam pengertian ini, dengan asumsi tambahan bahwa dapat dibedakan dalam kedua argumen (parameter). Asumsi ini memudahkan untuk menemukan solusi.θ ff θ f
A "linear hubungan antara dan " berarti adalah linier sebagai fungsi dari .Y f XX Y f X
Model memiliki kesalahan aditif ketika linier di . Dalam kasus seperti itu selalu diasumsikan bahwa . (Kalau tidak, tidak akan benar untuk menganggap sebagai "kesalahan" atau "penyimpangan" dari nilai "benar".)ε E ( ε ) = 0 εf ε E(ε)=0 ε
Setiap kombinasi yang mungkin dari karakteristik ini dapat terjadi dan bermanfaat. Mari kita survei kemungkinannya.
Model linier dari hubungan linier dengan kesalahan aditif. Ini adalah regresi biasa (berganda), sudah dipamerkan di atas dan lebih umum ditulis sebagai
θ hlmX telah ditambah, jika perlu, dengan berdampingan dengan kolom konstanta, dan adalah vektor- .θ p
Model linier dari hubungan nonlinear dengan kesalahan aditif. Ini dapat ditulis sebagai regresi berganda dengan menambah kolom dengan fungsi nonlinear dari itu sendiri. Contohnya,XX X
adalah dari bentuk ini. Itu linear dalam ; itu memiliki kesalahan aditif; dan itu adalah linear dalam nilai-nilai meskipun adalah fungsi nonlinear dari .( 1 , x 2 i ) x 2 i x iθ=(α,β) (1,x2i) x2i xi
Model linier dari hubungan linier dengan kesalahan yang tidak ditambahkan. Contohnya adalah kesalahan multiplikasi,
(Dalam kasus seperti itu dapat diartikan sebagai "kesalahan multiplikasi" ketika lokasi adalah Namun, pengertian lokasi yang tepat tidak harus sesuai dengan harapan lagi: mungkin saja median atau rata-rata geometrik, misalnya. Komentar serupa tentang asumsi lokasi berlaku, mutatis mutandis , dalam semua konteks non-aditif-kesalahan lainnya juga.)ε i 1 E ( ε i )εi εi 1 E(εi)
Model linear hubungan nonlinear dengan kesalahan yang tidak ditambahkan. misalnya ,
Model nonlinear dari hubungan linier dengan kesalahan aditif. Model nonlinier melibatkan kombinasi parameternya yang tidak hanya nonlinier, mereka bahkan tidak dapat dilinearisasi dengan menyatakan kembali parameter.
Sebagai contoh, pertimbangkan
menunjukkannya sebagai model linier (dari hubungan linier dengan kesalahan aditif).
Sebagai contoh, pertimbangkan
Model nonlinear dari hubungan nonlinear dengan kesalahan aditif.
Model nonlinear dari hubungan linier dengan kesalahan yang tidak ditambahkan.
Model nonlinear dari hubungan nonlinear dengan kesalahan yang tidak ditambahkan.
Meskipun ini menunjukkan delapan bentuk regresi yang berbeda, mereka tidak membentuk sistem klasifikasi karena beberapa bentuk dapat dikonversi menjadi yang lain. Contoh standar adalah konversi model linear dengan kesalahan yang tidak ditambahkan (diasumsikan memiliki dukungan positif)
Kolinearitas
Dari sudut pandang ini, harus jelas bahwa kolinearitas merupakan masalah potensial untuk model linier hubungan nonlinear (terlepas dari aditivitas kesalahan) dan bahwa konsep kolinearitas umum ini berpotensi menjadi masalah dalam setiap model regresi. Ketika Anda memiliki variabel berlebihan, Anda akan mengalami masalah mengidentifikasi beberapa parameter.
sumber
Anda harus mulai sekarang dengan membuat perbedaan antara kenyataan dan model yang Anda gunakan untuk menggambarkannya
Persamaan yang baru saja Anda sebutkan adalah persamaan polinomial (x ^ power) yaitu. non-linear ... tetapi Anda masih dapat memodelkannya menggunakan model linier umum (menggunakan fungsi tautan) atau regresi polinomail karena parameternya linear (b1, b2, b3, c)
harapan yang membantu, sebenarnya agak samar: kenyataan / model
sumber
Suatu model adalah linier jika parameternya linier atau dapat diubah menjadi parameter linier (dapat linierisasi). Model linear dapat memodelkan hubungan linear atau non-linear. Mari kita bahas masing-masingnya.
Model adalah parameter linier jika dapat ditulis sebagai jumlah suku, di mana setiap suku adalah konstanta atau parameter yang mengalikan prediktor (X i ):
Perhatikan bahwa definisi ini sangat sempit. Hanya model yang memenuhi definisi ini yang linier. Setiap model lainnya, adalah non-linear.
Ada dua jenis model linier yang bingung untuk model non-linear:
1. Model linear dari hubungan non-linear
Sebagai contoh, model bawah model hubungan non-linear (karena turunan dari Y terhadap X 1 adalah fungsi dari X 1 ). Dengan membuat variabel baru W 1 = X 1 2 , dan menulis ulang persamaan dengan W 1 menggantikan X 1 2 , kita memiliki persamaan yang memenuhi definisi model linear.
2. Model yang tidak langsung linier tetapi bisa menjadi linier setelah transformasi (linierisasi). Di bawah ini adalah 2 contoh model linearizable:
Contoh 1:
Model ini mungkin tampak non-linier karena tidak memenuhi definisi model yang linier dalam parameter, namun dapat ditransformasikan menjadi model linier sehingga dapat linierisasi / transformable linear, dan karenanya dianggap linier model. Transformasi berikut akan membuat garis itu. Mulailah dengan mengambil logaritma natural dari kedua belah pihak untuk mendapatkan:
lalu buat penggantian berikut:
untuk mendapatkan model linier di bawah ini:
Contoh 2:
Model ini mungkin tampak non-linier karena tidak memenuhi definisi model yang linier dalam parameter, namun dapat ditransformasikan menjadi model linier sehingga dapat linierisasi / transformable linear, dan karenanya dianggap linier model. Transformasi berikut akan membuat garis itu. Mulailah dengan mengambil kebalikan dari kedua belah pihak untuk mendapatkan:
lalu buat penggantian berikut:
untuk mendapatkan model linier di bawah ini:
Model apa pun yang tidak linier (bahkan melalui linearisasi) adalah non-linear. Pikirkan seperti ini: Jika suatu model tidak memenuhi definisi model linier maka itu adalah model non-linier, kecuali jika dapat dibuktikan dapat linierisasi, pada titik mana ia mendapatkan hak untuk disebut model linier.
Jawaban Whuber di atas dan juga jawaban Glen_b di tautan ini akan menambah warna pada jawaban saya. Model linier nonlinear vs. umum: Bagaimana Anda merujuk pada regresi logistik, Poisson, dll.?
sumber