Perbedaan antara model linier dan nonlinear

13

Saya telah membaca beberapa penjelasan tentang sifat-sifat model linear vs nonlinear, tetapi masih saya kadang-kadang tidak yakin apakah model di tangan adalah linear atau nonlinear. Sebagai contoh, apakah model berikut ini linear atau nonlinier?

yt=β0+β1B(L;θ)Xt+εt

Dengan:

B(L;θ)=k=1Kb(k;θ)Lk

LkXt=Xtk

Di mana mewakili (a meluruh) Alon fungsi Polinomial Eksponensial dari bentuk:b(k;θ)

b(k;θ)=exp(θ1k+θ2k2)k=1Kexp(θ1k+θ2k2)

Dalam pandangan saya, persamaan utama saya (yang pertama) adalah linier terhadap , karena istilah ini hanya dikalikan dengan bobot. Tapi saya akan mengatakan fungsi pembobotan (persamaan terakhir) adalah nonlinier sehubungan dengan parameter ans .θ 1 θ 2Xtθ1θ2

Dapatkah seseorang menjelaskan kepada saya jika fungsi utama saya adalah linear atau nonlinear dan apa artinya untuk prosedur estimasi - apakah saya harus menerapkan metode kuadrat linear atau nonlinier? Selain itu, apa fitur yang dapat dilihat dengan mana saya dapat mengidentifikasi jika suatu fungsi adalah nonlinear atau linear?

DatamineR
sumber

Jawaban:

16

Dengan definisi linear dan nonlinier yang biasa berkaitan dengan pemodelan, itu bukan linearitas berkenaan dengan prediktor yang merupakan aspek kritis, tetapi linearitas berkenaan dengan parameter. Model nonlinear adalah nonlinear karena tidak linear dalam parameter.

Misalnya, kalimat pertama di sini mengatakan:

Dalam statistik, regresi nonlinier adalah suatu bentuk analisis regresi di mana data pengamatan dimodelkan oleh fungsi yang merupakan kombinasi nonlinier dari parameter model dan tergantung pada satu atau lebih variabel independen.

Sebaliknya, Generalized Linear Models umumnya memiliki hubungan nonlinier antara respons dan prediktor, tetapi respons rerata yang ditransformasikan ( prediktor linier , ) linier dalam parameter.η

[Menurut definisi itu, saya percaya model Anda adalah nonlinier dalam , meskipun jika ditentukan (diketahui) maka nonlinier itu tidak relevan dengan estimasi. Jika mereka dipasang, maka modelnya adalah nonlinier.]θθ

Glen_b -Reinstate Monica
sumber
9

Saya setuju dengan Glen_b. Dalam masalah regresi, fokus utama adalah pada parameter dan bukan pada variabel independen atau prediktor, x. Dan kemudian seseorang dapat memutuskan apakah seseorang ingin linearisasi masalah menggunakan transformasi sederhana atau melanjutkannya.

Masalah linear: hitung jumlah parameter dalam masalah Anda dan periksa apakah semuanya memiliki kekuatan 1. Misalnya, . Fungsi ini nonlinier dalam . Tetapi untuk masalah regresi, nonlinier dalam tidak menjadi masalah. Kita harus memeriksa apakah parameternya linier atau linier. Dalam hal ini, , , , .. semua memiliki kekuatan 1. Jadi, mereka linear.y=ax+bx2+cx3+dx2/3+e/x+fx4/7xxabcf

Perhatikan bahwa, dalam , meskipun a sepertinya memiliki kekuatan 1, tetapi ketika diperluas . Anda dapat dengan jelas melihat bahwa ini adalah parameter nonlinier karena a memiliki kekuatan lebih dari 1. Tetapi, masalah ini dapat linear dengan menerapkan transformasi logaritmik. Artinya, masalah regresi nonlinier dikonversi menjadi masalah regresi linier.y=exp(ax)exp(ax)=1+ax/1!+(ax)2/2!+

Demikian pula, adalah fungsi logistik. Ia memiliki tiga parameter, yaitu , dan . Parameter dan memiliki kekuatan lebih dari 1, dan ketika diperluas mereka mengalikan masing-masing yang lain membawa nonlinier. Jadi, mereka tidak linier. Tetapi, mereka juga dapat linierisasi dengan menggunakan substitusi yang tepat dengan mengatur terlebih dahulu dan kemudian menjalankan fungsi logaritmik pada kedua sisi untuk linierisasi.y=a/(1+bexp(cx)abcbc(a/y)1=Y

Sekarang anggaplah . Sekali lagi ini nonlinier berkenaan dengan parameter. Tapi, itu tidak bisa linear. Orang perlu menggunakan regresi nonlinear.y=a1/(1+b1exp(c1x))+a2/(1+b2exp(c2x))

Pada prinsipnya, menggunakan strategi linier untuk menyelesaikan masalah regresi nonlinier bukanlah ide yang baik. Jadi, atasi masalah linier (ketika semua parameter memiliki kekuatan 1) menggunakan regresi linier dan mengadopsi regresi nonlinear jika parameter Anda nonlinear.

Dalam kasus Anda, gantikan fungsi pembobotan kembali ke fungsi utama. Parameter akan menjadi satu-satunya parameter dengan daya 1. Semua parameter lainnya adalah nonlinear ( akhirnya dikalikan dengan dan (keduanya adalah parameter nonlinear) sehingga juga nonlinear. Oleh karena itu, ini merupakan masalah regresi nonlinear. .β 1 θ 1 θ 2β0β1θ1θ2

Mengadopsi teknik kuadrat terkecil nonlinier untuk menyelesaikannya. Pilih nilai awal secara cerdik dan gunakan pendekatan multistart untuk menemukan minimum global.

Vide ini akan sangat membantu (meskipun tidak berbicara tentang solusi global): http://www.youtube.com/watch?v=3Fd4ukzkxps

Menggunakan GRG nonlinear solver dalam lembar kerja Excel (instal toolpack solver dengan masuk ke opsi - Add-Ins - Add-In Excel dan kemudian pilih Solver Add-In) dan gunakan multistart dalam daftar opsi dengan menentukan interval pada parameter dan menuntut presisi kendala dan konvergensi menjadi kecil, solusi global dapat diperoleh.

Jika Anda menggunakan Matlab, gunakan kotak optimisasi global. Ini memiliki opsi multistart dan pencarian global. Kode tertentu tersedia di sini untuk solusi global, di sini dan di sini .

Jika Anda menggunakan Mathematica, lihat di sini .

Jika Anda menggunakan R, coba di sini .

Bipi
sumber
1
Terima kasih, @Bipi, untuk contohnya! Untuk yang kedua, jika Anda menetapkan Y = (a / y - 1), bagaimana Anda bisa mengisolasi parameter dari variabel y?
Vivek Subramanian
0

Fungsi utamanya adalah linear.

Tidak masalah jika fungsi yang diketahui nonlinear ==> <== muncul dalam persamaan.B(L;θ)

Saya akan melanjutkan dengan linear kuadrat terkecil jika saya jadi kamu.

Inilah cara Anda mengonfirmasi atau menolak linearitas:

https://en.wikipedia.org/wiki/Non-linear#Definition

Anda mungkin juga menyukai:

https://en.wikipedia.org/wiki/Linear_combination

https://en.wikipedia.org/wiki/Least_squares

http://en.m.wikipedia.org/wiki/Linear_least_squares_(mathematics)

Ace Frahm
sumber
0

Ini akan mudah dimengerti, jika saya menjelaskannya dalam konteks fungsi.

Linear: Suatu fungsi yang memiliki kemiringan konstan. Secara aljabar, polinomial dengan eksponen tertinggi sama dengan 1. Ini adalah fungsi yang grafiknya adalah garis. Sebagai contoh,y=2x+3

Non-Linear: Suatu fungsi yang memiliki sifat berlawanan dari fungsi linear. Suatu fungsi yang memiliki kemiringan yang bervariasi. Ini polinomial dengan eksponen sama dengan 2 atau lebih. Grafiknya bukan garis. Sebagai contoh,y=x^2

[ http://study.com/academy/lesson/nonlinear-function-definition-examples.html[[1]

Irfanullah
sumber
Model statistik linier tidak sama dengan fungsi linier. Fungsi non-linear dengan derau aditif mungkin masih menjadi model linier karena linieritas ditentukan oleh parameter model dan bukan variabel prediktor.
Michael R. Chernick