Mengapa penting untuk membuat perbedaan antara regresi "linear" versus "non-linear"?

12

Apa pentingnya perbedaan antara model linear dan non-linear? Pertanyaannya Nonlinear vs generalised model: Bagaimana Anda merujuk pada regresi logistik, Poisson, dll.? dan jawabannya adalah klarifikasi yang sangat membantu tentang linearitas / non-linearitas model linier umum. Tampaknya sangat penting untuk membedakan model linear dari model non-linear, tetapi tidak jelas bagi saya mengapa? Misalnya, pertimbangkan model regresi ini:

\begin{aligned} (1) & E [Y ∣ X] & = β_{0} + β_{1} X \\ (2) & E [Y ∣ X] & = β_{0} + β_{1} X + β_{2} X^{2} \\ (3) & E [Y ∣ X] & = β_{0} + β_{1}^{2} X \\ (4) & E [Y ∣ X] & = {1 + \exp (- [β_{0} + β_{1} X]}^{- 1} \end{aligned}

$\begin{align} E[Y \mid X] & = \beta_0 + \beta_1 X \tag{1} \\ E[Y \mid X] & = \beta_0 + \beta_1 X + \beta_2 X^2 \tag{2} \\ E[Y \mid X] & = \beta_0 + \beta_1^2 X \tag{3} \\ E[Y \mid X] & = \{1+\exp(-[ \beta_0 + \beta_1 X]\}^{-1} \tag{4} \end{align}$

Kedua Model 1 dan 2 adalah linier, dan solusi untuk ada dalam bentuk tertutup, mudah ditemukan menggunakan penduga OLS standar. Tidak demikian untuk Model 3 dan 4, yang nonlinier karena (beberapa) turunan dari wrt masih berfungsi . $\beta$ $E[Y\mid X]$ $\beta$ $\beta$

Salah satu solusi sederhana untuk memperkirakan $\beta_1$ dalam Model 3 adalah dengan membuat linierisasi model dengan menetapkan $\gamma = \beta_1^2$ , perkirakan $\gamma$ menggunakan model linier, dan kemudian hitung $\beta_1 = \sqrt{\gamma}$ .

Untuk memperkirakan parameter dalam Model 4, kita dapat mengasumsikan $Y$ mengikuti distribusi binomial (anggota keluarga eksponensial), dan, menggunakan fakta bahwa bentuk logistik model adalah tautan kanonik, linierisasi rhs model. Ini adalah kontribusi mani Nelder dan Wedderburn .

Tetapi mengapa non-linearitas ini menjadi masalah? Mengapa seseorang tidak bisa hanya menggunakan beberapa algoritma iteratif untuk menyelesaikan Model 3 tanpa linierisasi menggunakan fungsi akar kuadrat, atau Model 4 tanpa menggunakan GLM. Saya curiga bahwa sebelum kekuatan komputasi meluas, ahli statistik berusaha untuk meluruskan segalanya. Jika benar, maka mungkin "masalah" yang diperkenalkan oleh nonlinier adalah sisa dari masa lalu? Apakah komplikasi yang diperkenalkan oleh model non-linear hanyalah komputasi, atau adakah masalah teoritis lain yang membuat model non-linier lebih menantang untuk disesuaikan dengan data daripada model linier?

linear-model nonlinear-regression nonlinear pengguna1849779
sumber

1

Jika Anda ingin memperkirakan , cukup perkirakan ( regresi linier sederhana) dan kemudian ambil ...

E [Y | X] = β_{0} + β_{1}^{2} X

$E[Y|X] = \beta_0 + \beta_1^2 X$

E [Y | X] = β_{0} + γ X

$E[Y|X] = \beta_0 + \gamma X$

β_{1} = \sqrt{γ}

$\beta_1 = \sqrt{\gamma}$

Tim

@Tim, terima kasih atas komentarnya. Saya menyadari transformasi ini sebagai suatu kemungkinan, tetapi mencoba untuk mengajukan pertanyaan yang agak berbeda. Saya telah banyak mengedit pertanyaan, semoga menjadi lebih baik.

user1849779

5

Saya dapat melihat dua perbedaan utama:

linearitas membuatnya sederhana dan kuat. Misalnya, OLS (linear) adalah penduga yang tidak bias di bawah distribusi gangguan yang tidak diketahui. Secara umum, model GLM dan non-linear tidak. OLS juga tangguh untuk berbagai model struktur kesalahan (efek acak, pengelompokan, dll) di mana dalam model non-linear Anda biasanya harus mengasumsikan distribusi yang tepat dari istilah-istilah ini.
Memecahkannya mudah: cukup beberapa perkalian matriks + 1 invers. Ini berarti Anda hampir selalu dapat menyelesaikannya, bahkan dalam kasus-kasus di mana fungsi objektifnya hampir datar (multikolinieritas.) Metode berulang mungkin tidak menyatu dalam kasus-kasus bermasalah (yang, dalam arti, adalah hal yang baik.) Pemecahan yang mudah mungkin atau mungkin tidak kurang dari masalah saat ini. Komputer menjadi lebih cepat, tetapi data menjadi lebih besar. Pernah mencoba menjalankan regresi logit pada pengamatan 1G?

Selain itu, model linier lebih mudah diinterpretasikan. Dalam model linier, efek marginal sama dengan koefisien dan tidak tergantung pada nilai X (meskipun istilah polinomial mengacaukan kesederhanaan ini.)

Ott Toomet
sumber

Saya membedakannya terutama sebagai kenyamanan atau penggunaan historis.

Martha

2

Banyak model dalam biologi (dan bidang lainnya) adalah nonlinier, jadi paling cocok dengan regresi nonlinier. Matematika itu sangat berbeda, tentu saja. Tetapi dari sudut pandang analis data, hanya ada satu perbedaan penting.

Regresi nonlinier membutuhkan nilai estimasi awal untuk setiap parameter. Jika perkiraan awal ini tidak sesuai, program regresi nonlinier dapat bertemu pada minimum yang salah dan memberikan hasil yang tidak berguna atau menyesatkan.

Harvey Motulsky
sumber

2

Ini tentu merupakan bagian dari jawabannya. Tetapi, dengan menyatakan bahwa satu-satunya perbedaan adalah sesuatu yang berjumlah teknis kecil, Anda mungkin terlalu meminimalkan masalah model nonlinear. Sebagai contoh, beberapa yang sederhana yang muncul dalam biologi dapat memiliki minima lokal yang sangat berbeda, yang semuanya mendekati minima global. Masalah kualitatif mendasar ini tidak diselesaikan dengan peningkatan daya komputasi atau teknik optimisasi yang lebih baik: sifat banyak model nonlinear sangat berbeda dari model linier sehingga mereka membutuhkan pemikiran mendalam tentang makna dan interpretasinya.

whuber

1

Pertama saya akan mengganti kata 'model' untuk kata 'regresi'. Saya berpikir bahwa untuk kedua kata, seseorang benar-benar bertanya apa persamaan yang relevan yang menentukan model dan apa hipotesis yang relevan yang menghubungkan nilai-nilai variabel dependen dan nilai-nilai yang diprediksi oleh persamaan / model. Saya pikir istilah 'model' lebih standar. Jika Anda setuju dengan itu, baca terus.

Saya benar-benar berhutang atas refleksi atas komentar dari seorang kolega yang adalah seorang ahli statistik dan ahli statistik yang terlatih secara klasik. Dia keberatan keras terhadap sebuah buku yang disebut regresi polinomial sebagai non-linear dan saat itulah saya membaca lebih serius tentang model non-linear. Saya percaya bahwa jawaban yang benar adalah bahwa model linear mengasumsikan bahwa istilah kesalahan adalah Gaussian sedangkan model linier umum mengasumsikan bentuk yang lebih umum untuk istilah kesalahan. Jika adalah sekumpulan fungsi, maka seseorang dapat mencoba membuat model linier di . Misalnya jika , maka kita mendapatkan regresi polinomial. Ini adalah model linier jika perbedaannya $\phi_1, \ldots, \phi_n$ $\phi_1, \ldots, \phi_n$ $\phi_i = x^i$ $\epsilon_i = y_i - \sum a_{ij}x^j$ adalah Gaussian. Imho, saya pikir wikipedia memiliki penjelasan yang sangat masuk akal dari model linear umum Saya pikir ini adalah kalimat kunci - "GLM menggeneralisasikan regresi linier dengan memungkinkan model linier terkait dengan variabel respons melalui fungsi tautan dan dengan memungkinkan besarnya varian setiap pengukuran menjadi fungsi dari nilai yang diprediksi. " Jadi glm memungkinkan istilah kesalahan yang lebih umum. Ini memungkinkan fleksibilitas yang lebih besar dalam pemodelan. Harga ? Menghitung model yang benar lebih sulit. Seseorang tidak lagi memiliki metode sederhana untuk menghitung koefisien. Koefisien regresi linier dapat ditemukan dengan meminimalkan fungsional kuadratik yang memiliki mimimum unik. Dalam kata-kata Borat, untuk glm, tidak terlalu banyak. Kita harus menghitung mle,

meh
sumber

1

Model nonlinear juga dapat mengasumsikan bahwa residu diambil sampelnya dari distribusi Gaussian. Contoh sederhana adalah aktivitas enzim (Y) sebagai fungsi konsentrasi substrat (X). Y = Vmax * X / (Km + X) Adalah umum dan masuk akal untuk mengasumsikan bahwa residual adalah gaussian, namun ini adalah persamaan nonlinier yang sesuai dengan regresi nonlinier.

Harvey Motulsky

2

Model nonlinier terdiri lebih dari GLM. GLM populer karena mereka "hampir" linier dalam parameter: semua nonlinier terbatas pada fungsi variabel tunggal, "tautan". Ini memungkinkan solusi yang relatif efisien dan andal. Model nonlinier lainnya jauh lebih mudah ditelusuri. Konsep linearitas sebagian besar terpisah dari sifat residu, walaupun dalam beberapa kasus bermanfaat untuk membedakan residu aditif dari bentuk variasi lainnya.

whuber

Mengapa penting untuk membuat perbedaan antara regresi "linear" versus "non-linear"?

Jawaban: