Apa kriteria dan pengambilan keputusan untuk non-linearitas dalam model statistik?

Saya harap pertanyaan umum berikut masuk akal. Harap diingat bahwa untuk keperluan pertanyaan khusus ini, saya tidak tertarik dengan alasan teoritis (domain subjek) untuk memperkenalkan non-linearitas. Oleh karena itu, saya akan merumuskan pertanyaan lengkap sebagai berikut:

Apa itu kerangka kerja logis ( kriteria dan, jika mungkin, proses pengambilan keputusan ) untuk memperkenalkan non-linearitas ke dalam model statistik karena alasan, selain teori (domain subjek)? Seperti biasa, sumber daya dan referensi yang relevan juga diterima.

nonlinear-regression methodology nonlinear regression-strategies Aleksandr Blekh
sumber

Jawaban:

Proses pembuatan model melibatkan pembuat model yang membuat banyak keputusan. Salah satu keputusan melibatkan memilih di antara berbagai kelas model untuk dijelajahi. Ada banyak kelas model yang dapat dipertimbangkan; misalnya, model ARIMA, model ARDL, model Multiple Source of Error State-Space, model LSTAR, model Min-Max, dan lain-lain. Tentu saja, beberapa kelas model lebih luas daripada yang lain dan itu tidak umum untuk menemukan bahwa beberapa kelas model adalah sub-kelas yang lain.

Mengingat sifat pertanyaan, kami dapat fokus terutama pada hanya dua kelas model; model linear dan model non-linear .

Dengan mengingat gambaran di atas, saya akan mulai menjawab pertanyaan OP tentang kapan berguna untuk mengadopsi model non-linear dan jika ada kerangka kerja logis untuk melakukannya - dari perspektif statistik dan metodologis.

Hal pertama yang perlu diperhatikan adalah bahwa model linear adalah subkelas kecil dari model non-linear. Dengan kata lain, model linear adalah kasus khusus model non-linear. Ada beberapa pengecualian untuk pernyataan itu, tetapi, untuk tujuan saat ini, kami tidak akan kehilangan banyak dengan menerimanya untuk menyederhanakan masalah.

Biasanya, pembangun model akan memilih kelas model dan melanjutkan untuk memilih model dari dalam kelas tertentu dengan menggunakan beberapa metodologi. Contoh sederhana adalah ketika seseorang memutuskan untuk memodelkan deret waktu sebagai proses ARIMA dan kemudian mengikuti metodologi Box-Jenkins untuk memilih model dari antara kelas model ARIMA. Bekerja dengan cara ini, dengan metodologi yang terkait dengan keluarga model, adalah masalah kebutuhan praktis.

Konsekuensi dari memutuskan untuk membangun model non-linear adalah bahwa masalah pemilihan model menjadi jauh lebih besar (lebih banyak model harus dipertimbangkan dan lebih banyak keputusan yang dihadapi) bila dibandingkan dengan memilih dari antara set yang lebih kecil dari model linear, sehingga ada masalah nyata. masalah praktis yang dihadapi. Lebih jauh lagi, bahkan mungkin tidak ada metodologi yang dikembangkan sepenuhnya (diketahui, diterima, dipahami, mudah dikomunikasikan) untuk digunakan untuk memilih dari beberapa keluarga model non-linear. Lebih jauh lagi, kelemahan lain dari membangun model non-linear adalah bahwa model linear lebih mudah digunakan dan sifat probabilistiknya lebih dikenal ( Teräsvirta, Tjøstheim, dan Granger (2010) ).

Yang mengatakan, OP meminta alasan statistik untuk memandu keputusan daripada yang praktis atau teori domain, jadi saya harus melanjutkan.

Bahkan sebelum merenungkan bagaimana menangani pemilihan model non-linear yang mana untuk bekerja, seseorang harus memutuskan pada awalnya apakah akan bekerja dengan model linear atau model non-linear. Sebuah keputusan! Bagaimana cara membuat pilihan ini?

Dengan mengajukan banding ke Granger dan Terasvirta (1993) , saya mengadopsi argumen berikut, yang memiliki dua poin utama sebagai tanggapan terhadap dua pertanyaan berikut.

T: Kapan berguna untuk membangun model non-linear? Singkatnya, mungkin berguna untuk membangun model non-linier ketika kelas model linier telah dipertimbangkan dan dianggap tidak cukup untuk mengkarakterisasi hubungan yang sedang diperiksa. Prosedur pemodelan non-linear ini (proses pengambilan keputusan) dapat dikatakan berubah dari sederhana menjadi umum, dalam arti bahwa ia beralih dari linear ke non-linear.

T: Apakah ada alasan statistik yang dapat digunakan untuk membenarkan pembuatan model non-linear? Jika seseorang memutuskan untuk membangun model non-linear berdasarkan hasil tes linearitas, saya akan mengatakan, ya, ada. Jika pengujian linearitas menunjukkan bahwa tidak ada nonlinier yang signifikan dalam hubungan maka membangun model nonlinier tidak akan direkomendasikan; pengujian harus mendahului keputusan untuk membangun.

Saya akan menyempurnakan poin-poin ini dengan merujuk langsung ke Granger dan Terasvirta (1993):

Sebelum membangun model nonlinier, disarankan untuk mencari tahu apakah memang model linier cukup mencirikan hubungan [ekonomi] yang dianalisis. Jika ini masalahnya, akan ada lebih banyak teori statistik yang tersedia untuk membangun model yang masuk akal daripada jika model nonlinear sesuai. Selain itu, mendapatkan perkiraan optimal untuk lebih dari satu periode ke depan akan jauh lebih mudah jika modelnya linier. Mungkin terjadi, setidaknya ketika deret waktu pendek, bahwa penyidik berhasil memperkirakan model nonlinear meskipun hubungan yang sebenarnya antara variabel adalah linier. Bahaya karena tidak perlu merumitkan pembuatan model adalah nyata, tetapi dapat dikurangi dengan pengujian linearitas.

Dalam buku yang lebih baru, Teräsvirta, Tjøstheim, dan Granger (2010), jenis nasihat yang sama diberikan, yang sekarang saya kutip:

Dari sudut pandang praktis, berguna untuk menguji linearitas sebelum mencoba estimasi model nonlinier yang lebih rumit. Dalam banyak kasus, pengujian bahkan perlu dari sudut pandang statistik. Sejumlah model nonlinier populer tidak diidentifikasi di bawah linearitas. Jika model sebenarnya yang menghasilkan data adalah linier dan model nonlinear satu tertarik pada sarang model linier ini, parameter dari model nonlinear tidak dapat diestimasi secara konsisten. Dengan demikian pengujian linearitas harus mendahului setiap pemodelan dan estimasi nonlinier.

Biarkan saya akhiri dengan sebuah contoh.

Dalam konteks pemodelan siklus bisnis, contoh praktis menggunakan alasan statistik untuk membenarkan membangun model non-linear adalah sebagai berikut. Karena model linear univariat atau autoregresif vektor tidak dapat menghasilkan deret waktu siklis asimetris, pendekatan pemodelan non-linear, yang dapat menangani asimetri dalam data, patut dipertimbangkan. Versi yang diperluas dari contoh ini tentang reversibilitas data dapat ditemukan di Tong (1993) .

Maaf jika saya terlalu berkonsentrasi pada model seri waktu. Saya yakin, bagaimanapun, bahwa beberapa ide juga berlaku di pengaturan lain.

Graeme Walsh
sumber

Graeme, jawaban Anda sangat bagus dan, sementara jawaban lain sangat bagus juga, jawaban Anda adalah yang paling dekat dengan apa yang saya cari (versi mini, jika Anda mau). +1 dan diterima. Saya sangat menghargai upaya Anda dalam mempersiapkan jawaban Anda. Saya yakin saya akan memeriksanya lebih dari satu kali serta referensi. Saya pikir buku Dr. Harrell tentang strategi regresi juga mengandung beberapa bagian kerangka kerja yang idealnya saya miliki. Ngomong-ngomong, ide saya tentang kerangka statistik tematik diilhami oleh buku hebat Lisa Harlow, "Inti dari pemikiran multivarian", yang senang saya baca.

Aleksandr Blekh

Masalah over-arching adalah memutuskan untuk jenis masalah apa yang diharapkan linearitas, jika tidak memungkinkan hubungan menjadi nonlinear sebagai ukuran sampel memungkinkan. Sebagian besar proses dalam biologi, ilmu sosial, dan bidang lainnya adalah nonlinier. Satu-satunya situasi di mana saya mengharapkan hubungan linear adalah:

Mekanika Newton
Prediksi dari diukur pada waktu sebelumnya $Y$ $Y$

Contoh terakhir termasuk kasus di mana seseorang memiliki variabel dependen yang juga diukur pada awal (waktu nol). $Y$

Saya jarang melihat hubungan yang linier di mana-mana dalam dataset besar.

Keputusan untuk memasukkan nonlinier dalam model regresi tidak datang begitu banyak dari prinsip statistik global melainkan dari cara dunia bekerja. Satu pengecualian adalah ketika kerangka kerja statistik sub-optimal telah dipilih dan istilah-istilah nonlinier atau interaksi harus diperkenalkan hanya untuk menggantikan kerangka kerja yang dipilih secara buruk. Istilah interaksi kadang-kadang diperlukan untuk mengimbangi under-modelling (misalnya, dengan mengasumsikan linearitas) efek utama. Lebih banyak efek utama mungkin diperlukan untuk mengimbangi kehilangan informasi yang dihasilkan dari pemodelan-kurang efek utama lainnya.

Para peneliti terkadang merasa kesal untuk memasukkan variabel tertentu saat mereka kekurangan sejumlah variabel lain dengan memaksa mereka untuk bertindak secara linier. Dalam pengalaman saya, asumsi linearitas adalah salah satu asumsi paling dilanggar dari semua yang sangat penting.

Frank Harrell
sumber

+1 Dr. Harrell, terima kasih atas jawaban Anda yang berharga. Saya mengerti poin Anda. Namun, saya juga ingin tahu tentang (dan itu sebenarnya inti dari pertanyaan saya) situasi, ketika peneliti atau ilmuwan data harus memperkenalkan komponen non-linear tambahan karena teori statistik atau berbagai masalah (termasuk statistik, data, metodologi, dll. .), bukan teori domain subjek. Akan menghargai wawasan Anda tentang ini.

Aleksandr Blekh

Linearitas tergantung sebanyak (atau lebih) pada data daripada pada proses. Sebagian besar proses di sebagian besar bidang linier ketika diperiksa pada rentang yang cukup sempit (itulah sebabnya Kalkulus sangat berguna) dan nonlinier pada rentang yang cukup luas (termasuk proses mekanis). Meskipun benar untuk menyarankan bahwa hampir semuanya mungkin tampak nonlinier ketika ukuran sampel yang cukup besar tersedia, mungkin cara yang lebih pragmatis untuk membingkai masalah akan dalam hal bagaimana memutuskan kapan berguna untuk mengadopsi model linier.

whuber

@whuber: Terima kasih atas komentar Anda. Sangat berguna. Sekarang saya mengerti lebih baik tentang (non-) linearitas dari dua perspektif : teoritis (domain subjek) dan data-sentris . Saya masih ingin tahu tentang perspektif statistik dan / atau metodologi memperkenalkan tambahan non-linearitas karena asumsi statistik , masalah (yaitu, pasca-EDA) atau aspek serupa. Jadi, selain kerangka yang disarankan untuk masalah ini, saya juga tertarik dengan kerangka kerja pengambilan keputusan ketika berguna untuk mengadopsi model non-linear .

Aleksandr Blekh

"Sebagian besar proses di sebagian besar bidang linier ketika diperiksa pada rentang yang cukup sempit (itulah sebabnya Kalkulus sangat berguna) dan nonlinier pada rentang yang cukup luas" sementara sangat jelas oleh siapa saja yang telah mengambil kursus tentang kalkulus, ini adalah membuka mata wawasan bagi saya. Terima kasih Dr. @whuber +1.

mugen

@Alexandr Blekh apakah Anda mencari, katakanlah, uji statistik atau plot residual yang akan memberi Anda alasan statistik (yang bertentangan dengan alasan yang berasal dari teori yang mendasarinya) untuk membenarkan menggunakan model non linier?

mugen

Ketika membangun model saya selalu mencoba kuadrat variabel bersama dengan komponen linier. Misalnya, ketika membangun model regresi sederhana saya akan memasukkan istilah persegi Jika signifikan, itu mungkin merupakan kasus untuk model nonlinear. Intuisi, tentu saja, adalah ekspansi Taylor. Jika Anda memiliki fungsi linier, hanya turunan pertama yang bukan nol. Untuk fungsi nonlinear, turunan orde tinggi akan menjadi nol.

y_{i} = α + β x_{i} + ε_{i}

$y_i=\alpha +\beta x_i+\varepsilon_i$

y_{i} = α + β x_{i} + γ x_{i}^{2} + ε_{i}

$y_i=\alpha +\beta x_i+\gamma x_i^2+\varepsilon_i$

γ

$\gamma$

Saya juga sering mencoba kandidat spesifikasi asimetris: Jika signifikan, maka itu membuat saya mempertimbangkan menjelajahi spesifikasi asimetris.

y_{i} = α + β max (0, x_{i}) + γ min (0, x_{i}) + ε_{i}

$y_i=\alpha +\beta \max(0,x_i)+\gamma \min(0,x_i)+\varepsilon_i$

γ \neq β

$\gamma\ne\beta$

Terkadang, saya memiliki beberapa nilai atau pita khusus dalam data saya; atau histogram variabel penjelas saya memiliki ketegaran dan titik belok. Jadi, saya mencoba spline linear di sekitar titik atau wilayah khusus ini. Splines linear paling sederhana adalah: Ini akan memperkenalkan lereng yang berbeda untuk sebelum dan sesudah titik . Anda dapat memiliki beberapa lereng untuk variabel yang sama di wilayah yang berbeda. Jika linier linier saya signifikan, maka saya bermain dengan titik simpul dan menggunakannya, atau berpikir tentang model nonlinear.

x^{a -} = min (x, a)

$x^{a-}=\min(x,a)$

x^{a +} = max (x, a)

$x^{a+}=\max(x,a)$

x

$x$

x = a

$x=a$

Ini bukan pendekatan sistematis, tetapi itu hanya salah satu hal yang selalu saya lakukan.

Aksakal
sumber

+1 Wawasan menarik. Terima kasih telah berbagi - senang mengetahuinya. Apa yang saya ingin miliki (atau bahkan persiapkan) adalah kerangka kerja / alur kerja yang koheren dari pendekatan yang serupa (besar dan kecil) dengan alasan dasar yang mendasarinya. Apakah Anda berpikir bahwa membuat kerangka kerja seperti itu akan 1) layak dan 2) berharga untuk orang lain?

Aleksandr Blekh

@AlexandrBlekh, saya tidak berpikir itu mungkin untuk membuat kerangka kerja universal. Yang paling umum dalam seri waktu adalah Box-Jenkins.

Aksakal

Pengujian statistik untuk pemilihan model akan mendistorsi estimasi dan terutama kesalahan standar.

Frank Harrell

@ssdecontrol, argumen ekspansi Taylor juga membuat saya waspada untuk tidak menggunakan istilah polinomial urutan rendah. Misalnya, jika spesifikasi kandidat adalah , maka Anda harus memiliki pendapat yang kuat tentang bentuk model Anda.

y_{i} = β_{2} x_{i}^{2} + ε_{i}

$y_i=\beta_2 x_i^2+\varepsilon_i$

Aksakal

@ssdecontrol: Lihat Venables (1998), "Penafsiran tentang model linier", S-Plus Users 'Conference, Washington DC untuk informasi lebih lanjut tentang heuristik seri Taylor.

Scortchi