Apa perbedaan "mekanis" antara regresi linier berganda dengan jeda waktu dan deret waktu?

14

Saya lulusan dari bisnis dan ekonomi yang saat ini belajar untuk gelar master dalam bidang teknik data. Saat mempelajari regresi linier (LR) dan kemudian analisis deret waktu (TS), sebuah pertanyaan muncul di benak saya. Mengapa membuat metode yang sama sekali baru, yaitu deret waktu (ARIMA), alih-alih menggunakan regresi linier berganda dan menambahkan variabel lagged ke dalamnya (dengan urutan lag ditentukan menggunakan ACF dan PACF)? Jadi guru menyarankan agar saya menulis sedikit esai tentang masalah ini. Saya tidak akan datang mencari bantuan dengan tangan kosong, jadi saya melakukan penelitian pada topik tersebut.

Saya sudah tahu bahwa ketika menggunakan LR, jika asumsi Gauss-Markov dilanggar, regresi OLS salah, dan bahwa ini terjadi ketika menggunakan data deret waktu (autokorelasi, dll). (pertanyaan lain tentang ini, satu asumsi GM adalah bahwa variabel independen harus terdistribusi secara normal? atau hanya variabel dependen yang tergantung pada yang independen?)

Saya juga tahu bahwa ketika menggunakan regresi lag terdistribusi, yang saya pikir saya usulkan di sini, dan menggunakan OLS untuk memperkirakan parameter, multikolinieritas antar variabel dapat (jelas) muncul, jadi perkiraan akan salah.

Dalam posting serupa tentang TS dan LR di sini, @IrishStat berkata:

... model regresi adalah kasus khusus dari Model Fungsi Transfer yang juga dikenal sebagai model regresi dinamis atau model XARMAX. Poin yang menonjol adalah bahwa identifikasi model dalam deret waktu yaitu perbedaan yang sesuai, keterlambatan X yang sesuai, struktur ARIMA yang sesuai, identifikasi yang sesuai dari struktur deterministik yang tidak ditentukan seperti Pulsa, Pergeseran level, Tren waktu lokal, Pulsa Musiman, dan penggabungan. perubahan parameter atau varians kesalahan harus dipertimbangkan.

(Saya juga membaca makalahnya di Autobox tentang Box Jenkins vs LR.) Tapi ini masih belum menyelesaikan pertanyaan saya (atau setidaknya itu tidak menjelaskan mekanisme RL dan TS yang berbeda untuk saya).

Jelas bahwa bahkan dengan variabel lagging masalah OLS muncul dan itu tidak efisien atau tidak benar, tetapi ketika menggunakan kemungkinan maksimum, apakah masalah ini tetap ada? Saya telah membaca bahwa ARIMA diperkirakan melalui kemungkinan maksimum, jadi jika LR dengan lag diperkirakan dengan ML dan bukan OLS, apakah ia menghasilkan koefisien "benar" (mari kita asumsikan bahwa kita juga memasukkan istilah kesalahan yang tertinggal, seperti MA pesanan q).

Singkatnya, apakah masalahnya OLS? Apakah masalah diselesaikan dengan menerapkan ML?

Miguel M.
sumber
4
Kemiripan luar biasa di sana dengan John Maynard Keynes.
Nick Cox
Hai @NickCox, ya, dia adalah ekonom favorit saya, saya pikir dia adalah pria yang luar biasa dan sangat berbakat dalam banyak hal ... ada bantuan dalam pertanyaan saya? Apa yang saya coba cari tahu adalah mengapa model lagged bekerja dengan estimasi OLS, dan jika itu akan memperkirakan dengan benar dengan estimasi kemungkinan maksimum. Saya mengerti bahwa model terbaik adalah fungsi transfer, dan saya sedang mempelajarinya saat ini. Tetapi pertanyaan teoretis masih ada tentang OLS. Jika tidak ada autokorelasi yang menyebabkan lag menghilangkannya (asumsikan juga bahwa multicoll. Tidak ada), apakah akan berfungsi? atau apakah masih ada dan mendasarinya
Miguel M.
@NickCox ... efek / pelanggaran asumsi gaussian bahwa OLS tidak dapat bekerja dengan dan yang tidak dapat dilengkapi dengan metode ini? Seperti yang dapat Anda lihat, saya agak bingung dengan ini, jika terlalu lama untuk menjawab, tolong jika Anda dapat memberikan kuliah yang mungkin mencerahkan, saya juga akan menghargai
Miguel M.
1
Dalam hal mekanika, izinkan saya menyarankan bahwa model ARMA untuk pengguna yang disarankan (berbeda secara tepat) variabel X mencerminkan non-stasioneritas. menghasilkan struktur lag yang disarankan (pemahaman). Struktur lag ini kemudian dapat diterapkan pada seri asli yang dibedakan secara tepat untuk menghasilkan saran tentang seri yang tidak ditentukan / latar belakang (proses kesalahan sementara). Proses kesalahan ini kemudian dapat dipelajari untuk menghasilkan ARMA yang sesuai.
IrishStat
@IrishStat jadi tolong izinkan saya ulangi apa yang Anda katakan. Mari kita memiliki variabel dependen Yt dan variabel independen Xt, kita bedakan Yt dan Xt sampai kita memiliki stasioneritas di keduanya, dan kemudian kita dapat menerapkan fungsi korelasi silang untuk mengetahui struktur lag. Setelah itu kami mundur Yt ke Xt dan kami mempelajari istilah kesalahan. Jika kita menemukan struktur ARMA dalam istilah kesalahan, kita menerapkannya dalam model sampai kita memiliki white noise, benar? Tapi, pertanyaan saya masih, apakah model terakhir dipasang melalui OLS? Jika tidak, mengapa tidak, dan metode apa yang kita gunakan?
Miguel M.

Jawaban:

9

Mengapa membuat metode yang sama sekali baru, yaitu deret waktu (ARIMA), alih-alih menggunakan regresi linier berganda dan menambahkan variabel lagged ke dalamnya (dengan urutan lag ditentukan menggunakan ACF dan PACF)?

Satu titik langsung adalah bahwa regresi linier hanya bekerja dengan variabel yang diamati sementara ARIMA menggabungkan variabel yang tidak teramati dalam bagian rata-rata bergerak; dengan demikian, ARIMA lebih fleksibel, atau lebih umum, dengan cara tertentu. Model AR dapat dilihat sebagai model regresi linier dan koefisiennya dapat diperkirakan menggunakan OLS; mana terdiri dari kelambatan dari variabel dependen yang diamati . Sementara itu, model MA atau ARMA tidak sesuai dengan kerangka kerja OLS karena beberapa variabel, yaitu istilah kesalahan yang tertinggal, tidak teramati , dan karenanya estimator OLS tidak layak.Xβ^OLS=(XX)1XyX

satu asumsi GM adalah bahwa variabel independen harus didistribusikan secara normal? atau hanya variabel dependen yang bergantung pada variabel independen?

Asumsi normal kadang-kadang dipanggil untuk kesalahan model, bukan untuk variabel independen. Namun, normalitas diperlukan baik untuk konsistensi dan efisiensi estimator OLS maupun untuk teorema Gauss-Markov untuk dipegang. Artikel Wikipedia tentang teorema Gauss-Markov menyatakan secara eksplisit bahwa "Kesalahan tidak harus normal".

multikolinieritas antar variabel dapat (jelas) muncul, sehingga perkiraan akan salah.

Tingkat multikolinearitas yang tinggi berarti varians yang meningkat dari estimator OLS. Namun, penaksir OLS masih BIRU selama multikolinearitas tidak sempurna. Dengan demikian pernyataan Anda tidak terlihat benar.

Jelas bahwa bahkan dengan variabel lagging masalah OLS muncul dan itu tidak efisien atau tidak benar, tetapi ketika menggunakan kemungkinan maksimum, apakah masalah ini tetap ada?

Model AR dapat diestimasi menggunakan OLS dan ML; kedua metode ini memberikan penduga yang konsisten. Model MA dan ARMA tidak dapat diperkirakan oleh OLS, jadi ML adalah pilihan utama; sekali lagi, ini konsisten. Properti menarik lainnya adalah efisiensi, dan di sini saya tidak sepenuhnya yakin (tetapi jelas informasi tersebut harus tersedia di suatu tempat karena pertanyaannya cukup standar). Saya akan mencoba mengomentari "kebenaran", tetapi saya tidak yakin apa yang Anda maksud dengan itu.

Richard Hardy
sumber
Hai Pak Hardy, terima kasih banyak atas jawabannya. Mengenai nilai-nilai yang diamati vs yang tidak diamati, hanya untuk meringkas. Dalam ARIMA dan deret waktu (lebih khusus XARIMAX), kami menggunakan pendekatan "dinamis", karena kami menggunakan kesalahan prediksi, dan dalam regresi linier kami tidak menggunakannya - tetapi kami tetap bisa menggunakannya. Saya tidak mengerti maka masalahnya di sini. Atau seperti yang dikatakan @IrishStat, satu-satunya perbedaan adalah jalan menuju identifikasi dan strategi revisi model?
Miguel M.
Dan bagaimana dengan estimasi, apakah OLS (lagi) benar ketika memasukkan kesalahan yang tertinggal dalam model? Mengenai multikolinearitas, saya maksudkan bahwa koefisien yang diperkirakan mungkin tidak benar, karena estimasi mereka memiliki varian yang besar. Dengan metode yang benar yang saya maksudkan, jika menggunakan OLS memberikan perkiraan yang tidak bias dan efisien dibandingkan dengan ML ketika menggunakan model lagged yang diusulkan.
Miguel M.
@MiguelM, saya bepergian sekarang, saya akan mencoba untuk kembali lagi nanti.
Richard Hardy
1
Mengenai "dalam regresi linier, kami tidak menggunakannya - tetapi kami bisa menggunakannya": kami tidak mengamati variabel-variabel ini, dan karenanya mereka tidak dapat digunakan dalam kerangka regresi linier karena mekanisme di sana (seperti yang saya catat dalam jawaban, penaksir tidak layak); Namun, mereka dapat digunakan dalam kerangka kerja ARIMA. Mengenai "apakah OLS (lagi) benar ketika memasukkan kesalahan yang tertinggal dalam model?", Ya, itu harus benar. Mengenai "kebenaran", jika model ditentukan dengan benar dan OLS dan ML layak, keduanya harus bekerja dengan baik. Di bawah salah spesifikasi, hal-hal yang cenderung salah.
Richard Hardy
1
Saya harus buruk dalam menjelaskan, dan saya merasa sulit untuk mendapatkan penjelasan alternatif dalam kasus ini ... Misalkan Anda harus menjalankan regresi , dan Anda tidak memperhatikan . Maka tidak ada cara Anda bisa menjalankan regresi. Inilah poin utamanya. OLS tidak memungkinkan memiliki variabel yang hilang. Namun, struktur tertentu dengan variabel yang hilang dapat dipulihkan dengan menggunakan ML, dan salah satu contoh dari struktur tersebut adalah model MA. (Regresi tidak hanya tidak cocok untuk OLS tetapi juga untuk estimasi ML ketika tidak diamati.)x y = β 0 + β 1 x + ε xy=β0+β1x+εxy=β0+β1x+εx
Richard Hardy
5

Itu pertanyaan yang bagus. Perbedaan nyata antara model ARIMA dan regresi linier berganda terletak pada struktur kesalahan Anda. Anda dapat memanipulasi variabel independen dalam model regresi linier berganda sehingga cocok dengan data deret waktu Anda, itulah yang dikatakan @IrishStat. Namun, setelah itu, Anda perlu memasukkan kesalahan ARIMA ke dalam model regresi berganda untuk mendapatkan koefisien dan hasil pengujian yang benar. Buku gratis yang bagus tentang ini adalah: https://www.otexts.org/fpp/9/1 . Saya telah menghubungkan bagian yang membahas menggabungkan ARIMA dan model regresi berganda.

LindsayL
sumber
1

Pertanyaan bagus, saya sebenarnya telah membangun keduanya dalam pekerjaan sehari-hari saya sebagai Data Scientist. Model deret waktu mudah dibangun (paket prakiraan dalam R memungkinkan Anda membuatnya dalam waktu kurang dari 5 detik), sama atau lebih akurat daripada model regresi, dll. Umumnya, seseorang harus selalu membangun deret waktu, kemudian regresi. Ada implikasi filosofis dari deret waktu juga, jika Anda dapat memprediksi tanpa mengetahui apa pun, lalu apa artinya itu?

Pendapat saya tentang Darlington. 1) "Regresi jauh lebih fleksibel dan kuat, menghasilkan model yang lebih baik. Poin ini dikembangkan di banyak tempat di seluruh pekerjaan."

Tidak, justru sebaliknya. Model regresi membuat jauh lebih banyak asumsi daripada model deret waktu. Semakin sedikit asumsi, semakin besar kemungkinan kemampuan untuk menahan gempa (perubahan rezim). Selain itu, model deret waktu merespons lebih cepat terhadap perubahan mendadak.

2) "Regresi jauh lebih mudah dikuasai daripada ARIMA, setidaknya bagi mereka yang sudah terbiasa dengan penggunaan regresi di bidang lain." Ini adalah alasan yang melingkar.

3) "Regresi menggunakan algoritma komputasi" tertutup "yang pada dasarnya dijamin menghasilkan hasil jika memungkinkan, sedangkan ARIMA dan banyak metode lain menggunakan algoritme berulang yang sering gagal mencapai solusi. Saya sering melihat metode ARIMA" menutup telepon " "pada data yang memberikan metode regresi tidak ada masalah."

Regresi memberi Anda jawaban, tetapi apakah itu jawaban yang tepat? Jika saya membangun regresi linier dan model pembelajaran mesin dan mereka semua sampai pada kesimpulan yang sama, apa artinya?

Jadi secara ringkas, ya regresi dan deret waktu dapat menjawab pertanyaan yang sama dan secara teknis, deret waktu adalah regresi secara teknis (meskipun regresi-otomatis). Model deret waktu kurang kompleks dan karenanya lebih kuat dari model regresi. Jika Anda berpikir tentang spesialisasi, maka model TS berspesialisasi dalam peramalan sedangkan regresi berspesialisasi dalam pemahaman. Intinya adalah apakah Anda ingin menjelaskan atau memprediksi.

Model Markov Tersembunyi
sumber
1
"Model deret waktu kurang kompleks dan karenanya lebih kuat dari model regresi" .... Apa yang ingin Anda katakan adalah "model ARIMA kurang kompleks dan karenanya lebih kuat dari model regresi". Menggabungkan ARIMA dan regresi disebut sebagai Model Fungsi Transfer ... yang kemudian merupakan pilihan bijak sehingga menggabungkan pemahaman (regresi) dan faktor latar belakang tidak diketahui / tidak spesifik (ARIMA).
IrishStat
2
@IrishStat Hai Tn. Reilly, saya telah membaca jawaban Anda untuk beberapa posting di sini di stackexchange, dan saya juga membaca banyak makalah di Autobox serta tautan untuk kursus seri waktu PSU, tapi saya masih belum memahami mengapa (atau jika) regresi linier (menggunakan OLS), dengan penggunaan variabel yang tertinggal dan istilah kesalahan yang tertinggal jika perlu tidak akan berhasil
Miguel M.
@IrishStat apakah ini metode OLS yang tidak berfungsi?
Miguel M.
1
IrishStat untuk memperluas poin Anda, tujuannya adalah kausalitas Granger. Misalnya, bahkan jika koefisien signifikan secara statistik, koefisien tersebut mungkin tidak signifikan dalam meningkatkan akurasi perkiraan. Dalam penelitian saya, saya telah menemukan bahwa model regresi (linier, laso, dll), cenderung mengatakan bahwa hal-hal itu penting daripada yang sebenarnya, sedangkan hutan acak cenderung menurunkannya dan mengidentifikasi tuas yang sebenarnya. Juga, hutan acak memiliki akurasi sampel yang sama dengan model linier. Satu-satunya kelemahan adalah bahwa Anda tidak dapat mengetahui apa koefisien sebenarnya.
Hidden Markov Model
2
@MiguelM. Ini tentu bisa bekerja karena Fungsi Transfer adalah model Lag Terdistribusi Polinomial mungkin termasuk pergeseran level yang dideteksi secara empiris / tren waktu / pulsa musiman sambil menyesuaikan pulsa (satu kali anomali) Saya pikir perbedaan utama adalah jalur untuk identifikasi dan strategi revisi model
IrishStat
0

Dalam berpikir perbedaan terdalam antara fungsi transfer dan regresi linier multipe (dalam penggunaan yang biasa) terletak pada tujuannya, beberapa regresi berorientasi untuk menemukan faktor penentu utama yang dapat diamati kausal dari variabel dependen sementara fungsi transfer hanya ingin memperkirakan efek pada dependen variabel variasi variabel eksogen spesifik ... Singkatnya, regresi berganda berorientasi pada penjelasan lengkap dan fungsi transfer untuk memperkirakan efek yang sangat spesifik ...

Rodolfo
sumber
Saya tidak berpikir ini cukup akurat, karena kedua metode menghasilkan koefisien yang sebenarnya bisa ditafsirkan. Juga, fungsi transfer sangat bergantung pada analisis kausal, dan sebenarnya lebih baik dalam membedakan seperti regresi linier berganda. Juga, posting ini meminta perbedaan mekanis / metodologis antara dua metode tersebut
Miguel M.