Apakah tidak biasa bagi MEAN mengungguli ARIMA?

38

Saya baru-baru ini menerapkan serangkaian metode peramalan (MEAN, RWF, ETS, ARIMA dan MLP) dan menemukan bahwa MEAN ternyata bekerja dengan sangat baik. (BERARTI: di mana semua prediksi masa depan diprediksi sama dengan rata-rata aritmatika dari nilai-nilai yang diamati.) MEAN bahkan mengungguli ARIMA pada tiga seri yang saya gunakan.

Yang ingin saya ketahui adalah apakah ini tidak biasa? Apakah ini berarti deret waktu yang saya gunakan aneh? Atau apakah ini menunjukkan bahwa saya telah mengatur sesuatu yang salah?

Andy T
sumber
@Mehrdad orang pasti bisa membuat jawaban yang bagus di sekitar Martingales.
shadowtalker
1
Ini cukup umum untuk metode sederhana untuk berkinerja baik, terutama out-of-sample (yang mana itu penting). Efek ini menjadi lebih kuat pada seri pendek. Jika tidak ada banyak korelasi atau tren seri, maka kami mengharapkan rata-rata untuk melakukannya dengan sangat baik bahkan dengan seri yang relatif panjang.
Glen_b -Reinstate Monica

Jawaban:

31

Saya seorang praktisi, baik produser dan pengguna peramalan dan BUKAN ahli statistik terlatih. Di bawah ini saya membagikan beberapa pemikiran saya tentang mengapa perkiraan rata-rata Anda ternyata lebih baik daripada ARIMA dengan merujuk pada artikel penelitian yang mengandalkan bukti empiris. Satu buku yang berulang kali saya rujuk kembali adalah buku Principles of Forecasting karya Armstrong dan situs webnya yang saya rekomendasikan sebagai bacaan yang luar biasa untuk peramal apa pun, memberikan wawasan yang hebat tentang penggunaan dan prinsip-prinsip panduan metode ekstrapolasi.

Untuk menjawab pertanyaan pertama Anda - Apa yang ingin saya ketahui adalah apakah ini tidak biasa?

Ada bab yang disebut Extrapolation for Time-Series dan Cross-Sectional Data yang juga tersedia gratis di situs web yang sama . Berikut ini adalah kutipan dari bab ini

"Sebagai contoh, dalam kompetisi M2 real-time, yang menguji 29 seri bulanan, Box-Jenkins terbukti menjadi salah satu metode yang paling tidak akurat dan kesalahan median keseluruhan adalah 17% lebih besar dari itu untuk ramalan naif"

Terdapat bukti empiris tentang mengapa perkiraan rata-rata Anda lebih baik daripada model ARIMA.

Ada juga penelitian demi penelitian dalam kompetisi empiris dan kompetisi M3 ketiga yang menunjukkan pendekatan Box-Jenkins ARIMA gagal menghasilkan perkiraan yang akurat dan kurang bukti bahwa kinerjanya lebih baik untuk ekstrapolasi tren univariat.

Ada juga makalah lain dan penelitian yang sedang berlangsung oleh Greene dan Armstrong berjudul " Peramalan Sederhana: Hindari Air Mata Sebelum Tidur " di situs web yang sama. Penulis makalah ini merangkum sebagai berikut:

Secara total kami mengidentifikasi 29 makalah yang menggabungkan 94 perbandingan formal tentang akurasi perkiraan dari metode yang kompleks dengan yang dari metode yang sederhana — tetapi tidak dalam semua kasus yang canggih — sederhana. Delapan puluh tiga persen dari perbandingan menemukan bahwa perkiraan dari metode sederhana lebih akurat daripada, atau sama akuratnya dengan, dari metode yang kompleks. Rata-rata, kesalahan perkiraan dari metode kompleks sekitar 32 persen lebih besar daripada kesalahan perkiraan dari metode sederhana dalam 21 studi yang menyediakan perbandingan kesalahan.

Untuk menjawab pertanyaan ketiga Anda : apakah ini menunjukkan bahwa saya telah mengatur sesuatu yang salah? Tidak, saya akan menganggap ARIMA sebagai metode yang rumit dan perkiraan rata-rata sebagai metode sederhana. Ada banyak bukti bahwa metode sederhana seperti Perkiraan rata-rata mengungguli metode kompleks seperti ARIMA.

Untuk menjawab pertanyaan kedua Anda : Apakah ini berarti deret waktu yang saya gunakan aneh?

Berikut ini yang saya anggap ahli dalam peramalan dunia nyata:

  • Makridakis (Perintis persaingan empiris pada Peramalan yang disebut M, M2 dan M3, dan membuka jalan untuk metode berbasis bukti dalam peramalan)
  • Armstrong (Memberikan wawasan berharga dalam bentuk buku / artikel tentang Praktik Peramalan)
  • Gardner (Invented Damped Trend exponential merapikan metode sederhana lain yang bekerja sangat baik vs. ARIMA)

Semua peneliti di atas menganjurkan, kesederhanaan (metode seperti perkiraan rata-rata Anda) vs. Metode kompleks seperti ARIMA. Jadi Anda harus merasa nyaman bahwa ramalan Anda baik dan selalu mendukung kesederhanaan daripada kompleksitas berdasarkan bukti empiris. Para peneliti ini semuanya berkontribusi besar dalam bidang peramalan terapan.

Selain daftar bagus metode peramalan sederhana Stephan. ada juga metode lain yang disebut metode peramalan Theta yang merupakan metode yang sangat sederhana (pada dasarnya perataan eksponensial sederhana dengan drift yang sama dengan 1/2 kemiringan regresi linier) Saya akan menambahkan ini ke kotak peralatan Anda. Forecast package in Rmengimplementasikan metode ini.

peramal cuaca
sumber
2
Saya benar-benar menyukai perspektif yang Anda berikan tentang perkiraan dan bukti yang Anda ajukan untuk mendukungnya, tetapi unsur-unsur dari jawaban ini tidak dapat diterima karena mereka membaca terlalu banyak seperti kata-kata kasar terhadap "ahli statistik" atau mungkin menentang pelatihan statistik formal - dan sama sekali salah . Misalnya, gelar tingkat tinggi Makridakis ada dalam statistik (coba tebak?) , Itu yang ia ajarkan, dan itulah yang ia lakukan.
whuber
1
Aku mengerti, aku akan menghapusnya. Saya mencoba menunjukkan bahwa kemajuan besar pada metode berbasis bukti berasal dari non statistik. Tapi saya mengerti maksud Anda bahwa mungkin akan terjadi seperti itu
peramal
Selesai, Juga, Makridakis PHD berada di Sistem Informasi Manajemen menurut wawancara yang dipublikasikan
peramal
FWIW, halaman LinkedIn- nya - yang dia pertahankan - mendaftar kedua PhD-nya dalam statistik. Tetapi argumen itu tidak ada gunanya: mengklaim bahwa seseorang bukan ahli statistik karena gelar mereka mungkin tidak secara spesifik dalam statistik memiliki nilai yang kecil dan tidak penting di sini. (Sampai baru-baru ini kebanyakan orang yang kariernya di bidang statistik memiliki gelar di bidang lain karena ada beberapa program statistik yang tersedia.)
whuber
2
+1. Namun, Anda menulis "Ada bukti empiris tentang mengapa perkiraan rata-rata Anda lebih baik daripada model ARIMA." - tidak, ini hanya memberitahu kita bahwa rata-rata lebih baik (dalam contoh khusus ini), bukan mengapa . Saya akan membalikkan argumen dan meletakkan beban pembuktian pada ARIMA dan model lainnya. Saya tidak pernah cukup mengerti mengapa proses menghasilkan data harus peduli tentang kesalahan masa lalu terhadap model saya, yang merupakan model MA pada dasarnya model. Kecurigaan pribadi saya adalah bahwa ARIMA sangat populer karena Anda benar-benar dapat membuktikan hal-hal, seperti unit root dan stasioneritas - bukan karena ramalannya baik.
S. Kolassa - Reinstate Monica
36

Ini sama sekali tidak mengejutkan . Dalam peramalan, Anda sangat sering menemukan metode yang sangat sederhana, seperti

  • rata-rata keseluruhan
  • jalan acak naif (yaitu, pengamatan terakhir digunakan sebagai perkiraan)
  • jalan acak musiman (yaitu, pengamatan dari satu tahun yang lalu)
  • Penghalusan Eksponensial Tunggal

mengungguli metode yang lebih kompleks. Itulah sebabnya Anda harus selalu menguji metode Anda terhadap tolok ukur yang sangat sederhana ini.

Kutipan dari George Athanosopoulos dan Rob Hyndman (yang ahli dalam bidang ini):

Beberapa metode perkiraan sangat sederhana dan sangat efektif.

Perhatikan bagaimana mereka secara eksplisit mengatakan bahwa mereka akan menggunakan beberapa metode yang sangat sederhana sebagai tolok ukur.

Bahkan, seluruh buku teks online terbuka gratis mereka tentang peramalan sangat dianjurkan.

EDIT: Salah satu ukuran kesalahan ramalan yang diterima lebih baik, Mean Absolute Scaled Error (MASE) oleh Hyndman & Koehler (lihat juga di sini ) mengukur seberapa besar perkiraan yang diberikan meningkat pada ramalan jalan acak (dalam-sampel) yang berjalan naif: jika MASE <1, perkiraan Anda lebih baik daripada jalan acak dalam sampel. Anda akan mengharapkan ini menjadi ikatan yang mudah dikalahkan, bukan?

Tidak demikian: kadang-kadang, bahkan yang terbaik dari beberapa metode peramalan standar seperti ARIMA atau ETS hanya akan menghasilkan MASE sebesar 1,38, yaitu, lebih buruk (di luar sampel) daripada ramalan berjalan acak (dalam-sampel). Ini cukup membingungkan untuk menghasilkan pertanyaan di sini. (Pertanyaan itu bukan duplikat dari yang ini, karena MASE membandingkan akurasi out-of-sample dengan akurasi in-sample metode naif, tetapi juga mencerahkan untuk pertanyaan saat ini.)

S. Kolassa - Reinstate Monica
sumber
1
Terima kasih telah menerima, tetapi mungkin Anda ingin menunggu selama sehari - jika sebuah pertanyaan telah menerima jawaban, semakin sedikit orang yang akan membacanya, apalagi komentar atau jawaban. Dan orang lain mungkin berbeda pendapat tentang ini. Jangan ragu untuk menerima ;-)
S. Kolassa - Reinstate Monica
Ini sangat jujur ​​tentang Anda :) Saya akan memberikannya sehari. Terima kasih.
Andy T
9
"complex" adalah kerabat dekat dari "overfitted."
shadowtalker
1
+1 jawaban yang bagus. Jika peramalan adalah bidang berbasis bukti seperti kedokteran, metode ARIMA akan menjadi sejarah.
peramal
2
ARIMA yang berpikiran sederhana tanpa memvalidasi Asumsi Gaus sudah menjadi sejarah bagi kebanyakan dari kita TETAPI ternyata tidak untuk semua!
IrishStat