Apa gunanya analisis deret waktu?

Ada banyak metode statistik lain, seperti regresi dan pembelajaran mesin, yang memiliki kasus penggunaan yang jelas: regresi dapat memberikan informasi tentang hubungan antara dua variabel, sementara pembelajaran mesin sangat bagus untuk prediksi.

Tapi sementara itu, saya tidak melihat untuk analisis deret waktu apa. Tentu, saya bisa memasukkan model ARIMA dan menggunakannya untuk prediksi, tetapi apa gunanya ketika interval kepercayaan untuk prediksi itu akan sangat besar? Ada alasan mengapa tidak ada yang bisa memprediksi pasar saham meskipun itu adalah industri yang paling didorong oleh data dalam sejarah dunia.

Demikian juga, bagaimana cara menggunakannya untuk memahami proses saya lebih lanjut? Tentu, saya dapat merencanakan ACF dan pergi "aha! Ada ketergantungan!", Tapi lalu apa? Apa gunanya? Tentu saja ada ketergantungan, itu sebabnya Anda melakukan analisis deret waktu untuk memulai. Anda sudah tahu ada ketergantungan . Tapi untuk apa Anda menggunakannya?

Salah satu penggunaan utama adalah peramalan . Saya telah memberi makan keluarga saya selama lebih dari satu dekade sekarang dengan memperkirakan berapa unit produk spesifik yang akan dijual supermarket besok, sehingga ia dapat memesan stok yang cukup, tetapi tidak terlalu banyak. Ada uang dalam hal ini.

Kasus penggunaan perkiraan lainnya diberikan dalam publikasi seperti International Journal of Forecasting atau Foresight . (Pengungkapan penuh: Saya Associate Editor of Foresight .)

Ya, kadang-kadang interval prediksi sangat besar. (Saya berasumsi maksud Anda PI, bukan interval kepercayaan . Ada perbedaan. ) Ini berarti bahwa prosesnya sulit untuk diperkirakan. Maka Anda perlu mengurangi. Dalam memperkirakan penjualan supermarket, ini berarti Anda membutuhkan banyak stok pengaman. Dalam memperkirakan naiknya permukaan laut, ini berarti Anda perlu membangun tanggul yang lebih tinggi. Saya akan mengatakan bahwa interval prediksi besar memang memberikan informasi yang bermanfaat.

Dan untuk semua kasus penggunaan peramalan, analisis time-series berguna, meskipun peramalan adalah topik yang lebih besar. Anda sering dapat meningkatkan prakiraan dengan memperhitungkan dependensi dalam rangkaian waktu Anda, jadi Anda harus memahaminya melalui analisis, yang lebih spesifik daripada hanya mengetahui ketergantungan yang ada.

Plus, orang-orang tertarik pada deret waktu meskipun mereka tidak memperkirakan. Ahli ekonometrika ingin mendeteksi titik perubahan dalam deret waktu makroekonomi. Atau nilai dampak intervensi, seperti perubahan undang-undang perpajakan, terhadap PDB, atau lainnya. Anda mungkin ingin membaca jurnal ekonometrik favorit Anda untuk mendapatkan lebih banyak inspirasi.

Tujuan dalam Analisis TS dari slide pelajaran M. Dettling:

1) Analisis Eksplorasi: Visualisasi sifat-sifat seri

• alur seri waktu
• dekomposisi menjadi tren / pola musiman / kesalahan acak
• korelasiogram untuk memahami struktur ketergantungan

2) Pemodelan: Memasukkan model stokastik ke data yang mewakili dan mencerminkan sifat paling penting dari seri

• dilakukan eksplorasi atau dengan pengetahuan sebelumnya
• pilihan model dan estimasi parameter sangat penting
• kesimpulan: seberapa baik model tersebut sesuai dengan data?

3) Peramalan: Prediksi pengamatan masa depan dengan ukuran ketidakpastian

• sebagian besar berbasis model, menggunakan dependensi dan data masa lalu
• adalah ekstrapolasi, sehingga sering mengambil sebutir garam
• mirip dengan mengendarai mobil dengan melihat kaca spion belakang

4) Kontrol Proses: Output dari proses (fisik) mendefinisikan deret waktu

• model stokastik cocok untuk data yang diamati
• ini memungkinkan pemahaman baik sinyal maupun noise
• layak untuk memantau fluktuasi normal / tidak normal

5) Regresi Rangkaian Waktu: Memodelkan rangkaian waktu respons menggunakan 1 atau lebih seri input Menyesuaikan model ini dengan asumsi kesalahan awal:

• mengarah ke perkiraan yang tidak bias, tetapi ...
• kesalahan standar sering salah
• dengan demikian, interval kepercayaan dan tes menyesatkan

Tentang masalah yang ditandai stok:

• TS ini sangat fluktuatif, yang sulit untuk dimodelkan.
• Misalnya perubahan dalam undang-undang yang menyangkut perusahaan dapat menyebabkan perubahan dalam proses TS ... bagaimana alat statistik memprediksi itu?

Tentang korelasi serial:

• Berbeda dengan statistik multivariat, data dalam suatu rangkaian waktu biasanya tidak iid, tetapi secara seri berkorelasi.
• Informasi ini juga dapat berguna untuk mendeteksi sesuatu yang tidak iid, seperti apa seharusnya, seperti misalnya instrumen laboratorium yang kotor

Cara termudah untuk menjawab pertanyaan Anda adalah dengan memahami bahwa secara kasar kumpulan data sering dikategorikan sebagai cross-sectional , time series, dan panel . Regresi cross-sectional adalah alat masuk untuk set data cross-sectional. Inilah yang kebanyakan orang tahu dan merujuk dengan istilah regresi . Regresi deret waktu kadang-kadang diterapkan pada deret waktu, tetapi analisis deret waktu memiliki berbagai macam alat di luar regresi.

Contoh data cross-sectional adalah , di mana adalah bobot dan ketinggian siswa yang dipilih secara acak di sebuah sekolah. Ketika sampel adalah random kita bisa sering menjalankan regresi linier dan mendapatkan hasil yang dapat diandalkan, untuk mungkin memprediksi ketinggian dari siswa di sekolah ini hanya mengetahui siswa berat badan .$(x_1,y_1),(x_2,y_3),\dots,(x_n,y_n)$$x_i,y_i$$y\sim x$$\hat y$$x$

Jika sampel tidak acak, maka regresi mungkin tidak berfungsi sama sekali. Misalnya, Anda hanya memilih anak perempuan di kelas satu untuk memperkirakan model, tetapi Anda harus memprediksi ketinggian anak laki-laki kelas 12. Jadi, regresi memiliki masalah sendiri bahkan dalam pengaturan cross-sectional.

Sekarang, lihat data deret waktu, itu bisa seperti , di mana bulan dalam setahun, dan adalah masih berat dan tinggi tetapi dari siswa tertentu di sekolah ini.$x_t,y_t$$(x_1,y_1),(x_2,y_3),\dots,(x_n,y_n)$$t$$x,y$

Secara umum, regresi tidak harus bekerja sama sekali. Salah satu alasannya adalah bahwa indeks dipesan. Jadi sampel Anda tidak acak, dan saya sebutkan sebelumnya bahwa regresi lebih memilih sampel acak untuk bekerja dengan baik. Ini masalah serius. Data deret waktu cenderung persisten, mis. Tinggi badan Anda bulan ini sangat berkorelasi dengan tinggi badan Anda bulan depan. Untuk mengatasi masalah ini, analisis deret waktu dikembangkan, termasuk teknik regresi juga, tetapi harus digunakan dengan cara tertentu.$t$

Tipe dataset umum ketiga adalah panel, khususnya, data longitudinal pertama. Di sini, Anda mungkin mendapatkan beberapa snapshot variabel berat dan tinggi badan untuk sejumlah siswa. Dataset ini mungkin terlihat seperti gelombang potongan melintang atau serangkaian waktu.

Secara alami, ini bisa lebih rumit dari dua tipe sebelumnya. Di sini kami menggunakan regresi panel dan teknik khusus lainnya yang dikembangkan untuk panel.

Meringkas, alasan mengapa regresi deret waktu dianggap sebagai alat yang berbeda dibandingkan dengan regresi cross-sectional adalah bahwa deret waktu menyajikan tantangan unik ketika datang ke asumsi independensi teknik regresi. Terutama, karena fakta bahwa tidak seperti dalam analisis cross-sectional, urutan pengamatan penting, biasanya mengarah pada semua jenis korelasi dan struktur ketergantungan, yang kadang-kadang dapat membatalkan penerapan teknik regresi. Anda harus berurusan dengan ketergantungan, dan memang itulah analisis deret waktu yang baik.

Prediktabilitas Harga Aset

Juga, Anda mengulangi kesalahpahaman umum tentang pasar saham dan harga aset secara umum, bahwa mereka tidak dapat diprediksi. Pernyataan ini terlalu umum untuk menjadi kenyataan. Memang benar bahwa Anda tidak dapat langsung memprediksi kutu AAPL berikutnya dengan andal. Namun, ini masalah yang sangat sempit. Jika Anda menggunakan jaring lebih luas, Anda akan menemukan banyak peluang untuk menghasilkan uang menggunakan semua jenis perkiraan (dan analisis deret waktu khususnya). Arbitrase statistik adalah salah satu bidang tersebut.

Sekarang, alasan mengapa harga aset sulit untuk diprediksi dalam waktu dekat adalah karena fakta bahwa sebagian besar perubahan harga adalah informasi baru. Informasi yang benar-benar baru yang tidak dapat secara realistis dirancang dari masa lalu adalah secara definisi mustahil untuk diprediksi. Namun, ini adalah model yang ideal, dan banyak orang akan berpendapat bahwa anomali ada yang memungkinkan negara bertahan. Ini berarti bahwa bagian dari perubahan harga dapat dijelaskan oleh masa lalu. Dalam kasus semacam itu, analisis deret waktu cukup tepat karena tepat berkaitan dengan kegigihan. Ini memisahkan yang baru dari yang lama, yang baru tidak mungkin untuk diprediksi, tetapi yang lama diseret dari masa lalu ke masa depan. Jika Anda dapat menjelaskan sedikit saja, dalam keuangan itu berarti Anda dapat melakukannyadapat menghasilkan uang. Selama harga strategi yang dibangun berdasarkan ramalan tersebut mencakup pendapatan yang dihasilkannya.

Akhirnya, lihat hadiah nobel ekonomi pada tahun 2013 : "sangat mungkin untuk memperkirakan arah yang luas dari harga-harga ini dalam periode yang lebih lama, seperti tiga hingga lima tahun ke depan." Lihatlah kuliah mulia Shiller , ia membahas perkiraan harga aset.

Analisis deret waktu juga dapat berkontribusi pada anomali efektif atau deteksi pencilan dalam data temporal.

Sebagai contoh, dimungkinkan untuk menyesuaikan model ARIMA dan menghitung interval perkiraan. Tergantung pada kasus penggunaan, interval dapat digunakan untuk menetapkan ambang batas, di mana proses dapat dikatakan terkendali; jika data baru jatuh di luar ambang batas itu ditandai untuk perhatian lebih lanjut.

Posting blog ini memiliki tinjauan singkat dan luas tentang analisis deret waktu untuk deteksi outlier. Untuk perawatan yang lebih mendalam, para peneliti di ebay menjelaskan bagaimana mereka melakukan deteksi anomali pada skala berdasarkan analisis statistik dari data time series.

Ada banyak metode statistik lain, seperti regresi dan pembelajaran mesin, yang memiliki kasus penggunaan yang jelas: regresi dapat memberikan informasi tentang hubungan antara dua variabel, sementara pembelajaran mesin sangat bagus untuk prediksi.

Anda menjawab pertanyaan Anda sendiri, di bawah ini: autokorelasi. Rangkaian waktu biasanya memilikinya, melanggar asumsi regresi OLS dasar. Teknik deret waktu memiliki asumsi yang sesuai untuk deret waktu.

Metode pembelajaran mesin yang berhubungan dengan data sekuensial adalah khusus, seperti jaringan saraf berulang (RNN) atau jaringan saraf convolutional 1-D (CNN), sehingga Anda masih memiliki teknik khusus untuk deret waktu.

Tapi sementara itu, saya tidak melihat untuk analisis deret waktu apa. Tentu, saya bisa memasukkan model ARIMA dan menggunakannya untuk prediksi, tetapi apa gunanya ketika interval kepercayaan untuk prediksi itu akan sangat besar? Ada alasan mengapa tidak ada yang bisa memprediksi pasar saham meskipun itu adalah industri yang paling didorong oleh data dalam sejarah dunia.

Interval kepercayaan diri (CI) yang dihasilkan dari teknik deret waktu mungkin akan lebih besar daripada yang dari regresi deret waktu. Fitur ini dikenal sebagai akurat. Secara umum, ketika Anda menggunakan regresi non-time-series CI Anda akan lebih kecil tetapi itu salah karena Anda telah melanggar asumsinya. Jika semua yang ingin Anda lakukan adalah menyajikan grafik dengan CI kecil make up atau skip sepenuhnya CI, tetapi jika Anda ingin CI yang tepat gunakan teknik yang tepat.

Pasar saham sulit diprediksi karena sifatnya itu. Rangkaian waktu lainnya jauh lebih mudah diprediksi. Coba gunakan teknik pembelajaran mesin pilihan Anda di pasar saham dan saya ragu Anda akan lebih sukses.

Demikian juga, bagaimana cara menggunakannya untuk memahami proses saya lebih lanjut? Tentu, saya dapat merencanakan ACF dan pergi "aha! Ada ketergantungan!", Tapi lalu apa? Apa gunanya? Tentu saja ada ketergantungan, itu sebabnya Anda melakukan analisis deret waktu untuk memulai. Anda sudah tahu ada ketergantungan. Tapi untuk apa Anda menggunakannya?

Memprediksi. Untuk melihat musim. Untuk memiliki gagasan tentang variabilitas data selama musim yang berbeda. Belum lagi bahwa ada teknik deret waktu yang lebih kuat daripada ARIMA jadul, seperti metode State Space. ARIMA bukan teknik terbaik untuk memodelkan deret waktu. (Bahkan, prosedur ARIMA dalam perangkat lunak statistik pilihan Anda mungkin menggunakan representasi Space Negara di bawah tenda.)

Untuk menambahkan beberapa warna ke jawaban deteksi anomali oleh redhqs, di tempat kerja saya membangun model deteksi anomali untuk metrik operasional seperti penjualan dan arus lalu lintas. Kami melakukan analisis deret waktu untuk memahami apa seharusnya penjualan jika semuanya berjalan seperti yang diharapkan, dan kemudian membandingkannya dengan nilai-nilai yang diamati untuk melihat apakah situs web rusak. Ini penting karena untuk setiap menit situs turun kita kehilangan banyak uang.

Ada berbagai metode yang dapat Anda gunakan, dan metode yang berbeda mencoba untuk menyelesaikan berbagai hal dalam banyak kasus. Sebagai contoh metode statistik utama yang saya gunakan untuk deteksi anomali penjualan disebut "STL" (dekomposisi tren musiman menggunakan loess). Ini memisahkan musiman, tren dan kebisingan acak. Kami sebenarnya menggunakan ini untuk mengidentifikasi musiman harian dan mingguan. Lalu kami membuang kebisingan, dan menggabungkan tren / musiman untuk memperkirakan penjualan yang diharapkan. Jadi, dalam kasus kami, kami menggunakan pendekatan untuk memahami perbedaan penjualan dengan waktu hari dan waktu dalam seminggu, dan untuk mengecualikan kebisingan acak dari taksiran.

Selain jawaban luar biasa yang diberikan oleh orang lain, saya ingin mengomentari bagaimana analisis deret waktu digunakan dalam teknik listrik.

Sebagian besar teknik kelistrikan terdiri dari modulasi voltase dan arus untuk mengirimkan informasi, atau menggunakan sensor untuk mengubah sinyal fisik (seperti gelombang suara) menjadi bentuk listrik, dari mana komputer diharapkan untuk membuat keputusan. Konverter analog ke digital (A / D) menerjemahkan sinyal-sinyal ini menjadi satu set sampel terpisah (dalam waktu), atau serangkaian waktu! Metode analisis deret waktu adalah dasar dari hampir semua algoritma pemrosesan sinyal modern.

Misalnya, pemrosesan ucapan terdiri dari menggunakan mikrofon untuk mengubah gelombang suara menjadi tegangan listrik, yang disampel oleh A / D, setelah itu dibuat model rangkaian waktu sinyal. Sebagai contoh, linear predictive coders (LPC) di ponsel membuat model ARMA dari kata-kata yang diucapkan dan mengirimkan koefisien model (bersama dengan indeks yang mewakili sinyal eksitasi dari kamus yang telah ditentukan) daripada sampel data sendiri untuk mencapai kompresi data.