Saya mengusulkan untuk mencoba dan menemukan tren dalam beberapa data jangka panjang yang sangat bising. Data pada dasarnya adalah pengukuran mingguan dari sesuatu yang bergerak sekitar 5mm selama periode sekitar 8 bulan. Data ke akurasi 1mm dan sangat bising secara teratur mengubah +/- 1 atau 2mm dalam seminggu. Kami hanya memiliki data hingga mm terdekat.
Kami berencana untuk menggunakan beberapa pemrosesan sinyal dasar dengan transformasi fourier cepat untuk memisahkan noise dari data mentah. Asumsi dasarnya adalah jika kita mencerminkan set data kita dan menambahkannya ke akhir set data kita yang ada, kita dapat membuat panjang gelombang penuh data dan oleh karena itu data kita akan muncul dalam transformasi fourier cepat dan mudah-mudahan kita dapat memisahkannya .
Mengingat ini kedengarannya agak meragukan bagi saya, apakah ini suatu metode yang layak untuk dijernihkan atau apakah metode ini mencerminkan dan menambahkan set data kami yang entah bagaimana cacat secara mendasar? Kami melihat pendekatan lain seperti menggunakan filter low pass juga.
sumber
Jawaban:
Kedengarannya cerdik bagi saya karena perkiraan tren akan bias di dekat titik di mana Anda splice pada data palsu. Pendekatan alternatif adalah regresi nonparametrik yang lebih halus seperti loess atau splines.
sumber
Jika Anda ingin memfilter tren jangka panjang menggunakan pemrosesan sinyal, mengapa tidak menggunakan low-pass?
Hal paling sederhana yang dapat saya pikirkan adalah rata-rata bergerak eksponensial.
sumber
Saya pikir Anda bisa mendapatkan beberapa distorsi pada titik tempel karena tidak semua gelombang yang mendasarinya akan terhubung dengan sangat baik.
Saya akan menyarankan menggunakan transformasi Hilbert Huang untuk ini. Lakukan pemisahan menjadi fungsi mode intrinsik dan lihat apa yang tersisa sebagai residu saat menghitungnya.
sumber
Anda dapat menggunakan transformasi wavelet diskrit (cepat :)) . Paket wavethresh di bawah R akan melakukan semua pekerjaan. Ngomong-ngomong, saya suka solusi @James karena sederhana dan sepertinya langsung menuju ke titik.
sumber
Sebagian besar waktu ketika saya mendengar "tren jangka panjang", saya memikirkan tren jangka panjang ke atas atau tren penurunan jangka panjang , tidak ada yang dapat ditangkap dengan baik oleh transformasi Fourier. Tren satu arah seperti itu lebih baik dianalisis dengan menggunakan regresi linier . (Transformasi dan periodier Fourier lebih tepat untuk hal-hal yang naik dan turun).
Regresi linier mudah dilakukan di sebagian besar spreadsheet. (a) Tampilkan persamaan untuk garis regresi (b) Membuat XY Scattergraphs dengan Spreadsheets
Regresi linier mencoba memperkirakan data Anda dengan garis lurus. Transformasi Fourier mencoba memperkirakan data Anda dengan beberapa gelombang sinus yang ditambahkan bersamaan. Ada teknik lain ("regresi non-linear") yang mencoba memperkirakan data Anda ke polinomial atau bentuk lainnya.
sumber
Transformasi Fourier mengasumsikan stationarity sinyal akal luas dan linear time invariance (LTI). Walaupun kuat untuk beberapa pelanggaran kondisi ini, saya tidak berpikir itu tepat untuk analisis tren karena asumsi stasioneritas, yaitu Anda mencoba untuk mengukur sesuatu yang melanggar salah satu asumsi dasar FFT.
Saya setuju dengan poster-poster di atas; mirroring data Anda dan menambahkan data mirroring ke akhir seri waktu Anda cerdik. Saya akan menyarankan bahwa pemasangan model regresi linier dengan tren waktu seperti yang disebutkan di atas mungkin lebih tepat.
Jika Anda ingin memeriksa periodisitas, Anda dapat menghapus tren dengan pemfilteran lulus tinggi dan melakukan analisis Fourier. Jika tren tetap terlihat setelah pemfilteran, Anda dapat mengurangi garis regresi linier yang sesuai dari sinyal asli sebelum FFT.
sumber