Bagaimana cara melihat data deret waktu besar secara interaktif?

10

Saya sering berurusan dengan jumlah data deret waktu yang masuk akal, 50-200 juta ganda dengan perangko waktu terkait dan ingin memvisualisasikannya secara dinamis.

Apakah ada perangkat lunak yang ada untuk melakukan ini secara efektif? Bagaimana dengan perpustakaan dan format data? Zoom-cache adalah salah satu contoh perpustakaan yang berfokus pada seri waktu yang besar. Dalam Zoom-cache data diringkas pada beberapa resolusi untuk membuatnya lebih mudah untuk melihat pada resolusi yang berbeda.

Sunting: Juga jika ada tempat lain saya harus menanyakan pertanyaan ini atau mencari jawaban tolong beri tahu saya.

time-series data-visualization large-data interactive-visualization Davorak
sumber
1
Meskipun saya tidak tahu bagaimana skala dengan jumlah data yang sangat besar, Anda mungkin ingin melihat Cubism.js .
chl
Saya melihat Cubism, yang terlihat bagus untuk grafik pembaruan tambahan dari aliran serial data, tetapi dengan pencarian singkat saya, saya tidak melihat apa-apa tentang caching banyak resolusi atau data ringkasan untuk mempercepat set data besar. Itu untuk penunjuk meskipun terlihat seperti perpustakaan keren.
Davorak
1
Anda mungkin tertarik dengan Zoomdata zoomdata.com/product/fast-data-sharpening-visualization Harga mereka cukup tinggi.
chhantyal
@ chhantyal - Terima kasih! Itu memang terlihat seperti alat yang saya cari. Meskipun saya tidak lagi bekerja dengan set data yang sama, saya masih tertarik pada ruang jadi saya mungkin akan mencoba jejak zoomdata di beberapa titik.
Davorak

Jawaban:

2

Ada satu set alat penelitian yang disebut TimeSearcher 1--3 yang memberikan beberapa contoh bagaimana menangani dataset time-series besar. Berikut adalah beberapa contoh gambar dari TimeSearcher 2 dan 3.

TimeSearcher 2

Pencari Waktu 3

edallme
sumber
2

Maaf untuk iklan sendiri, tetapi Thunderplot (thunderplot.com) akan menjadi kandidat yang baik untuk itu. Saya menulisnya persis untuk memplot interaktif dataset besar. Saya tidak mengujinya dengan set data baris 200KK, tetapi berfungsi baik dengan ~ 10KK baris. Juga ada fitur "read every Nth row", sehingga Anda dapat mengurangi jumlah data untuk disimpan / divisualisasikan. Saya dapat mengirimkan kunci pendaftaran kepada Anda sebagai ganti dari salah satu kumpulan data besar itu. :-)

tangkapan layar thunderplot

Vadim Kalinsky
sumber
0

Pos lain yang mempromosikan diri karena saya bekerja untuk perusahaan ini, tetapi SensorCloud (sensorcloud.com) menggunakan algoritma pintar untuk membuat grafik kumpulan data besar dengan sangat cepat. Awalnya dirancang dengan mempertimbangkan sensor fisik kami, tetapi memiliki pengunggah CSV untuk menangani data jadwal waktu apa pun.

Misalnya, kami mengunggah set data yang memiliki 100 miliar titik data (lebih dari 1 terabyte nilai timestamp + data) dan Anda dapat membuat grafik dan berinteraksi dengannya dengan sangat cepat.

Berikut tautan publik ke dataset tersebut: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/

Tautan di atas menggunakan penampil flash kami. Jika Anda tidak ingin menggunakan flash, inilah penampil javascript: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/

Gunakan roda gulir, atau Shift + klik kiri untuk memperbesar.

kembali
sumber