Menggabungkan informasi deret waktu dari sumber dengan berbagai resolusi / skala spasial

Saya memiliki banyak gambar raster satelit yang tersedia dari berbagai sensor. Dari ini, yang lebih kasar memiliki resolusi temporal yang sangat berlimpah. Raster resolusi menengah cenderung memiliki lebih sedikit tanggal akuisisi tetapi masih ada beberapa tingkat informasi yang tersedia. Resolusi yang lebih halus memiliki resolusi temporal yang sangat rendah, berkisar antara 2 hingga 6 tanggal yang diamati dalam waktu kurang dari dua tahun. Saya bertanya-tanya apakah ada yang tahu tentang upaya untuk mempelajari seri waktu multi-skala ini dengan cara apa pun? Saya akan tertarik dalam memprediksi nilai masa depan pada skala yang lebih halus dengan menggunakan informasi yang tersedia dari yang lebih kasar. Masuk akal bagi saya bahwa data harus terkait (ya gambar mencakup wilayah yang sama) tetapi saya tidak tahu bagaimana cara mulai menggabungkan informasi ini dalam model prediksi.

Domain Spasial:

Sepertinya lebih seperti masalah pemrosesan gambar bagi saya. Metode pengelompokan mungkin membantu tetapi metrik mana (jarak, ragam, ketidakjelasan ...) dan algoritma mana (k-means, mean-shift, EM ...) yang paling sesuai dalam kasus Anda ditentukan oleh topologi gambar dan fitur Anda. akan digunakan. Anda dapat menerapkan binning gambar pada raster menengah dan halus. Kemudian cobalah berbagai teknik pengelompokan untuk melihat mana yang memberi Anda akurasi segmentasi terbaik secara keseluruhan dibandingkan dengan medium / fine raster asli Anda. Beberapa strategi pra-pemrosesan untuk menemukan hierarki ruang skala mungkin membantu. Ada satu algoritma segmentasi hierarki yang ditunjukkan di Bab 3 laporan ini tempat Anda

(1) Membangun ruang skala;

(2) Temukan ekstrem dan pelana di setiap level skala;

(3) Hubungkan setiap titik kritis pada tingkat skala tertentu ke lokasi terkait di tingkat skala berikutnya, dan temukan jalur kritis;

(4) Skala penentuan hierarki ruang berdasarkan pencarian permukaan dengan intensitas iso.

Untuk metode pengelompokan yang diperlukan oleh inisialisasi acak, seperti k-means, Anda dapat menggunakan hierarki yang ditemukan sebagai kelompok awal dan pusat massa untuk pengelompokan lebih lanjut. Selain itu, tergantung pada karakter gambar Anda, Anda mungkin juga ingin menambahkan lebih banyak fitur (seperti perubahan tekstur, informasi ruang lain selain ruang RGB, dll) dalam algoritma pengelompokan.

Domain Temporal

Sekarang Anda memiliki gambar dengan skala waktu yang berbeda tetapi resolusi yang sama (semoga). Jika pekerjaan prediksi Anda memperkirakan pergerakan beberapa benua, badai, atau presipitasi, Anda dapat mencoba estimasi gerakan dengan filter Kalman . Gerakan untuk setiap piksel dapat ditimbang di dalam wilayah yang sesuai (cluster) berdasarkan metriknya dibandingkan dengan centroid wilayah tersebut. Anda dapat menggunakan jaringan saraf untuk peramalan urutan waktu jangka pendek ( bab 3dalam tesis ini). Dan karena Kalmanfilter hanyalah sebuah metode untuk menerapkan aturan Bayes, kemungkinan maksimum dapat diterapkan untuk estimasi negara. Prosedur estimasi negara dapat diimplementasikan secara rekursif. Posterior dari langkah waktu sebelumnya dijalankan melalui model dinamika dan menjadi yang baru sebelum untuk langkah waktu saat ini. Maka ini sebelumnya dapat dikonversi menjadi posterior baru dengan menggunakan pengamatan saat ini. Akibatnya, prosedur estimasi ulang parameter iteratif seperti EM dapat digunakan untuk mempelajari parameter dalam filter Kalman. Bab 6 dari tesis yang sama, dan studi tentang smoothing Kalman keduanya mencakup rincian lebih lanjut tentang parameter belajar dengan EM.

Anda harus melihat literatur untuk resolusi super. Area ini biasanya menyelesaikan masalah dalam mengambil beberapa gambar resolusi kasar untuk membuat satu gambar resolusi tinggi dengan meminjam kekuatan di banyak gambar secara efektif.

Saya telah membuat daftar beberapa literatur yang relevan yang harus menjadi titik awal yang baik.

Pendekatan favorit saya di sini menggunakan cara nonlokal. Ini melibatkan pemisahan semua gambar menjadi patch atau piksel, membuat perkiraan piksel yang lebih baik dalam gambar resolusi lebih halus menggunakan kombinasi piksel tertimbang dalam gambar yang lebih kasar.$5x5$$7x7$

Referensi

Elad, Michael, dan Arie Feuer. "Pemulihan gambar superresolusi tunggal dari beberapa gambar yang kabur, berisik, dan undersampled." Pemrosesan Gambar, Transaksi IEEE pada 6.12 (1997): 1646-1658.

Park, Sung Cheol, Min Kyu Park, dan Moon Gi Kang. "Rekonstruksi gambar dengan resolusi tinggi: tinjauan teknis." Majalah Pemrosesan Sinyal, IEEE 20.3 (2003): 21-36.

Protter, Matan, dkk. "Generalisasi sarana nonlokal ke rekonstruksi super-resolusi." Pemrosesan Gambar, Transaksi IEEE pada 18.1 (2009): 36-51.