Registrasi Gambar dengan Segmentasi

15

Algoritma registrasi gambar biasanya didasarkan pada fitur titik seperti SIFT (Scale-Invariant Feature Transform).

Saya melihat beberapa referensi ke fitur garis, tetapi saya bertanya-tanya apakah mungkin untuk mencocokkan segmen gambar dan bukan titik . Misalnya, diberikan sumber dan gambar yang diubah:

masukkan deskripsi gambar di sini

Saya dapat melakukan deteksi tepi, kabur, dan Transformasi Daerah Aliran Sungai pada masing-masing:

masukkan deskripsi gambar di sini

Sangat disayangkan, segmentasi ternyata terlalu berbeda pada setiap gambar untuk mencocokkan segmen individu.

Saya melihat beberapa makalah tentang bentuk yang cocok dan deskriptor bentuk yang tidak berubah untuk affine transforms, jadi area ini tampaknya menjanjikan ...

Apakah ada metode segmentasi yang lebih kuat untuk affine (atau bahkan proyektif) deformasi gambar?

local-features image-segmentation image-registration Libor
sumber
1
Akal sehat saya memberi tahu saya bahwa wilayah yang lebih kecil lebih kuat untuk transformasi global. Dengan demikian, segmentasi harus memiliki banyak segmen kecil. Juga, beberapa bentuk tertentu tidak berubah pada beberapa transformasi, (seperti lingkaran ke rotasi)
Andrey Rubshtein
MSER (Daerah ekstrim maksimal yang stabil) adalah daerah, bukan titik. Dan mereka tidak berubah untuk transformasi affine. Tapi itu bukan metode segmentasi, sebenarnya.
Niki Estner
@nikie Jika Anda menaruh komentar Anda sebagai jawaban, saya akan menerimanya. Saya tertarik pada segmentasi karena fitur kawasan berisi beberapa informasi tentang transformasi gambar dan dapat digunakan untuk menebak transformasi antar gambar. Saya pasti akan mempelajari makalah tentang MSER.
Libor
Saat ini saya sedang mengerjakan CBIR menggunakan Component Trees. Representasi Pohon Komponen dari suatu gambar tidak akan terlalu bergantung pada deformasi (bahkan proyektif) pada gambar, level yang berbeda akan memungkinkan perbandingan dan operasi hingga tingkat detail yang berbeda, dan harus bekerja lebih baik daripada teknik saat ini pada gambar bertekstur rendah . Ini hanya topik penelitian untuk saat ini, baru saja dimulai, tetapi mudah-mudahan ada sesuatu dalam pendekatan ini, kalau tidak saya tidak akan diberikan hibah untuk melakukan ini. Tetapi, jika orang lain melakukan sesuatu seperti itu, mungkin bermanfaat.
penelope
@penelope Ini berfungsi pada CBIR mungkin juga berguna untuk mosaicing gambar (minat khusus saya) di mana kami telah menetapkan gambar dengan fitur serupa. Pendekatan populer saat ini adalah pencarian dimensi tinggi atas deskriptor titik (misalnya SIFT), yang dapat menyebabkan kecocokan salah antara gambar sementara "wilayah" atau "komponen" daripada titik mungkin dapat membedakan ini. Apakah Anda memiliki referensi ke makalah tentang representasi Component Tree gambar? Terimakasih banyak.
Libor

Jawaban:

4

MSER (Daerah ekstrim maksimal yang stabil) adalah daerah, bukan titik. Dan mereka tidak berubah untuk transformasi affine. Tapi itu bukan metode segmentasi, sebenarnya

Berbicara secara informal, idenya adalah untuk menemukan gumpalan di berbagai ambang batas, lalu pilih gumpalan yang memiliki perubahan bentuk / area paling sedikit di atas kisaran ambang batas. Wilayah-wilayah ini harus stabil untuk sejumlah besar transformasi skala abu-abu dan geometris.

Niki Estner
sumber
4

Saat ini saya sedang mengerjakan CBIR menggunakan Component Tree , yang seharusnya merupakan ide yang relatif baru. Beberapa keuntungan yang diharapkan dari menggunakan Pohon Komponen untuk menggambarkan gambar adalah:

  • Representasi Pohon Komponen dari suatu gambar tidak akan terlalu tergantung pada deformasi (bahkan proyektif) ke gambar
  • Memeriksa berbagai tingkat pohon akan memungkinkan perbandingan dan operasi hingga tingkat detail yang berbeda
  • Diskriminasi dan deskripsi harus bekerja lebih baik daripada teknik saat ini pada gambar bertekstur rendah.

Ketika saya baru saja memulai dengan penelitian yang berkaitan dengan topik ini, saya hanya memiliki gagasan yang samar tentang tujuan saya: mewakili gambar dengan Pohon Komponen dan kemudian membandingkan Pohon Komponen tersebut, baik secara langsung dengan menemukan representasi vektor. Saya mungkin dapat mengatakan lebih banyak dalam beberapa minggu (atau bulan), tetapi untuk sekarang saya hanya dapat menawarkan daftar makalah yang direkomendasikan kepada saya sebagai pengantar Pohon Komponen (saya belum membacanya):

Saya mungkin dapat memperbarui jawabannya sebagai dan jika saya menemukan sesuatu yang relevan.

Juga, jika tujuan Anda adalah, dengan cara tertentu, lebih tepat mencocokkan wilayah gambar daripada hanya titik , karena daerah mungkin lebih diskriminatif, ada saran bagus di J. Sivic dan A. Zisserman: "Video Google: Pengambilan Teks Pendekatan ke Pencocokan Objek dalam Video " .

Saya merujuk ke bagian yang berhubungan dengan Konsistensi Spasial , di mana sekelompok kecocokan antara titik fitur diterima hanya jika titik fitur mempertahankan konfigurasi spasial yang sama di kedua gambar. Dengan demikian, pencocokan tidak hanya tergantung pada jenis fitur yang diekstraksi (DoG, MSER, ...) atau deskriptor (SIFT), tetapi juga terlihat pada lingkungan yang lebih luas dari titik fitur, membuatnya (setidaknya sedikit) tergantung wilayah.

Penelope
sumber