Pemrosesan Gambar Sebelum Deteksi Fitur

9

Saya telah mengimplementasikan fitur detektor berdasarkan sudut Harris . Sering kali berfungsi dengan baik, tetapi ada kasus di mana kinerjanya buruk. Saya perlu membuatnya berfungsi pada banyak gambar berbeda tanpa mengonfigurasinya secara terpisah.

Masalahnya adalah dengan nilai ambang detektor. Jika diset terlalu rendah, detektor akan menyala terlalu banyak sehingga menghasilkan banyak fitur. Jika diset terlalu tinggi, fitur yang ada terlalu sedikit.

Saya telah menyelesaikan sebagian ini dengan ANMS (Adaptive Non-Maximal Suppression) untuk mengurangi jumlah fitur sebelum memberikan vektor deskriptor kepada mereka.

Namun, gambar seperti ini adalah masalahnya:

masukkan deskripsi gambar di sini

Mereka memiliki kontras yang rendah dan saya tidak dapat "menetapkan" ambang batas terlalu rendah untuk semua gambar. Ini akan menyebabkan detektor bekerja pada gambar-gambar ini, tetapi gambar lain akan mengandung ribuan fitur, yang akan lambat untuk difilter dengan ANMS dan ini akan merusak kinerja secara keseluruhan.

Saya berpikir untuk menyesuaikan gambar sebelum deteksi fitur. Mungkin pemerataan histogram akan melakukan pekerjaan. Ini mungkin operasi yang valid karena perubahan kontras secara global tidak berpengaruh pada penjelas fitur (mereka tidak berubah pada kecerahan dan kontras).

Mungkin bekerja dengan ambang adaptif atau heuristik akan bekerja lebih baik.

Ada saran lain?

image-processing local-features Libor
sumber
@Seyhmus Güngören: Oh. Saya telah menerima jawaban yang saya dapatkan sejauh ini karena saya menemukan solusi yang cukup memuaskan, tetapi masih menunggu jawaban yang lebih baik atau lebih rumit.
Libor
@ Libor Ini bagus untuk pertanyaan baru Anda karena mungkin lebih menarik untuk menyelesaikan pertanyaan Anda dalam kasus saat ini.
Seyhmus Güngören
@ Libor apakah Anda menganggap pencocokan histogram memilih histogram gaussian seperti yang memiliki rata-rata sekitar 128?
Seyhmus Güngören
@ SeyhmusGüngören Ya saya sedang memikirkan hal ini. Saya mungkin akan mencobanya dengan beberapa ide lain.
Libor
@ Libro Bisakah Anda jelaskan bagaimana Anda berencana untuk menggunakan fitur yang terdeteksi? Satu-satunya ide saya adalah pencarian atau pencocokan gambar berbasis konten (misalnya untuk estimasi homografi), tetapi karena itulah satu-satunya hal yang pernah saya lakukan dengannya, saya mungkin salah :) Jika, di sisi lain, itulah yang Anda rencanakan untuk digunakan mereka untuk, saya mungkin bisa berkontribusi.
penelope

Jawaban:

1

Kemungkinan akan melakukan deteksi tepi sederhana (seperti Laplace), dan menggunakan intensitas rata-rata hasil sebagai dasar untuk ambang batas untuk sudut Harris. Ketika Anda memiliki kontras rendah, Anda akan mendapatkan tepi lebih sedikit dan dengan intensitas lebih rendah, dengan kontras tinggi Anda mendapatkan tepi lebih banyak dan dengan intensitas yang lebih tinggi.

Anda bukan satu-satunya yang berjuang dengan masalah ini. Jika Anda memiliki akses ke basis data kertas, ini mungkin menarik:

Mungkin perlu mencari deteksi sudut harris adaptif (otomatis) lebih lanjut.

Geerten
sumber
Itu bukan kontradiksi. Detektor memiliki dua tahap: 1) mendeteksi fitur, 2) menggambarkan fitur. Pemerataan histogram harus memiliki efek pada tahap 1 (lebih banyak fitur terdeteksi), bukan pada tahap 2. Saya perlu sejumlah fitur moderat untuk dideteksi, sehingga tidak perlu disaring banyak.
Libor
Ok, saya memikirkan hal ini, tetapi tidak sepenuhnya jelas dari pertanyaan Anda. Saya tidak bermaksud menggunakan gambar tepi sebagai input untuk detektor fitur, tetapi sebagai ukuran Anda sendiri tentang apa nilai ambang seharusnya.
Geerten
Terima kasih, itu pemikiran yang menarik. Detektor sudut Harris menggunakan gambar turunan (dx, dy, dxy) untuk menyusun ukuran sudut di setiap titik. Karena ini sudah didasarkan pada langkah-langkah tepi, saya sekarang berpikir tentang mengambil histogram fungsi respon sudut dan menghitung ambang histogram itu. Anda menginspirasi saya, terima kasih :)
Libor
Saya senang saya bisa menginspirasi Anda;) Menambahkan kertas yang mungkin bisa membantu.
Geerten
2

Apakah Anda benar-benar harus menggunakan sudut Harris? Ada banyak fitur yang dikembangkan setelah sudut Harris, dengan properti yang lebih baik. Tinjauan yang baik dapat ditemukan di artikel ini:

Berdasarkan artikel itu dan juga pengalaman pribadi saya, saya menyarankan untuk beralih ke MSER (Maximally Stable Extermal Areas) , atau bahkan menggabungkannya dengan DoG (Perbedaan Gaussians) - fitur yang pertama kali disajikan sebagai bagian dari pipa SIFT.

Jika masalahnya benar-benar kontras rendah , maka fitur MSER harus benar-benar membuat Anda bahagia: mereka (cukup) tidak berubah terhadap perubahan pencahayaan. Singkatnya, mereka terhubung daerah stabil gambar melalui serangkaian binarizasi ambang batas yang berbeda.

Proses ekstraksi fitur independen dari penghitungan deskriptor, jadi seharusnya tidak terlalu sulit untuk mengintegrasikan cara-cara baru ekstraksi fitur ke dalam proses Anda.

Juga, saya pernah mendengar (tetapi tidak pernah benar-benar bekerja dengan) sudut Multiscale Harris sebagai ekstensi ke sudut Harris. Saya tidak tahu banyak tentang mereka dan secara pribadi tidak bisa merekomendasikan bahan bacaan tentang topik ini, jadi saya meninggalkan pencarian artikel dan memilih bahan yang paling menarik bagi Anda.

Lebih jauh, mungkin saya menyarankan bahwa gambar yang Anda posting mungkin memiliki masalah lain selain kontras rendah . Dalam pengalaman pribadi saya, vegetasi seperti semak-semak atau mungkin bidang yang Anda miliki, serta awan bergelembung yang indah cenderung menghasilkan "fitur-fitur umum" - fitur yang cenderung memiliki deskriptor yang sama (atau berbeda) dengan banyak fitur lainnya.

Secara praktis, ini berarti bahwa ketika melakukan pencocokan fitur pada dua gambar dari perspektif yang berbeda, fitur yang diekstraksi dari jenis permukaan ini cenderung cocok secara salah. Saya telah melakukan tesis Master yang sebagian besar berkaitan dengan ekstraksi fitur untuk digunakan dalam pencocokan fitur yang selanjutnya digunakan untuk menghitung transformasi homografi antara dua gambar ketika saya menemukan masalah ini. Saya tidak menemukan artikel lain yang menjelaskan masalah ini pada saat itu, tetapi tesis saya mungkin bermanfaat untuk pendekatan Anda secara keseluruhan.

Terakhir, seperti yang telah Anda tetapkan, ambang batas dan teknik yang berfungsi baik pada sebagian besar gambar mengekstrak fitur kecil dalam gambar jenis ini, karena sebagian besar wilayahnya homogen. Gambar semacam ini menghadirkan masalah dalam pencocokan fitur (yang dapat diperluas ke penjahitan gambar), pengambilan gambar berbasis konten, dan saya akan menduga pelacakan serta aplikasi serupa. Tidak ada metode yang saat ini bekerja dengan baik pada mereka.

Metode yang bekerja dengan baik pada gambar semacam ini serta kasus-kasus khas sedang dieksplorasi dan diteliti saat ini, seperti pendekatan yang saya mulai kerjakan secara singkat dijelaskan dalam jawaban ini .

Penelope
sumber
Terima kasih atas jawaban terperinci, saya akan membaca surat kabar ketika memiliki waktu luang. Saya sedang mengimplementasikan fitur detektor menghadapi dua masalah: kompleksitas implementasi dan masalah paten. Aplikasi saya adalah perataan gambar komersial dan perpustakaan penjahitan, jadi saya memiliki sumber daya dan waktu yang terbatas untuk implementasi dan tidak mampu membayar SIFT atau SURF. Saya mungkin akan beralih ke MSER atau detektor / deskriptor canggih lainnya, tetapi sejauh ini sudut Harris bekerja dengan baik kecuali gambar dengan pencahayaan buruk.
Libor
@ Libor Itulah keindahannya: Anda tidak perlu beralih. Anda bisa menambahkan fitur-fitur baru ke dalam pipa pendeteksi-> deskripsi yang ada. Tidak masalah bagaimana fitur diekstraksi, Anda selalu dapat menghitung deskriptornya dengan taktik yang sama. Dari semua hal yang saya tulis, mungkin artikel pertama yang disebutkan membandingkan berbagai opsi untuk deteksi / deskripsi mungkin terbukti paling berguna.
penelope
Saya biasa mengumpulkan deskriptor besar dan kemudian menggunakan PCA untuk meningkatkan kecepatan dan kekuatan diskriminatif deskriptor. Namun, PCA cukup mahal untuk dataset besar. Karya ini menarik saya karena peningkatan generik dari deskriptor. Sejauh ini yang saya gunakan adalah "Feature Space Outlier Rejection", yang hanya melakukan thresholding pada pencocokan fitur berdasarkan jarak 1-nn / 2-nn. Ini dijelaskan oleh D. Lowe dalam makalahnya dan memiliki kekuatan diskriminatif yang sangat baik karena mengeksploitasi properti shell jarak dalam ruang redup.
Libor
Sedangkan untuk detektor, perubahan sudut pandang besar dan invarian skala tidak menjadi masalah, karena dengan mosaicing gambar (panorama, mikroskop) zoom biasanya dijaga tidak berubah dan affine atau deformasi proyektif cukup kecil antara gambar yang cocok. Masalah utamanya adalah terlalu sedikit atau terlalu banyak fitur yang terdeteksi dan deskriptor yang buruk.
Libor
Saya pribadi tidak tahu banyak tentang pilihan deskriptor, saya hanya bekerja dengan SIFT. Tetapi tautan yang Anda berikan menyebutkan bahwa mereka mirip dengan deskriptor DAISY, yang saya juga ingat dievaluasi sangat bagus. Menggabungkan lebih banyak ekstraktor fitur semoga memberi Anda lebih banyak fitur, dan skala invarian hanya bisa menjadi nilai tambah, bahkan jika Anda tidak membutuhkannya. Saya membaca beberapa karya yang menyebutkan bahwa bekerja dengan beberapa ekstraktor fitur meningkatkan kekuatan diskriminatif (saya dapat mencari tautannya jika Anda mau).
penelope