Daftar kemungkinan fitur gambar untuk pengambilan gambar berbasis konten

15

Saya mencoba untuk menemukan daftar fitur gambar yang mungkin seperti warna, tepi berorientasi dan sebagainya untuk mengukur kegunaannya jika menemukan objek yang sama / mirip dalam gambar. Adakah yang tahu daftar seperti itu atau setidaknya beberapa fitur?

Jstr
sumber
Ini di luar topik, tetapi, apakah CBIR dapat mengekstrak fitur dari dataset Open Image? Mungkinkah mengekstraksi fitur gambar meskipun gambar tersebut tidak disimpan di disk lokal?
Quix0te

Jawaban:

25

Lapangan itu sendiri terlalu luas. Jadi saya ragu Anda dapat memiliki daftar lengkap di sini. Namun, MPEG 7 adalah salah satu upaya utama dalam menstandardisasi bidang ini. Jadi apa yang dimasukkan di sini tidak universal - tetapi setidaknya yang paling utama.

Berikut adalah beberapa set fitur kunci yang diidentifikasi dalam MPEG7 (Saya benar-benar dapat berbicara hanya tentang Deskriptor Visual dan orang lain tidak melihat ini untuk cakupan penuh).

Ada 4 kategori Deskriptor Visual:

1. Penjelas Warna yang meliputi:
Warna dominan,
Tata Letak Warna (dasarnya warna Primer berdasarkan blok-demi-blok)
Warna Terukur (pada dasarnya Color histogram),
Struktur Warna (pada dasarnya histogram Warna lokal),
dan ruang Warna untuk membuat segala sesuatu dapat dioperasikan.

2. Penjelas Tekstur (lihat juga ini ) yang meliputi:
Penjelajahan Penjelajahan Tekstur - yang mendefinisikan granularitas / kekasaran, keteraturan, dan arah. Deskripsi Tekstur Homogen - yang didasarkan pada bank filter Gabor. dan
Edge Histogram

3. Deskriptor Bentuk yang meliputi:
Deskriptor berbasis kawasan adalah atribut skalar bentuk yang dipertimbangkan - seperti area, eksentrisitas, dll.
Berbasis kontur yang menangkap fitur bentuk karakteristik aktual dan
deskriptor 3D

4. Deskriptor Gerak untuk
Gerak Kamera Video (parameter gerak kamera 3-D)
Gerak Lintasan (dari objek dalam adegan) [misalnya diekstraksi oleh algoritme pelacakan] Gerak Parametrik (misalnya vektor gerakan, yang memungkinkan deskripsi gerak adegan. Tetapi ia dapat menjadi model yang lebih kompleks pada berbagai objek).
Aktivitas yang lebih merupakan deskriptor semantik.


MPEG 7 tidak mendefinisikan "Bagaimana ini diekstraksi" - itu hanya mendefinisikan apa artinya dan bagaimana untuk mewakili / menyimpannya. Jadi ada penelitian tentang cara mengekstrak dan menggunakannya.

Berikut ini makalah bagus lainnya yang memberi wawasan tentang hal ini.

Tapi ya, banyak dari fitur ini agak mendasar dan mungkin lebih banyak penelitian akan membuat set fitur yang lebih canggih (dan kompleks).

Dipan Mehta
sumber
8

Ok saya pikir saya menemukan daftar yang cocok dengan hanya mencari sedikit lebih banyak. Ada kertas oleh Deselaers dll al. yang menjadi apa yang saya cari!

Jstr
sumber
6

Ada juga buku yang membundel satu set kertas yang terkait dengan topik ini. Ini disebut Prinsip Pengambilan Informasi Visual .

Geerten
sumber
Googleing tentang buku tidak mengungkapkan banyak ulasan positif. Sebenarnya lebih banyak keluhan daripada yang positif. Apakah Anda masih menganggapnya sebagai referensi yang bagus, dan jika demikian, mungkin Anda bisa memberi tahu kami kapan itu berguna bagi Anda? :)
penelope
Alasan utama untuk menaruhnya di sini bukan karena saya sering menggunakannya, tetapi guru saya merekomendasikannya (dan saya menghargai pendapatnya). Googleing tentang itu menunjukkan bahwa itu benar-benar seikat kertas, dan bukan benar-benar buku. Ini juga menunjukkan yang sudah cukup tua, tetapi salah satu dari sedikit buku tentang topik ini. Karena itu, saya pikir jawaban saya masih tepat.
Geerten
3

@Dipan Mehta membahas deskriptor fitur yang dapat digunakan. Biarkan saya sekarang mencoba dan menutupi sisi lain dari koin dengan menyebutkan beberapa metode deteksi fitur yang mengekstrak fitur yang baik untuk CBIR .

Referensi saya untuk penelitian CBIR saya adalah makalah oleh Sivic, Zisserman dan Nister, Stewenius . Ada lebih banyak makalah terkini dari para penulis ini, tetapi ini menyajikan semua ide yang relevan.

Mereka berpendapat bahwa untuk mengimplementasikan metode CBIR yang efisien , fitur properti pelengkap harus digunakan:

  • Bentuk daerah yang Diadaptasi - cenderung dipusatkan padafitur mirip sudut

    contoh: Sudut Harris, Harris multi-skala, DoG (Perbedaan Gaussians - tetapi juga merespons tepi!)

  • Wilayah Stabil maksimal - cenderung dipusatkan padafitur seperti gumpalan

    contoh: MSER (Kawasan Eksternal yang Stabil Maksimal), DoG

Secara mengejutkan, Wikipedia juga menawarkan klasifikasi jenis fitur (detektor) yang bagus, yang menyatakan jenis wilayah minat yang mereka deteksi untuk sebagian besar fitur yang saat ini banyak digunakan:

  • detektor tepi
  • detektor sudut
  • detektor gumpalan
  • detektor ridge

Sebagian besar artikel saat ini saya telah membaca bersumpah bahwa deskriptor SIFT (Scale-invariant feature transform) dan cukup kuat untuk digunakan dalam kombinasi dengan fitur pendeteksi yang dipilih. Referensi meliputi:

  • tautan yang sudah disediakan
  • Mikolajczyk, Schmid berkaitan dengan perbandingan deskriptor lokal
  • Dahl mengevaluasi kombinasi detektor-deskriptor

Catatan! bahwa makalah-makalah ini tidak berurusan dengan CBIR tetapi digunakan sebagai referensi dalam karya-karya terkait CBIR .

Akhirnya, perlu disebutkan bahwa metode CBIR yang sukses tidak hanya bergantung pada fitur detektor dan deskriptor yang digunakan, tetapi juga:

  • struktur pencarian yang efisien (quantisation fitur visual)
  • cara untuk membangun deskriptor gambar - baik berdasarkan fitur visual umum (deskriptor lokal), atau dengan membandingkan deskriptor gambar global (ini adalah ide yang sangat baru, jadi tidak ada referensi saat ini)
  • mengukur jarak antara deskriptor gambar

Juga, saya telah menjawab beberapa pertanyaan tentang CBIR pada DSP dan stackoverflow , keduanya disertai dengan referensi dan penjelasan dan saya pikir mereka mungkin relevan, jadi Anda mungkin ingin melihatnya:

  • DSP: 1
  • stackoverflow: 1 , 2
Penelope
sumber