Resolusi gambar CSI ditingkatkan: Seberapa nyata?

Jadi saya menonton klip Youtube berdurasi 1 menit berikut dari CSI New York . Dalam klip itu, menggunakan apa yang tampaknya menjadi rekaman dari kamera bank standar, mereka memperbesar setidaknya 100, dan melihat gambar pelakunya dalam pantulan mata gadis itu.

Sekarang, saya pikir ini benar-benar konyol, sehingga saya pikir itu benar-benar lucu.

Namun, teman saya berpendapat bahwa ada trik yang sangat baik untuk peningkatan gambar, seperti "resolusi super" sebuah prosedur di mana beberapa frame video menghasilkan gambar resolusi tunggal yang jauh lebih tinggi. Dia memang berpikir acara itu sedikit menekuk kebenaran, tapi seberapa banyak?

Jujur, saya sebenarnya tidak tahu apa-apa tentang hal ini, jadi pertanyaan saya adalah:

Seberapa baik peningkatan resolusi gambar modern? Juga, seberapa jauh program televisi CSI?

Terima kasih,

Catatan: Ini diposkan silang di situs Skeptics. Saya diberitahu bahwa saya mungkin menerima jawaban yang lebih baik di sini.

Jawaban singkat: Anda dapat memperoleh beberapa hasil yang sangat baik, tetapi hanya dalam kondisi tertentu dan sama sekali tidak mendekati apa yang ditampilkan dalam klip video yang ditautkan.

Perusahaan saya, Amped Software , mengembangkan perangkat lunak pemrosesan gambar dan video untuk aplikasi forensik dan intelijen, jadi pada dasarnya kami adalah mitra dunia nyata dari perangkat lunak CSI.

Dengan mengacu pada masalah umum peningkatan kualitas, saya dapat memberi tahu Anda bahwa bagi pasar kami adalah masalah besar untuk memenuhi harapan yang diciptakan oleh serial TV dan film Hollywood. Anda dapat melihat pada halaman sampel kami bahwa kadang-kadang hasil yang dapat kami peroleh benar-benar luar biasa, tetapi penting untuk dipahami bahwa kami dapat memperolehnya hanya dalam beberapa kondisi: jika ada informasi yang dicakup oleh gangguan, tetapi ada , kami dapat memulihkannya. Jika tidak ada informasi, kami tidak bisa dan kami tidak boleh membuatnya kembali. Dalam aplikasi khusus ini sangat penting tidak hanya mendapatkan hasil dari sudut pandang visual, tetapi juga mengikuti alur kerja ilmiah yang harus diterima oleh pengadilan .

Tahun lalu saya mempresentasikan penelitian yang menggambarkan masalah dan hasil pada hampir 200 kasus yang telah saya tangani dan hasil akhirnya adalah sebagai berikut:

• dalam lebih dari 50% kasus tidak ada yang dapat dilakukan (misalnya memulihkan plat nomor 5x2 piksel sama sekali tidak mungkin dilakukan dengan perangkat lunak apa pun di dunia);
• dalam sekitar 30% dari kasus kita bisa mendapatkan sedikit hasil (misalnya mengembalikan beberapa plat nomor atau memperbaiki tampilan keseluruhan wajah);
• dalam 10% dari kasus Anda mendapatkan hasil yang baik (Anda mendapatkan sebagian besar plat nomor, misalnya).

Harap dicatat bahwa semua kasus ini memiliki masalah kualitas yang parah. Jika kualitasnya bagus, kami tidak diminta mengerjakannya.

Khusus untuk peningkatan resolusi :

• saat Anda memperbesar gambar, Anda menginterpolasi piksel yang hilang: dari satu gambar Anda dapat meningkatkan tampilan gambar secara visual tetapi Anda tidak akan menambahkan detail nyata apa pun ;
• teknik resolusi super dapat menghasilkan hasil yang baik dalam kondisi tertentu: Anda harus memiliki cukup frame, digeser dengan jumlah piksel yang tidak bilangan bulat dan lebih disukai dengan beberapa artefak kompresi. Dalam kasus terbaik, Anda dapat mengharapkan hasil yang baik dalam zoom 2x dan 3x.

Apa yang diperlihatkan dalam klip video hanya dimungkinkan jika video asli telah dipotret pada beberapa megapiksel dan Anda akan memiliki resolusi untuk memperbesar sangat dekat (kurang lebih seperti yang Anda lakukan di Google Maps). Tentu saja, pada titik itu masih akan ada masalah lain, seperti fokus yang tepat, kondisi cahaya rendah, fakta bahwa perspektif mata berbeda dari seluruh subjek dalam video, hanya untuk menyebutkan beberapa.

Anda tidak dapat membuat sesuatu dari ketiadaan, Anda harus memiliki (atau menebak) beberapa informasi untuk dapat meningkatkan gambar dengan cara apa pun. Misalnya jika Anda mengetahui sifat-sifat fungsi buram (dan tidak ada suara gambar) maka Anda sebenarnya dapat menghapus foto. Namun Anda jarang tahu fungsi blur dan noise selalu ada sehingga sangat membatasi apa yang dapat Anda pulihkan (Adobe baru-baru ini menunjukkan filter yang tidak blur tetapi demo mereka menggunakan blur sintetis).

Singkatnya, CSI adalah fiksi yang hampir murni - keuntungan yang dimungkinkan dalam kehidupan nyata adalah marjinal, tidak seperti peningkatan resolusi 5x yang disajikan di TV.

Sanity check: jika mereka bisa melakukan semua itu, orang tidak akan membayar puluhan ribu untuk kamera 40+ MP Hasselblad, akan lebih murah untuk hanya menduplikasi perangkat lunak!

sunting: Saya entah bagaimana tidak melihat pertanyaan asli yang menyebutkan resolusi super dari video. Resolusi banyak gambar banyak dimungkinkan dalam kenyataan tetapi hanya sampai pada batasan sensor. Ini bekerja dengan menggunakan satu set gambar dengan pergeseran sub pixel. Ini memberi informasi nilai di antara piksel yang memungkinkan Anda membangun gambar dengan resolusi lebih tinggi. Resolusi super dari video berfungsi karena subjek yang bergerak menciptakan pergeseran yang sama, namun tampilan objek tidak boleh banyak berubah di antara frame. Teknik yang terbaik hanya memberi Anda hasil dari sensor resolusi yang lebih tinggi, Anda tidak dapat mengatasi batas daya resolusi lensa, yang akan sangat terbatas dengan lensa spesifikasi CCTV.

Berikut adalah contoh superresolusi dalam kondisi baik:

_{(sumber: wikimedia.org )}

gambar dari photoacute.com

peningkatan resolusi, ya, tapi masih jauh dari kinerja tingkat CSI.

Untuk merujuk komentar saya di atas, Hasselblads terbaru benar-benar menerapkan sensor shift super-resolution, dengan nama "multi-shot capture" sehingga Anda masih tidak bisa mengalahkan produsen format medium di gim mereka sendiri menggunakan perangkat lunak pintar ...

Jadi inilah yang saya miliki sejauh ini:

Area mata tempat mereka melihat Bola Basket sekitar 1 milimeter persegi. Berdasarkan ketinggian gadis itu, kami yakin dapat memperkirakan bahwa itu seharusnya paling banyak 1 juta dari total jumlah piksel pada layar. (Lebar dan tinggi gambar, walaupun tidak didefinisikan dengan baik untuk foto karena sesuatu mungkin lebih dekat, lihat sekitar 3 x 3 meter, yang berarti 10 juta milimeter persegi. Namun mata mungkin lebih dekat dengan lensa kamera yang sebenarnya sehingga Saya memperkirakan dan membagi sekitar $ 10 $.)

Jika rekamannya kualitas HD, itu masih hanya 2 megapiksel, jadi di mana kita melihat bola basket harus seukuran satu piksel.

Saya pikir alasan yang pasti menunjukkan itu tidak benar, tetapi saya masih bertanya-tanya, apa batas atas peningkatan gambar?

Ada beberapa perangkat lunak yang tersedia secara komersial di luar sana, dengan Resolusi Super. Saya sendiri belum mencoba semua ini, tetapi materi iklannya cukup bagus. Perangkat lunak diarahkan pada pengawasan, keamanan dan angkatan bersenjata tetapi saya kira beberapa unit forensik akan memiliki akses ke hal-hal ini.

Dua contoh adalah: Ikena dari MotionDSP dan TacitView dari 2d3

Peningkatan gambar / video ke level yang disarankan dalam acara TV sama sekali tidak mungkin, dan sebenarnya dibatasi oleh perangkat penangkap gambar. Itulah teknologi yang perlu dikembangkan terlebih dahulu.

Tidak mungkin mendapatkan informasi dari koleksi 10 piksel ke objek yang dapat dikenali. Pada tingkat piksel, itulah jumlah akhir informasi yang disediakan dalam gambar. Anda hanya memiliki 100 blok warna dalam zoom terbatas itu. Anda dapat menambah area 10x10 piksel menjadi 100x100 piksel melalui interpolasi, tetapi informasi dalam piksel 10x10 adalah semua yang harus dilewati, dan interpolasi bergantung pada tebakan yang dididik berdasarkan 10 x 10 piksel oleh perangkat lunak. Hasilnya akan menjadi blur 100 x 100 piksel. Sebagai alternatif, ambil gambar 2000x2000 piksel, dan sisipkannya hingga 4000x4000 piksel, dan beberapa kabur yang tidak sejelas pada gambar asli mungkin terlihat lebih jelas karena objek yang mungkin dalam gambar yang lebih besar murni melalui pareidolia - tetapi meskipun itu dugaan atau dugaan. Gambar yang diinterpolasi akan memberikan "ilusi" lebih detail,

Peningkatan gambar hanya bergantung pada jumlah maksimum informasi yang diambil melalui sumber pencitraan asli, dan hanya memperbesar menjadi piksel. Beberapa kamera dapat mengambil gambar dengan resolusi sangat baik, tetapi tidak ada perangkat lunak yang dapat mengeluarkan detail yang tidak direkam dalam gambar asli.

Sekarang, untuk kembali ke acara CSI, kebanyakan dari mereka mengambil rekaman kamera pengintai standar Anda, yang awalnya tidak terlalu tinggi dalam resolusi di kehidupan nyata, jadi ketika saya melihat peningkatan semacam ini di acara itu hanya membuat saya tertawa - karena tidak mungkin bahkan dengan bentuk perangkat lunak pengeditan gambar yang paling canggih (dan PhotoShop baik dan benar-benar di ujung atas skala lanjutan). Peningkatan dan pembesaran gambar bergantung 100% pada informasi yang ditangkap oleh perangkat pencitraan - sehingga kamera pengintai yang mampu menangkap mengatakan refleksi wajah seseorang di sisi kornea mata seseorang, harus super kuat, dan akan sangat mahal . Rekaman itu perlu memiliki definisi piksel yang luar biasa tinggi per frame (katakanlah 100 megapiksel atau sekitar 9,5 terabyte untuk menyimpan 1 detik rekaman), yang akan meledakkan ukuran file rekaman ke titik bahwa setiap kamera pengintai akan membutuhkan server server kecil untuk menampung rekaman 24 jam. Sangat mahal. Teknologi peningkatan yang dihasilkan akan bergantung pada perangkat penangkap gambar yang mampu melakukan tingkat terperinci video dan pengambilan gambar ini terlebih dahulu, untuk menyimpan data dengan cara yang mudah, dan berada pada titik yang murah untuk diluncurkan di seluruh kota. Ukuran file akan sangat besar pada rekaman video (ingat sekitar 9,5 terabyte per detik) sehingga perangkat lunak yang mampu melakukan ini akan membutuhkan superkomputer yang sangat kuat (menurut standar saat ini) untuk dijalankan. Dengan teknologi yang meningkat dengan kecepatan seperti itu, ini mungkin terjadi di beberapa titik di masa depan, mungkin dalam hidup kita. Hanya dengan begitu mereka dapat melakukannya, tetapi gambar tidak akan ditingkatkan, mereka hanya akan memperbesar gambar super detail. Saya tahu ini karena saya bekerja dalam citra digital untuk kehidupan penuh waktu.