Bagaimana cara kerja Super Resolusi?

10

Memilih dari pertanyaan ini saya membaca artikel Wikipedia tetapi saya tidak bisa mengerti mengapa menumpuk salinan gambar yang sama satu sama lain harus meningkatkan resolusi gambar?

K ''
sumber

Jawaban:

13

Prosesnya rumit tetapi ini harus memberi intuisi pada apa yang terjadi. Bayangkan Anda memiliki kamera biasa, tetapi dengan motor untuk memindahkan sensor setengah piksel ke segala arah.

Alih-alih mengambil satu gambar, kamera ini mengambil empat: satu terpusat, satu menggeser setengah piksel tepat, satu menggeser setengah piksel ke bawah, dan satu menggeser setengah piksel ke kanan dan setengah piksel ke bawah.

Kami kemudian dapat mengambil gambar di tengah, membuatnya menjadi dua kali lipat ukurannya, menjabarkan pikselnya seperti ini:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Lalu kita bisa mengisi celah, menggunakan gambar bergeser lainnya, 1, 2, dan 3:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Meninggalkan kami dengan gambar resolusi dua kali lipat. Cukup menarik ada kamera daripada menggunakan teknik ini - seperti Hasselblad H4D-200MS (maaf jika Anda harus bertanya berapa banyak Anda tidak mampu membelinya).

Superresolusi dengan kamera standar sedikit lebih rumit karena ketika Anda memiliki kamera atau gerakan subjek yang tidak terkontrol, Anda tidak akan mendekati pergeseran setengah piksel, tetapi kecuali jika Anda sangat tidak beruntung gambar yang Anda geser akan diimbangi dari aslinya. Dengan menggabungkan gambar yang cukup Anda akan mendapatkan gambar sampel yang sangat tidak teratur (dengan sampel piksel yang tidak jatuh ke grid) tetapi yang dapat diinterpolasi (dengan menelusuri garis antara sampel untuk menebak hasil yang jatuh pada garis grid yang tepat) ke gambar biasa.

Matt Grum
sumber
1
Penting untuk diingat bahwa gerakan itu tidak harus terjadi di dalam kamera, itu bisa dilakukan dengan menggerakkan kamera itu sendiri. Itu sebabnya resolusi super bekerja sangat baik dengan video, karena kamera hampir selalu akan memiliki gerakan kecil di antara frame.
Håkon K. Olafsen
Gerimis atau dithering ini digunakan secara luas dengan astrofotografi digital. Banyak gambar individu ditumpuk untuk membantu mengurangi noise yang melekat pada gambar sementara pada saat yang sama ada kesempatan untuk memulihkan detail dan resolusi yang signifikan.
smigol
dan bagaimana menumpuk banyak salinan dari foto yang sama dapat mencapai itu? Saya bingung karena setelah menumpuk Anda harus menyelaraskan dan ini akan membatalkan pergeseran antara piksel yang tampak seperti ide inti di balik resolusi super
K ''
1
@ AkramMellice - penumpukan yang sama tidak melakukan ini. Perangkat lunak dapat digunakan untuk memeriksa dan berpotensi "mengisi" info berdasarkan informasi lain dalam gambar, tetapi itu akan menjadi kurang sempurna ... Bagaimanapun, akan sangat luar biasa jika Pentax menambahkan fitur ini, sesuatu yang sepenuhnya mungkin mengingat anti-shake mereka ada di sensor dan itu variasi tentang bagaimana mereka melakukan astrotrace dengan unit GPS.
John Cavan
3

Pertimbangkan bahwa sensornya bukan perangkat penangkapan yang sempurna. Setiap piksel akan direkam dengan sejumlah kesalahan. Misalnya, jika nilai piksel yang paling akurat adalah N, sensor akan merekam nilai yang berada dalam kisaran N-E to N+Euntuk suatu yang diberikan E. Untuk sensor yang baik Ekecil, sensor yang buruk akan memiliki yang lebih besar E.

Perhatikan juga bahwa pada setiap paparan piksel yang diberikan akan memiliki kesalahan yang berbeda, sel-sel dalam sensor tidak memiliki memori, sehingga piksel yang keluar rendah satu kali dapat keluar tinggi di yang berikutnya.

Ketika Anda mengambil beberapa eksposur dari subjek yang sama dan rata-rata bersama-sama Anda secara efektif mengurangi E. Untuk piksel contoh kami di atas, Anda akan rata-rata sekelompok nilai berbeda yang ada di sekitar yang tidak dikenal N, sehingga rata-rata akan membawa Anda lebih dekat ke ideal itu N.

Miguel
sumber
3
Ini bukan hanya mengurangi kesalahan - pada kenyataannya dalam kasus ini bukan mengurangi kesalahan secara TERAKHIR - itu mendapatkan LEBIH BANYAK informasi dengan menangkap secara nominal data yang sama berulang kali dan mencari informasi tambahan yang hadir dengan resolusi yang lebih halus daripada pitch sensor. Menambahkan beberapa mekanik ke sensor antara tembakan dan kemudian menerima mereka akan membantu ini. // A77 Sony DSLR dan beberapa Sony lainnya memiliki mode agregat derau rendah multi-shot yang BUKAN hanya program rata-rata. Anda dapat memindahkan kamera secara substansial karena membutuhkan 6 bingkai dan masih mendapatkan gambar yang ditingkatkan.
Russell McMahon
1
Ini menjelaskan cara kerja penumpukan gambar untuk pengurangan noise. Sementara noise yang berlebihan dapat mencegah Anda menyelesaikan detail, resolusi super berbeda karena membutuhkan setidaknya beberapa gerakan kamera untuk meningkatkan resolusi.
Matt Grum
Seperti yang telah ditunjukkan, apa yang Anda gambarkan bukanlah resolusi super, tetapi penumpukan gambar. Ini tidak meningkatkan resolusi, tetapi mengurangi noise.
Håkon K. Olafsen
Sementara judul pertanyaan menyebutkan resolusi-super, pertanyaan di dalam tubuh bertanya tentang 'susun salinan dari gambar yang sama'. Apa yang saya jelaskan adalah, sebenarnya, salah satu dari banyak cara untuk meningkatkan resolusi gambar Anda, dan itu dapat dilakukan dengan kamera apa pun.
Miguel
1

Berikut ini adalah seperti yang saya mengerti hal-hal. Orang harus merasa bebas untuk menunjukkan kesalahpahaman sehingga kita semua dibangun, tetapi mudah-mudahan akan benar-benar menunjukkan apa pun yang mereka temukan dan tidak hanya bergumam dalam bir mereka. (atau jenggot atau ...).

Sederhananya dan secara sederhana, ada informasi yang sedikit berbeda dalam foto yang berbeda dan berbagai metode digunakan untuk mendeteksi dan mengekstrak informasi tambahan ini dan menggabungkannya dengan cara aditif yang konsisten.

Perlu dicatat bahwa sistem tidak dijamin berfungsi dalam semua kasus.
Catatan [Halaman Super-Resolusi Wikipedia] mencatat:

  • Dalam algoritma SR yang paling umum, informasi yang diperoleh dalam gambar SR tertanam dalam gambar LR dalam bentuk aliasing.

    Ini mengharuskan sensor penangkap dalam sistem cukup lemah sehingga aliasing benar-benar terjadi. Sistem terbatas difraksi tidak mengandung aliasing, juga sistem di mana fungsi Modulasi Transfer total sistem menyaring konten frekuensi tinggi.

Aliasing adalah kemampuan sistem untuk menyajikan data dengan benar dari frekuensi yang bersangkutan. Lihat "penjelasan" sebagai akhir.

Jika saya memahaminya dengan benar (dan saya mungkin atau tidak mungkin) frasa mereka "cukup lemah" berarti bahwa mereka adalah informasi tambahan yang sensornya sendiri tidak dapat selesaikan yang biasanya dianggap buruk sehingga biasanya ditekan jika mungkin VBUT bahwa ini "alias" informasi tambahan diperlukan oleh sistem SR. Nikon D800r tidak memiliki filter optik antialisasing pada sensor sedangkan D800 std dan hampir semua DSLR lainnya memiliki filter semacam itu.

MTF secara efektif adalah kemampuan lensa untuk menghasilkan kontras ATAU untuk menghasilkan "ketajaman" (keduanya saling terkait erat. MTF biasanya paling baik di dekat tengah lensa dan, dengan gambar persegi panjang, jatuh ke tepi dan biasanya lebih di sudut gambar Mereka mengatakan bahwa kemampuan sistem untuk menghasilkan gambar resolusi super tergantung pada kemampuannya untuk membuat kontras dan ketajaman - yaitu pada kualitasnya. Yaitu lensa harus setidaknya sama baiknya dengan lensa yang akan menghasilkan super rsolutionj iomage secara langsung jika sensor dan kemampuan proses ditingkatkan.


Mengasingkan adalah apa yang terjadi ketika aliran informasi diambil sampelnya begitu lambat sehingga beberapa informasi frekuensi tinggi berubah lebih cepat daripada tingkat pengambilan sampel dan "membungkus" dan tampak seolah-olah itu benar-benar komponen frekuensi yang lebih rendah. Dalam suatu sistem pembatas, laju sampling perlu setidaknya dua kali lipat dari laju informasi tertinggi yang ada tetapi dalam praktiknya laju yang agak lebih tinggi dari yang diperlukan.

Contoh sederhana:

  • Pertimbangkan urutan 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

    Jelas ada pola yang berulang setiap 12 unit.
    Ini adalah ave segitiga yang meningkat selama 6 siklus dan menurun selama 6 siklus lainnya dan kemudian berulang, dengan periode = 12 unit.

    Sekarang coba sampel setiap 11 kali saja. Kami mendapatkan
    0 1 2 3 4 5 6 5 4 3 2 1
    Ini persis pola yang sama TETAPI berubah 11 kali lebih lambat - gelombang segitiga dengan periode 11 x 12 = 132 unit.

    Cicipi urutan yang sama setiap kali ke-8 dan Anda mendapatkan 0 4 4 0 4 4 0 4 4
    yaitu terlihat seperti gelombang persegi 1: 2 dengan periode = 24 unit.

    Setiap periode pengambilan sampel yang lebih besar dari 6 unit waktu = setengah siklus akan menghasilkan kesalahan alias seperti itu.

Russell McMahon
sumber