File RAW menyimpan 3 warna per piksel, atau hanya satu?

16

Ken Rockwell mengatakan bahwa pembuat kamera mempertimbangkan sensor R / G / B individu ketika mereka berbicara tentang megapiksel. Jadi gambar di bawah ini akan menjadi kamera 6x6 piksel, bukan 3x3 seperti yang Anda bayangkan.

masukkan deskripsi gambar di sini

Jika itu benar, file RAW hanya akan berisi satu informasi warna per pixel (baik itu R, G atau B) sebagai angka 10, 12 atau 14 bit.

Kebingungan saya muncul ketika saya membaca di beberapa tempat hal-hal seperti:

  • File RAW menyimpan rata-rata dari dua sensor hijau per piksel.
  • File RAW menggunakan 12 bit per piksel, tetapi ada 3 warna sehingga sebenarnya 36 bit per piksel.

Yang jelas akan salah, jika klaim Ken benar.

Jadi apa yang sebenarnya?

Ariel
sumber

Jawaban:

16

File mentah tidak benar-benar menyimpan setiap warna per pixel. Mereka hanya menyimpan nilai kecerahan tunggal per piksel.

Memang benar bahwa dengan masker Bayer pada setiap piksel, lampu disaring dengan filter Merah, Hijau, atau Biru¹ pada setiap piksel dengan baik. Tapi tidak ada cutoff keras di mana hanya lampu hijau yang melewati piksel yang disaring hijau atau hanya lampu merah yang menembus ke piksel yang disaring merah. Ada banyak tumpang tindih. Banyak lampu merah dan beberapa lampu biru menembus filter hijau. Banyak cahaya hijau dan bahkan sedikit cahaya biru membuatnya melalui filter merah, dan beberapa lampu merah dan hijau direkam oleh piksel yang difilter dengan warna biru.

respon warna

Karena file mentah adalah satu set nilai luminance tunggal untuk setiap piksel pada sensor, tidak ada informasi warna aktual per-pixel ke file mentah. Warna diperoleh dengan membandingkan piksel yang berdekatan yang difilter untuk satu dari tiga warna dengan masker Bayer. Tapi sama seperti menempatkan filter merah di depan lensa saat mengambil film hitam putih tidak menghasilkan foto merah monokromatik (atau foto B&W di mana hanyaobjek merah memiliki kecerahan sama sekali), topeng Bayer di depan piksel monokromatik juga tidak menghasilkan warna. Apa yang dilakukannya adalah mengubah nilai nada (seberapa terang atau seberapa gelap nilai pencahayaan dari warna tertentu dicatat) dari berbagai warna dengan jumlah yang berbeda. Ketika nilai tonal (intensitas abu-abu) dari piksel yang berdekatan disaring dengan tiga warna berbeda yang digunakan dalam masker Bayer dibandingkan, maka warna dapat diinterpolasi dari informasi tersebut. Ini adalah proses yang kami sebut sebagai demosaicing .

Banyak matematika dilakukan untuk menetapkan nilai R, G, dan B untuk setiap piksel. Ada banyak model berbeda untuk melakukan interpolasi ini. Seberapa banyak bias diberikan ke merah, hijau, dan biru dalam proses demosaicing adalah apa yang mengatur keseimbangan warna putih . Koreksi gamma dan setiap membentuk tambahan dari kurva respon cahaya adalah apa yang membuat kontras . Tetapi pada akhirnya nilai R, G, dan B diberikan untuk setiap piksel. Dalam contoh 6x6 piksel Anda dalam pertanyaan, hasil demosaicing akan menjadi gambar 36 piksel dengan 36 piksel yang masing-masing memiliki nilai Merah, Hijau, dan Biru.

Sedikit resolusi hilang dalam terjemahan. Ternyata dalam hal jumlah garis hitam dan putih bergantian per inci atau mm yang dapat diselesaikan dengan sensor dengan topeng RGGB Bayer dan dilakukan demosaicing dengan baik, batas resolusi absolut sensor Bayer adalah sekitar 1 / √2 dibandingkan dengan sensor monokromatik yang tidak memiliki masker Bayer dan dengan demikian tidak memerlukan demosaicing (tetapi hanya dapat melihat dalam Black & White).

Bahkan ketika kamera Anda diatur untuk menyimpan file mentah, gambar yang Anda lihat di belakang layar LCD kamera Anda tepat setelah Anda mengambil gambar bukan data mentah yang tidak diproses. Ini adalah gambar pratinjau yang dihasilkan oleh kamera dengan menerapkan pengaturan kamera ke dalam data mentah yang menghasilkan gambar pratinjau jpeg yang Anda lihat pada LCD. Gambar pratinjau ini ditambahkan ke file mentah bersama dengan data dari sensor dan informasi EXIF ​​yang berisi pengaturan dalam kamera pada saat foto diambil.

Pengaturan pengembangan kamera untuk hal-hal seperti white balance, kontras, bayangan, sorotan, dll. Tidak memengaruhi data aktual dari sensor yang direkam dalam file mentah. Sebaliknya, semua pengaturan itu terdaftar di bagian lain dari file mentah.

Ketika Anda membuka file "mentah" di komputer Anda, Anda melihat salah satu dari dua hal berbeda:

  • Gambar jpeg pratinjau yang dibuat oleh kamera pada saat Anda mengambil foto. Kamera menggunakan pengaturan yang berlaku saat Anda mengambil gambar dan menambahkannya ke data mentah dalam file .cr2. Jika Anda melihat gambar di bagian belakang kamera, itu adalah pratinjau jpeg yang Anda lihat.

  • Konversi data mentah oleh aplikasi yang Anda gunakan untuk membuka file "mentah". Ketika Anda membuka file 'mentah' 12-bit atau 14-bit dalam aplikasi foto Anda di komputer, apa yang Anda lihat di layar adalah rendering file mentah yang terdososi 8-bit yang mirip sekali dengan jpeg, bukan File 14-bit monokromatik Bayer-filtered yang sebenarnya. Saat Anda mengubah pengaturan dan bilah geser, data 'mentah' dipetakan ulang dan dirender kembali dalam 8 bit per saluran warna.

Yang Anda lihat akan tergantung pada pengaturan yang Anda pilih untuk aplikasi yang Anda gunakan untuk membuka file mentah.

Jika Anda menyimpan gambar Anda dalam format mentah ketika Anda mengambilnya, ketika Anda melakukan pemrosesan posting Anda akan memiliki informasi yang sama persis untuk bekerja tanpa peduli pengaturan pengembangan apa yang dipilih dalam kamera pada saat Anda memotret. Beberapa aplikasi pada awalnya dapat membuka file menggunakan pratinjau jpeg atau dengan menerapkan pengaturan dalam kamera aktif pada saat gambar diambil ke data mentah tetapi Anda bebas untuk mengubah pengaturan itu, tanpa kehilangan data yang merusak, ke apa pun kamu mau di postingan.

Digital Photo Professional Canon akan membuka file mentah .cr2 dengan Picture Style yang sama seperti yang dipilih dalam kamera saat memotret. Yang harus Anda lakukan untuk mengubahnya adalah menggunakan menu drop-down dan pilih Picture Style lainnya . Anda bahkan dapat membuat "resep" untuk satu gambar dan kemudian menerapkannya ke semua gambar sebelum mulai bekerja dengannya. Perangkat lunak pemrosesan mentah dari pabrikan lain serupa dan biasanya ada opsi untuk membuat aplikasi membuka gambar dengan pengaturan pengembangan kamera yang diterapkan.

Dengan aplikasi pemrosesan mentah pihak ketiga seperti Adobe Lightroom atau Camera Raw , Aperture atau Foto Apple, PhaseOne's Capture One Pro , DxO Lab's OpticsPro , dll. Mendapatkan gambar untuk ditampilkan sesuai dengan pengaturan dalam kamera bisa menjadi sedikit rumit. Produk Adobe, misalnya, mengabaikan sebagian besar semua bagian catatan pembuat dari data EXIF ​​file mentah di mana banyak produsen memasukkan setidaknya beberapa informasi tentang pengaturan kamera.

¹ Warna sebenarnya dari topeng Bayer di depan sensor sebagian besar kamera digital berwarna adalah: Biru - versi biru agak ungu berpusat pada 450 nanometer, Hijau - versi hijau agak kebiruan yang berpusat pada sekitar 540 nanometer, dan Merah - versi kuning sedikit oranye. Apa yang kita sebut "merah" adalah warna yang kita rasakan untuk cahaya dengan panjang gelombang sekitar 640 nanometer. Filter "merah" pada sebagian besar array Bayer memungkinkan cahaya terbanyak di suatu tempat sekitar 590-600 nanometer. Tumpang tindih antara kerucut "hijau" dan "merah" di retina manusia bahkan lebih dekat dari itu, dengan "merah" berpusat di sekitar 565 nanometer, yang kita anggap kuning-hijau.

Michael C
sumber
1
Ini pada dasarnya salah. Anda mengatakan (atau paling tidak sangat menyiratkan) bahwa ini berfungsi karena informasi warna bocor ke tetangga. Itu tidak perlu. Raw akan bekerja dengan baik jika filternya benar-benar sempurna. Algoritma demosaicing berbeda "melibatkan banyak matematika", tetapi yang paling sederhana adalah dengan hanya rata-rata piksel terdekat dan ini bekerja dengan sangat baik. Saya kira dilakukan beberapa juta kali dalam gambar multi-megapiksel yang secara teknis "banyak" matematika, tapi itu bukan matematika yang rumit - ini adalah hal tingkat tiga.
Silakan Baca Profil
2
Bayer berfungsi karena umumnya dugaan yang baik bahwa piksel pada misalnya lokasi yang disaring biru memiliki jumlah hijau yang sama dengan piksel hijau di sebelahnya (dan sama untuk merah). Ketika tebakan ini mati, Anda mendapatkan artefak, dan itulah yang berusaha diselesaikan oleh algoritma yang lebih rumit. Mereka tidak bekerja dengan mengasumsikan pengetahuan khusus tentang respons frekuensi filter.
Silakan Baca Profil
1
Saya mungkin telah salah memahami apa yang telah Anda katakan selama itu, karena Anda sering membicarakan hal ini. :) Terutama karena Anda membuka jawabannya, bisakah Anda mengedit untuk menjelaskan dengan cara yang membuatnya lebih jelas? Khususnya, maksud Anda bahwa filter yang tumpang tindih berarti hasilnya pada dasarnya tidak akurat, tidak peduli apa pun proses yang dilakukan dan kami hanya hidup dengan itu, atau bahwa itu dapat dibuat akurat oleh beberapa transformasi dalam demosiacing, atau bahwa itu dapat dibuat lebih akurat dengan langkah lain yang diperlukan untuk membuat file RAW (tetapi yang bukan bagian dari demosiasi)?
Silakan Baca Profil
1
Maksud saya, terlalu banyak orang yang mendeskripsikan topeng Bayer secara tidak benar sebagai hanya membiarkan lampu hijau melalui filter hijau, hanya membiarkan lampu merah melalui filter merah, dan hanya membiarkan cahaya biru melalui filter biru. Itu tidak lebih dari mengatakan bahwa dengan menggunakan filter hijau dengan film B&W hanya akan memungkinkan lampu hijau di tempat kejadian ditangkap. Menggunakan filter hijau hanya berarti bahwa lampu hijau diizinkan melalui pada tingkat transmisif yang lebih tinggi daripada lampu merah atau biru, tetapi beberapa dari ketiganya melewati. Hanya dengan membandingkan perbedaan antara cahaya ...
Michael C
1
@mattdm rata-rata piksel terdekat menghasilkan foto yang sangat buram, dan tidak ada kamera di pasaran yang melakukannya dengan cara itu. Algoritma demosaicing mengambil keuntungan dari korelasi antara piksel RGB untuk sangat meningkatkan resolusi, dengan mengorbankan artefak sesekali. Dan pasti ada banyak matematika yang terlibat.
Mark Ransom
2

Itu semua benar, tetapi interpretasinya dapat diperluas.

Pola warna mentah spesifik itu disebut pola Bayer.

Ya, mentah adalah satu warna per piksel, dan satu piksel itu (biasanya) 12 bit. Jadi ada tiga warna piksel mentah, ada yang biru, ada yang merah, dan 2x yang dihitung itu berwarna hijau.

Kemudian nanti, perangkat lunak pengolah mentah (untuk membuat RGB JPG, bisa langsung di kamera, atau bisa eksternal nanti) mengubah data mentah menjadi gambar RGB sehingga kami dapat menggunakannya. Ini adalah interpolasi, piksel tetangga dari dua warna lainnya digabungkan ke dalam masing-masing piksel RGB ini, tetapi semuanya memang menjadi piksel RGB. Pada titik itu, itu adalah piksel RGB 36 bit, namun resolusi spasial sedikit terganggu, dengan berbagai data piksel dibagi dengan tetangga. Kita mungkin berakhir dengan (misalnya) 6000 RGB piksel lebar sensor, tetapi itu berasal dari 2000 sensor biru dan 2000 merah, dll (dan data juga dibagi secara vertikal, itu berasal dari lebih dari tiga piksel). Ini disebut demosaicing ... yang dapat ditemukan online.

WayneF
sumber
IMHO biasanya 14 bit. Hanya kamera lama (Canon S120 misalnya) yang menyimpan 12 bit per piksel
Romeo Ninov
@RomeoNinov, tidak sesederhana yang lama vs yang baru. Misalnya, beberapa Nikons memungkinkan Anda memilih 12 bit atau 14 bit, sehingga Anda dapat melakukan tradeoff dari kedalaman gambar vs laju pemotretan bersambungan dan ukuran gambar.
Peter Taylor
@ PeterTaylor, tidak pernah tahu ini, saya penembak Canon. Tapi ini seharusnya bagi saya seperti pengecualian, bukan seperti aturan (12 bit). Dan sejauh yang saya ingat beberapa kamera menyimpan dalam 16 bit per pixel
Romeo Ninov
Akan menjadi argumen yang jauh lebih kuat jika Anda memberikan bukti bahwa sebagian besar kamera Canon berukuran 14 bit. Inilah Canon yang mengatakan sebaliknya: cpn.canon-europe.com/content/education/infobank/… "Sebagian besar kamera digital EOS menangkap gambar dalam mode 12-bit"
WayneF
@WayneF Berdasarkan kamera yang dirujuk sebagai yang terbaik Canon pada saat itu (1D Mark II), artikel itu ditulis sekitar April 2004 (ketika 1D II menggantikan 1D) dan Juni 2005 (ketika 1D Mark IIN menggantikan 1D II) .
Michael C
2

Ken benar dalam klaim yang Anda kutip - semacam. Benar bahwa kamera digital saat ini (dengan pengecualian dari mereka yang menggunakan sensor Foveon Sigma) bekerja dengan menggunakan matriks Bayer, dan resolusi sensor dikutip sebagai ukuran matriks. Contoh gambar Anda mewakili sensor "36 piksel". Namun, penting untuk mengenali bahwa kamera mengubahnya menjadi gambar penuh warna dengan ukuran penuh yang ditentukan dalam piksel aktual , dan ini tidak seburuk yang dilakukan Ken .

Beberapa hal yang dia katakan dalam artikel itu benar-benar salah, dimulai dengan:

Pada 2006 algoritma cerdas ini memungkinkan mulai dengan sepertiga data dan membuatnya terlihat sama baiknya dengan memiliki setengah jumlah piksel yang diklaim.

Ini omong kosong pada tahun 2006 dan omong kosong hari ini. Proses ini bekerja pada beberapa asumsi sederhana. Lebih banyak yang diletakkan di sini , tetapi yang mendasar adalah bahwa Anda dapat memprediksi apa yang "hilang" informasi harus melihat pada piksel tetangga berwarna berbeda. Ini ternyata merupakan asumsi yang baik sebagian besar waktu, dan sangat salah kali lain. Dalam kasus di mana tidak ada banyak transisi yang sangat rinci antara warna, hasilnya sama baiknya dengan jika masing-masing sensel merekam warna penuh. Dalam kasus di mana anggapan itu salah, itu jauh lebih buruk. Di dunia nyata, yang pertama sebenarnya sangat umum dan bekerja jauh lebih baik daripada "satu-setengah" - tetapi yang penting adalah bahwa itu tergantung pada konteks.

RAW tidak menawarkan keuntungan di sini, kecuali untuk satu taruhan potensial. Interpolasi Bayer terjadi pada perangkat lunak yang membuka data mentah. Kemajuan di masa depan dalam algoritma interpolasi Bayer dapat dimasukkan ke dalam perangkat lunak mentah di masa depan, jika dan hanya jika pembuat kamera Anda terus mendukung kamera kemarin di perangkat lunak besok. Seperti halnya, pembuat kamera Anda mungkin tidak lagi mendukung kamera lama Anda di perangkat lunak mentah besok!

Dia benar dalam menembak RAW tidak mengubah fundamental, tetapi gagasan bahwa file lama akan berhenti bekerja pada dasarnya tidak masuk akal . Karena kamera lama menggunakan prinsip dasar yang sama, dan format file yang pada dasarnya serupa, tidak perlu banyak biaya untuk membawa dukungan untuk model lama tanpa batas, dan vendor memiliki banyak insentif untuk melakukannya - dan bahkan jika itu akan terjadi, ada banyak sekali decoder sumber terbuka.

Dan tentu saja, menyimpan file RAW menawarkan keuntungan lain yang tidak terkait dengan demosaicing.

Tapi konyol juga mengatakan bahwa kemungkinan perbaikan di masa depan adalah satu - satunya keuntungan. Seperti yang saya katakan, ada asumsi berbeda yang dapat dibuat tentang konten gambar Anda, dan algoritma yang berbeda (atau tweak untuk algoritma tersebut) akan lebih cocok dengan situasi dunia nyata yang berbeda, jadi jika Anda menemukan diri Anda dalam situasi di mana Anda mendapatkan moire atau artefak lainnya, Anda mungkin bisa menghadapinya. (Meskipun, saya harus menambahkan bahwa ini adalah pada tingkat yang sangat rewel - jarang ada situasi di mana mengintip ini sangat bermanfaat.)

Ada juga faktor yang bisa dimaafkan Ken karena artikel itu sudah berumur satu dekade. Pada tahun 2006, sebagian besar kamera berada pada kisaran 5-8 megapiksel, dengan model DSLR kelas atas yang membentang hingga 12. Sekarang, DSLR dengan kisaran rendah / menengah dan kamera tanpa cermin menawarkan 16 dan 24 megapiksel, dan naik dari sana. Pada titik ini, kebawelan tentang detail warna pada level peeping-pixel benar- benar akademis, karena di dunia nyata sangat jarang pencahayaan, lensa, stabilitas, dan segala hal lainnya berbaris dengan baik sehingga ini adalah faktor pembatas.

Secara umum, banyak situs Ken Rockwell seperti ini. (Lihat jawaban ini untuk lebih lanjut .) Ini sangat disayangkan, karena ia sebenarnya memiliki banyak hal menarik untuk dikatakan dan beberapa saran yang bagus, tetapi ada banyak omong kosong juga, dan daripada mengakui atau memperbaikinya, ia cenderung menggandakan turun, dan kemudian mengklaim bahwa seluruh situs satir.

Oh, dan fakta menyenangkan bonus: layar LCD belakang kamera dan EVF juga menggunakan tiga sub-piksel berwarna untuk mewakili satu piksel digital, dan layar ini biasanya dipasarkan dengan jumlah sub-piksel - efektif 3x apa yang mungkin Anda harapkan dari cara resolusi layar komputer diberikan.

Silakan Baca Profil
sumber