Mengapa kamera tidak merekam data cahaya di seluruh rana?

Maaf jika judul pertanyaannya membingungkan, saya tidak tahu cara terbaik untuk mengatakan ini, jadi silakan mengubahnya jika Anda dapat memikirkan sesuatu yang lebih baik. Saya belajar daun jendela elektronik dapat menangkap gambar sekaligus daripada menggunakan shutter mekanik yang menggunakan tirai. Ini memberi saya ide. Katakanlah bidikan yang diberikan akan diekspos dengan benar pada 1/200, tetapi rentang dinamis gambar terlalu lebar untuk ditangkap oleh kamera.

Mengapa kamera dengan rana elektronik tidak dapat terus-menerus menangkap dan merekam data cahaya dari suatu gambar sepanjang durasi rana, alih-alih hanya mengumpulkan data cahaya dan akhirnya menyimpannya sebagai satu gambar? Itu akan seperti melihat ruangan mulai dari kegelapan dan secara bertahap meningkatkan kecerahan. Kamera kemudian akan dapat menangkap seluruh rentang dinamis dari suatu gambar dan mengkompilasi data ke dalam suatu gambar dengan seluruh rentang dinamis hanya dalam satu foto alih-alih membutuhkan beberapa eksposur untuk HDR. Ini juga akan memungkinkan untuk penyesuaian eksposur dalam pengolahan pasca tanpa setiap kehilangan informasi karena kamera telah disimpan data cahaya dari berbagai seluruh eksposur. Mengapa ide ini tidak diimplementasikan saat ini?

Sudah dilakukan dalam sinar-X.

The TimePix adalah detektor 256x256. Ini memiliki tiga mode operasi :

• "energi total dalam piksel ini yang biasa sejak kami mulai mengintegrasikan";
• Time-over-Threshold (TOT): ketinggian pulsa yang terdeteksi direkam dalam penghitung piksel dalam mode TOT; dan
• Time-of-Arrival (TOA): mode TOA mengukur waktu antara pemicu dan kedatangan radiasi ke setiap piksel.

Teknologi ini telah disesuaikan dengan pencitraan optik . Mode TOT paling baik digambarkan sebagai akting seperti Wilkinson ADC - pembacaan sesuai dengan total waktu di mana akumulasi muatan berada pada atau di atas ambang batas. Mengurangkan ini dari waktu rana memberi tahu Anda berapa lama waktu yang dibutuhkan untuk piksel ini untuk jenuh. Dengan demikian, untuk setiap piksel, Anda dapat menggambar garis dari 0 hingga saturasi dari waktu ke waktu sejak rana dibuka. Jadi Anda dapat memilih waktu rana virtual apa pun yang Anda inginkan (selama semua piksel jenuh) dan menggunakan garis setiap piksel untuk memperkirakan akumulasi cahaya hingga waktu rana virtual tersebut.

Sebuah implementasi yang lebih langsung dari ide Anda telah dilakukan di CMOS. Setiap piksel merekam dan melaporkan waktunya untuk mencapai biaya ambang batas. (Daripada ADC piksel yang tidak jenuh dalam waktu, ambangnya disapu, sehingga setiap piksel akhirnya melebihi ambang batas yang cukup rendah.)

Saya ingat bahwa Pixim Digital Pixel System ( contoh ) juga melakukan ini dengan menggunakan ADC per piksel dan tanpa membacanya secara berulang membongkar muatan terakumulasi (untuk mendapatkan kemiringan akumulasi). Tetapi saya tidak dapat menemukan bukti yang menguatkan saat ini.

Anda kehilangan beberapa masalah nyata dengan gagasan ini.

Anda ingin "terus menerus" menangkap data ringan, tetapi itu sudah dilakukan.

Tampaknya Anda bermaksud memiliki serangkaian gambar yang tersedia setelah eksposur, masing-masing terpapar dari awal hingga saat memajukan dengan keseluruhan eksposur. Gambar yang lebih baru akan memiliki lebih banyak detail di area bayangan, tetapi mungkin area yang cerah terpotong. Firmware kamera kemudian dapat merakit satu gambar dengan rentang dinamis yang lebih besar daripada gambar individual mana pun.

Dua masalah mencolok dengan ini adalah:

• cara membaca semua jutaan piksel dengan sangat cepat, dan
• di mana harus meletakkan hasilnya.

Teknologi ini tidak tersedia hari ini untuk melakukan itu.

Anda menyarankan "Atau setiap kali foton menyentuh piksel pada sensor, beri waktu" - ini akan menjadi data dalam jumlah besar . Pencarian cepat menunjukkan bahwa setiap piksel - atau sensel - dalam kamera digital jenuh di suatu tempat antara 20.000 dan 100.000 foton. Katakanlah kita senang dengan kamera 12 megapiksel dan baik-baik saja dengan sensitivitas sisi bawah di sini. Itu masih seperempat triliun poin data. Jika kita berbicara kamera 50 megapiksel dengan banyak rentang dinamis, mungkin lima triliun . Bahkan jika kita membuat cap waktu kita masing-masing hanya dua byte (satu byte hanya memberikan 256 nilai, jadi tidak cukup untuk membuat ini semua berharga), itu ... banyak data untuk satu gambar. Maksud saya, secara harfiah terabyte.

Itu jelas saat ini tidak layak dalam hal pipa data dengan teknologi saat ini, apalagi menempatkannya di suatu tempat .

Apa yang Anda minta, pengambilan sampel cahaya kontinu, mungkin secara teori mungkin tetapi praktis terlalu mahal. Dimungkinkan untuk memperkirakannya dengan laju pengambilan sampel yang sangat tinggi. Ini dapat dilakukan dengan kamera video berkecepatan tinggi (slo-mo) dengan frame rate yang sangat tinggi. Kemudian hasilnya bisa diproses setelahnya untuk membuat gambar.

Sebuah pencarian cepat menunjukkan suff seperti Phantom ini

Hal-hal ini bekerja dengan memiliki sensor cepat dan dengan dapat memindahkan dan menyimpan data dalam jumlah besar. Mencoba pengambilan sampel secara terus menerus, atau laju pengambilan sampel yang cukup cepat sehingga terlihat berkelanjutan, memperbesar masalah ini dan biaya.

Rana elektronik sudah merupakan langkah maju. Kami sekarang dapat mengambil semua piksel secara bersamaan, lalu meminta mereka untuk berhenti mengumpulkan (yaitu, mencicipi setiap piksel), dan mengukur informasi untuk setiap warna setiap piksel secara seri, menangkap data tentang gambar yang diambil secara bersamaan.

Ini tidak digunakan untuk menjadi kasus.

Kami masih harus melakukan beberapa peretasan untuk pemandangan HDR, namun, ini tidak seburuk dulu, lagi-lagi karena kemajuan dalam teknologi sensor. Kami sekarang memiliki sensitivitas sensor dan jangkauan dinamis yang lebih besar, sehingga foto yang dulu membutuhkan pemotretan dua braket dan pemrosesan pasca sekarang dapat ditangkap dalam kamera karena sensor dapat mengukur tinggi dan rendah dari gambar tertentu. Faktanya, sensor telah menjadi sangat baik sehingga Anda jarang akan menemukan situasi yang membutuhkan lebih dari tiga bidikan braket untuk mendapatkan seluruh rentang dinamis. Sensor yang lebih lama mungkin membutuhkan 5 atau lebih bidikan braket.

Gagasan Anda, seperti yang saya pahami, membutuhkan pengukuran berkelanjutan berdasarkan basis per piksel.

Walaupun ini adalah ide yang bagus, implementasi tetap menjadi masalah. Kamera dirancang untuk mengalirkan data dari sensor secara seri. Tidak ada garis untuk setiap piksel ke prosesor, melainkan sensor gambar memiliki logika yang memungkinkan prosesor membaca nilai untuk piksel, atau banyak piksel, sekaligus tetapi tidak sekaligus. Itu harus beralih melalui semua piksel, dan ini membutuhkan waktu.

Kita tidak dapat mengatasi ini karena kita tidak akan dapat memiliki 50 juta kabel antara sensor dan prosesor. Kita dapat mengintegrasikan lebih banyak pemrosesan ke dalam sensor, tetapi sensor tersebut khusus untuk melakukan satu hal, dan melakukannya dengan baik. Menambahkan sirkuit digital akan menghasilkan lebih banyak noise, dan mungkin piksel lebih kecil bahkan jika IC 3D digunakan. Selanjutnya, proses yang digunakan untuk membuat silikon sensitif cahaya yang baik berbeda dari yang digunakan untuk membuat silikon digital yang baik, berdaya rendah, dan cepat diproses.

Semua hal ini adalah penghalang, namun untuk beberapa aplikasi khusus mereka sudah digunakan. Biasanya di bidang ilmiah dan industri.

Tapi itu tidak berarti kita ditinggalkan dalam kedinginan. Ketika sensor meningkat, khususnya dalam rentang dinamis, Anda akan menemukan bahwa pada akhirnya Anda akan mendapatkan "HDR" di kamera tanpa tanda kurung - sensor hanya akan cukup sensitif untuk mendapatkan kisaran penuh, dan lensa dan bodi kamera akan menjadi baik cukup untuk mencegah pendarahan, refleksi, dan masalah lain yang mencegah sensor mencapai kemampuan penuhnya.

Jadi, meskipun idenya tidak buruk, itu rumit, mahal, dan kami masih memiliki ruang untuk tumbuh di area lain yang dapat diperbaiki sehingga metode Anda bahkan mungkin tidak diperlukan.

Jawaban sebenarnya adalah harga. Jika Anda bersedia membayar 10-100x lebih untuk kamera Anda, Anda bisa mendapatkan beberapa sensor yang sangat mewah.

Hasil yang diinginkan yang Anda gambarkan adalah rentang dinamis yang lebih tinggi untuk setiap piksel. Ada beberapa cara untuk melakukan ini. Cara yang jelas adalah untuk mendapatkan sensor ADC dan CMOS yang lebih baik, tetapi itu membutuhkan biaya dan tidak sesuai dengan apa yang Anda pikirkan. Pendekatan selanjutnya adalah menyedot muatan dalam proses yang berkelanjutan , dalam analog. Ini akan memungkinkan Anda mendapatkan fungsi berkelanjutan yang menggambarkan berapa banyak foton yang mencapai piksel. Namun, perangkat keras analog semacam ini sangat sulit. Di kamera Anda, semua data piksel tergeser melalui sejumlah kecil ADC. Bagian dari keindahan sensor kami adalah bagaimana mereka dapat melakukan itu, menghasilkan perangkat keras yang lebih murah dengan faktor ratusan. Untuk melakukan itu secara terus-menerus akan membutuhkan masing-masing dan setiap piksel untuk memiliki jumlah luar biasa perangkat keras analog yang disetel.

Yang membawa kita ke pendekatan pengambilan sampel digital. Anda menyebutkan ide untuk mengambil data setiap 1/1000 detik, yang menunjukkan kepada saya bahwa Anda tidak benar-benar memikirkan proses yang berkelanjutan , sebanyak proses pengambilan sampel di mana Anda mendapatkan banyak titik data untuk irisan waktu yang tipis dan menjahitnya bersama. Seperti disebutkan dalam jawaban lain, HDR + pada beberapa ponsel melakukan hal ini. Dibutuhkan beberapa foto secara berurutan, dan memadukannya untuk mendapatkan efek HDR. Untuk melakukannya, mereka jelas memiliki bandwidth ADC jauh lebih tinggi daripada yang Anda perlukan untuk satu gambar, tetapi mereka tidak perlu sebanyak yang diperlukan untuk memperlakukan setiap piksel secara terus-menerus.

Dari suaranya, Anda ingin setiap piksel melakukan sendiri sampling waktu ini. Untuk melakukan ini, pertama-tama kita harus terjun ke desain sirkuit terpadu 3d. Anda tidak ingin ada perangkat keras pada setiap piksel yang mengambil ruang di permukaan sensor, atau Anda akan mengalami kesulitan dengan terlalu sedikit piksel atau kehilangan banyak cahaya ketika jatuh pada bagian non-sensor IC. Satu-satunya cara untuk mencapai itu adalah dengan membangun chip 3d. Ini benar-benar teknologi masa depan. Kami mulai mengeksplorasi cara melakukan ini, tetapi itu tidak mudah. Jika Anda memiliki ratusan ribu dolar untuk cadangan kamera Anda, kami dapat mewujudkan hal semacam ini.

Pada akhirnya, sepertinya Anda ingin output dari setiap piksel menjadi "angka floating point" daripada "integer." Artinya setiap piksel akan memiliki nilai untuk berapa banyak foton yang mengenai, dan eksponen yang pada dasarnya mengatakan berapa banyak untuk melipatgandakan nilai tersebut dengan mendapatkan jumlah foton yang sebenarnya. Ketika pixel diekspos, ia akan sampel pada tingkat yang sangat tinggi (mungkin 5000Hz), dan jika jumlah foton menjadi terlalu besar, ia mengambil eksponen yang lebih besar.

Sekarang pertanyaan sebenarnya adalah berapa banyak manfaat yang Anda dapatkan dari ini? Ingat, pendekatan HDR + adalah teknologi saat ini, untuk ponsel dalam ratusan dolar. Anda sedang berbicara tentang menggunakan teknologi yang sangat canggih dengan toleransi yang jauh lebih menuntut daripada kamera mana pun di luar sana. Itu akan dikenakan biaya. Apa yang membelikanmu? Apa sebenarnya yang dihasilkan oleh perangkat single-pixel selama rana itu yang tidak didukung oleh teknologi CMOS murah Google? Jawabannya tidak banyak. Mungkin ada beberapa kasus sudut kecil mungil di mana ini adalah pendekatan yang disukai, tetapi dengan label harga yang jauh lebih tinggi dari teknologi yang ada, itu adalah nonstarter komersial.

Sesuatu yang sangat mirip sedang dilaksanakan. Ini masih beroperasi dengan bingkai yang berbeda, karena ada keuntungan signifikan dari pendekatan digital daripada pendekatan analog. Tetapi pendekatan ada dengan resolusi waktu dalam detik pico.

https://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second

Mengapa sebuah kamera dengan rana elektronik tidak dapat terus-menerus menangkap dan merekam data cahaya dari suatu gambar selama seluruh durasi rana, alih-alih hanya mengumpulkan data cahaya dan akhirnya menyimpannya sebagai satu gambar?

Apa yang saya pikir Anda benar-benar usulkan di sini adalah untuk menggambarkan gambar bukan dalam hal "berapa banyak cahaya yang dikumpulkan selama seluruh paparan?" melainkan "seberapa cerah pemandangan di setiap titik?" Itu pemikiran yang bagus, dan saya bisa memikirkan beberapa cara untuk melakukan itu, tetapi kesamaan yang mereka miliki adalah mereka menambah kompleksitas pada sensor.

Pembuat kamera telah lama bekerja untuk menyediakan lebih banyak piksel, dan saya kira menjaga struktur setiap piksel sederhana membantu dalam upaya itu. Sekarang DSLR umumnya memiliki sensor dengan antara 20 dan 50 juta piksel, mungkin kita akan melihatnya bekerja untuk membangun piksel yang lebih baik . Kami telah melihat bahwa dalam beberapa hal - autofokus dua piksel adalah salah satu contohnya. Dan tentu saja ada perusahaan yang bekerja pada sensor bangunan yang memberikan jangkauan yang lebih dinamis , lebih sedikit noise, dll.

Singkatnya, saya pikir kemungkinan bahwa kita akan melihat sesuatu sesuai dengan apa yang telah Anda usulkan di masa depan, bahkan jika itu tidak bekerja seperti itu, dan alasan kita tidak ada di sana mungkin hanya karena itu tujuan lain seperti peningkatan kerapatan piksel adalah prioritas yang lebih tinggi di masa lalu.

Ini dapat dilakukan dengan cara yang agak berbeda. Alih-alih satu gambar Anda mengambil sejumlah bingkai dengan waktu bukaan yang berbeda. Kemudian Anda menumpuk gambar untuk mendapatkan semacam rata-rata tergantung pada algoritma yang Anda gunakan untuk menumpuk.

Misalnya dengan gerhana matahari total baru-baru ini, jumlah korona yang terlihat dengan mata telanjang jauh lebih besar daripada yang ditunjukkan oleh satu waktu bukaan untuk kamera. Itu karena mata memiliki rentang dinamis logaritmik sedangkan mata memiliki rentang dinamis linier. Jadi dengan menumpuk berbagai waktu pemaparan, Anda dapat memperkirakan dengan lebih baik dalam gambar yang dilihat oleh pengamat.

Mode Olympus Live Bulb dan Live Time mengarah ke arah yang Anda gambarkan.

Dari manual OM-D E-M5 :

Untuk melihat kemajuan eksposur selama pemotretan, pilih interval tampilan untuk [BULB Langsung] (P. 89) atau [WAKTU Langsung] (P. 89).

Ini sebuah video . Perhatikan bahwa Anda hanya mendapatkan satu eksposur di akhir, meskipun Anda melihat beberapa eksposur selama proses. Pixel sensor hanya peduli tentang jumlah total foton yang mereka terima selama eksposur, mereka tidak tahu kapan atau di mana urutan foton itu mendarat di sensor.

Anda punya ide yang tepat. Sony pada dasarnya melakukan sesuatu untuk efek ini di RX100M5 dan kamera lain yang menampilkan fitur yang mereka sebut D-Range Optimizer - menganalisis pemandangan dan menyesuaikan dan mengganti area yang bermasalah.

Fungsi Pengoptimal D-Range secara instan menganalisis data gambar yang diambil dan secara otomatis mengoreksi eksposur dan reproduksi nada yang optimal. Seringkali saat mengambil adegan dengan cahaya latar, wajah subjek atau area lain dalam bayangan tampak lebih gelap dalam foto daripada yang terlihat oleh mata manusia. Fungsi D-Range Optimizer membedakan antara kondisi yang berbeda untuk adegan yang dipotret secara otomatis mengoreksi kurva gamma, level eksposur, dan parameter lain untuk menghapus bagian yang lebih gelap daripada yang akan terlihat oleh mata manusia.

Fungsi pengoptimal D-range juga berisi mode Standar, yang mengatur seluruh gambar secara seragam (efektif untuk mengoreksi aspek seperti pencahayaan), dan mode Lanjutan, yang secara otomatis mengoreksi area dalam komposisi. Dengan menggunakan mode Lanjut, fotografer dapat menghasilkan gambar yang jelas di mana subjek dan latar belakangnya digambarkan dengan kecerahan yang sesuai, bahkan ketika ada perbedaan besar dalam kecerahan keduanya.

sumber: https://sony-paa-pa-en-web--paa.custhelp.com/app/answers/detail/a_id/26259/~/what-is-the-function-of-d-range-optimizerizer % 3F