Giải thích việc "xếp chồng ảnh" để "vượt khó" của Camera điện thoại...

Bài này giải thích các tính năng chụp ảnh trên điện thoại mà bạn từng thấy, như: Live photo, Zoe, HDR và kiểm soát ánh sáng, “phơi sáng lâu” mà không cần chân máy, chụp time-lapse, super-zoom, panorama hay DoF và việc chỉnh sửa hậu cảnh … các cách mà điện thoại đã sử dụng để giải quyết khó khăn về giới hạn vật lý.

• Xem thêm bài phần 1: Công nghệ Camera AI

Camera AI đã thực sự khởi đầu từ việc xếp chồng ảnh (stacking). Đó là một phương pháp kết hợp nhiều tấm ảnh được xếp chồng lên nhau. Có những tấm ảnh không đạt kết quả tốt với một lần chụp bởi quá nhiều giới hạn vật lý thì “xếp chồng ảnh” sẽ là giải pháp của Camera của điện thoại. Với việc sử dụng màn trập điện, khẩu độ ống kính cố định, bộ vi xử lý cho phép cảm biến thu nhận bao nhiêu photons trong một phần nhỏ của giây rồi đọc và cho kết quả. Thế là camera điện thoại có thể chụp vài chụp tấm hình trong tíc tắc. Về lý thuyết kỹ thuật thì điện thoại có thể ghi hình tương đương tốc độ video hay quay video có độ phân giải lớn, nhưng lại tuỳ thuộc khả năng bộ xử lý, nên lại luôn có giới hạn về phần mềm.

Xếp chồng ảnh

(Bắt đầu từ việc chụp hình trước khi bấm nút chụp)

Anh em còn nhớ Photoshop phiên bản 7.0 ra đời năm 2002, bắt đầu dùng plugin cho xếp chồng một số tấm hình để tạo ảnh kết quả được gọi là HDR với độ sắc nét đến điên cuồng. Thời đó, mình cũng tham gia với việc chụp 3 - 5 tấm lệch nhau EV (thay đổi thông số máy ảnh, độ phới sáng, điểm lấy nét, vị trí…) rồi về làm ảnh HDR như một trào lưu thích thú kéo dài đến khoảng 2010. Rồi, ngay nay thì 90% các cải tiến trên máy ảnh điện thoại đều dựa trên cách này.

Trước khi bàn sâu, có một điều mà nhiều người đã biết nhưng có thể cũng có nhiều người không để ý, nhưng nó quan trọng, để hiểu toàn bộ về nhiếp ảnh điện thoại, đó là: Camera của điện thoại đã bắt đầu chụp ảnh ngay khi bạn mở ứng dụng chứ chưa cần bấm nút chụp. Khi bấm nút chụp ảnh, ảnh đã thực sự được chụp rồi và máy ảnh chỉ đang sử dụng vài bức ảnh cuối cùng từ bộ đệm. Điện thoại thông minh nó lưu hình vào bộ đệm theo chu kỳ và với độ phân giải cao, trong vài giây, trước khi nút chụp được bấm. Đó là cách mà các camera điện thoại ngày nay dùng, hoặc ít nhất là trên các dòng cao cấp. Không phải đợi tới lúc chụp HDR hay Night mode, mà chỉ trích xuất chúng từ bộ đệm, người dùng không biết được, xử lý 5 - 10 ảnh cuối cùng và bắt đầu phần mềm hoạt động phân tích, kết hợp, xào nấu các kiểu và cho ra ảnh kết quả.



Thực tế ta , đó là cách mà iPhone và HTC thể hiện nó từ 2013, khi chúng ta được giới thiệu tính năng Live Photo (iPhone) và Zoe (HTC - nhắc đến vẫn thấy thật tiếc cho thương hiệu này) và hầu hết các điện thoại Android đều làm.

Xếp chồng phơi sáng

(Exposure Stacking: HDR và kiểm soát độ sáng)

Chuyện cũ nhắc lại - cái mà chúng ta gọi là Exposure Stacking - điện thoại nào chụp chân dung người đứng trước với bầu trời sáng phía sau mà có được mây trời tự nhiên thì khuôn mặt người tối, hoặc khuôn mặt tự nhiên thì bầu trời sẽ “cháy sáng” (mất hết chi tiết thành một vùng trắng sáng). Giải pháp để mở rộng độ sáng là HDR. Chụp một phát không được thì làm điều đó bằng nhiều bước hơn. Máy sẽ chụp nhiều bức ảnh với độ phơi sáng chênh lệch khác nhau (bình thường - tối hơn - sáng hơn). Rồi chồng xếp chúng lại và tính toán làm sao cho ánh sáng được hài hoà mọi vùng ảnh. Đó là lý thuyết.



Thực tế, trước hết phải giải quyết là khi phải tự động chồng ghép thì độ phơi sáng của mỗi bức thay đổi thế nào để không quá mức trong nhiều tình huống cụ thể khác nhau? Các điện thoại thông minh đều dùng thuật toán tự động bật chế độ HDR khi phát hiện bối cảnh có độ tương phản sáng chênh lệch cao. Nhưng Google Pixel thì không làm như vậy, nó kết hợp nhiều khung hình được chụp cùng độ phơi sáng như nhau (cùng EV), với mục đích tránh tình trạng phơi sáng quá mức tại các vùng quá sáng (overexposing bright) của khung cảnh, và để giảm nhiễu vùng tối ở tấm -EV.

Nhược điểm chính của HDR là trong bối cảnh ánh sáng kém / quá kém thì gần như tính năng bù sáng trở nên vô dụng. Với điều kiện sáng này, máy không thể cân bằng sáng và xếp chồng chúng được. Lý do vì sao? Tấm cần “sáng nhất” thì phải phơi sáng lâu và ngoài khả năng cầm tay cố định máy, chi tiết nhoè; còn tấm có độ phơi sáng thấp nhanh hơn thì lại không ghi nhận đủ lượng sáng để giàu chi tiết hơn cho vùng tối. Google đã công bố cách tiếp cận khác cho HDR trên điện thoại Nexus vào năm 2013. Đó là:

Xếp chồng thời gian

(Time Stacking; - chuyện của Nexus 5 - Long exposure và Time-lapse)

Trở lùi nguyên lý cơ bản của kỹ thuật Star Trail Photography, chụp sao trời chuyển động từng thời điểm liên tiếp rất nhiều tấm ảnh đơn, và chồng ghép lại thành một tấm có những đường sáng hành trình của sao băng máy ảnh truyền thống. Không thể phơi sáng bằng cách mở cửa trập vài tiếng đồng hồ liên tục, chưa kể có một chút rung lắc nhỏ cũng sẽ làm hỏng quá trình phơi sáng. Vì vậy, người chụp sẽ chụp hàng loạt ảnh đơn với thời gian phơi sáng ngắn với giá trị phơi sáng như nhau, trong thời gian cách quãng, rồi chồng ghép chúng lại. Mình có chia sẻ hướng dẫn cách dùng phần mềm chồng ghép Star Trail 6 năm trước ở Link: Markus Enzweiler .



Quay lại với Google và HDR chụp bối cảnh đêm. Họ giải quyết khó khăn trên kia khi chụp buổi tối đêm bằng cách xếp chồng loạt ảnh cùng giá trị EV chứ không lệch nhau như HDR truyền thống. Và, Nexus 5 ra đời gọi đó là HDR+ (Chỉ thêm dấu + thôi nhưng mở ra cả một giai đoạn hấp dẫn cho các nhà sản xuất camera phone khai thác và phổ biến như một tính năng hoàn thiện dần cho đến ngày nay.)

HDR+ hoạt động khá đơn giản. Máy ảnh phát hiện tự động bối cảnh được chụp là đêm tối, cho sẽ trích xuất từ bộ đệm 8-15 tấm định dạng RAW (hoặc nhiều hơn), dùng AI thuật toán chọn lựa và tham chiếu theo vùng hoặc từng pixel giữa chúng và xếp chồng lên nhau. Kiểu như thay vì xào nấu từng vùng hoặc từng pixel thì bây giờ có 8 đến 15 dữ liệu ánh sáng tương tự để AI thu thập thông tin làm việc, thông tin vùng tối sẽ tốt hơn, rõ ràng hơn, ít nhiễu hơn. Giả lập như một cách chụp với hiệu ứng của phơi sáng dài như nguyên lý chụp Star Trails, các lỗi trên bức ảnh kết quả được giảm thiểu.

Và, HDR+ sau đó không chỉ được dùng cho điều kiện chụp đêm / thiếu sáng. Việc chụp liên tục anh RAW trên bộ đệm và xếp chồng ảnh rất nhanh đó cũng cải thiện ảnh cả trong bối cảnh ban ngày, nhất là khung cảnh có các vùng sáng tương phản cao (như vùng trời và vùng đất của buổi bình minh / hoàng hôn). Về lý thuyết vẫn là tổng lượng sáng thu được càng nhiều thì chất lượng cuối cùng càng khả quan. Và thế là Google Pixel sử dụng tính năng này để chụp mọi hoàn cảnh và hoạt động như chụp ảnh mặc định luôn.

Thế nhưng, vấn đề khó khăn từ HDR+ chụp đêm đen lại phát sinh. Đó là nếu chụp trong bối cảnh sáng ban ngày, việc hiệu chỉnh (tunning color) màu sắc bằng thuật toán cân bằng trắng thực hiện theo cách truyền thống, dựa vào phản chiếu ánh sáng đo lường từ 18% xám để có WB phù hợp bối cảnh. Nhưng, chụp trong bối cảnh tối thui, không có nguồn sáng chủ đạo nào, việc cân bằng màu bị phá vỡ, toàn khung màu thiên vàng hoặc xanh diệp lục. Ban đầu, họ khắc phục theo cách thủ công, sửa lỗi bằng cách tự động chỉnh lại tông màu đơn giản, dùng bộ lọc màu Instagram, sau đó, họ dùng mạng nơ-ron (neural network) để giải cứu. Thế là:

Thế là Night Sight ra đời. Công nghệ “night photography” (chụp đêm) trong Pixel 2, 3, … được nói rất nhiều và nhiều người nói. Mô tả về nó đại khái là: “kỹ thuật máy học (machine learning techniques) được xây dựng trên HDR+ giúp cho chế độ Night Sight hoạt động tốt”. AI học dựa trên tập dữ liệu “trước” và “sau” các ảnh chụp vào ban đêm bằng máy ảnh Pixel và được chỉnh sửa bằng tay để bức ảnh có màu sắc hài hoà nhất. Cân bằng trắng dựa / tham chiếu trên đó là cách mà Google đã phát triển rất hiệu quả, và họ áp dụng cho hầu hết ảnh được chụp trong mọi tình huống luôn, chứ không chỉ giải quyết vấn đề chụp đêm nữa.



Google còn cho Night Sight chạy thuật toán phân tích luồng quang (véc-tơ chuyển động - motion vector) của các vật thể có sự dịch chuyển trong khung cảnh để máy quyết định chọn một thời gian phơi sáng thích hợp nhất, để không bị mờ nhoè. Chúng ta sẽ tách vấn đề này bàn riêng trong một dịp khác, với các nội dung của Marc Levoy - người đứng sau nhiều cải tiến cho máy ảnh Pixel của Google - để có cái nhìn chuyên sâu hơn. Chuyện tiếp theo là các nhà bán điện thoại quảng cáo nói về siêu siêu zoom, super tele… nhưng không phải là dùng ống kính quang học, mà là số, họ đã làm gì?

Xếp chồng chuyển động

(Motion Stacking: Panorama, Super-zoom, noise control)

Đầu tiên, chúng ta nói đến Panorama hoạt động làm sao? Đây là tính năng trẻ em yêu thích. Mình cũng thích 😁 Nó thật sự là ứng dụng hữu ích chụp toàn cảnh rộng với độ phân giải cao. Điều đáng nói là, nó cũng dùng kỹ thuật xếp chồng ảnh. Bằng cách kết hợp nhiều ảnh được dịch chuyển nhẹ nhàng, ghép lại để có bức ảnh độ phân giải cao hơn rất nhiều.






Tiếp đến là cách tiếp cận thú vị khác, gọi là Pixel Shifting. Cái từ này anh em có thể nghe nhiều quen rồi. Máy ảnh không gương lật Olympus bắt đầu với nó từ 2015 và vài lần áp dụng trên Panasonic và phổ biến trên các máy ảnh MRL đến nay. Mở đường cho điện thoại thông minh dùng để giải quyết vấn đề của riêng nó.

Điện thoại dùng kỹ thuật Pixel Shifting và thành công vui vẻ như kiểu bạn chụp ảnh mà tay run, ảnh được chụp nhiều tấm và có sự dịch chuyển :D Khởi đầu cho cách triển khai siêu độ phân giải. Chúng ta nhớ là trên tấm cảm biến của máy ảnh bất kỳ, mỗi pixel (photodiode) chỉ có thể ghi nhận cường độ ánh sáng, là số lượng photon đi qua. Nhưng một pixel không thể đo màu sắc ((wavelength - bước sóng). Để có được hình ảnh RGB (red-green-blue) thì cảm biến được phủ lưới kính nhiều màu. Chúng ta hay gọi là bộ lọc Bayer được sử dụng hầu hết cảm biến ảnh ngày nay. Mỗi pixel chỉ ghi nhận một R hoặc G hoặc B, còn lại bộ lọc loại khử mất, các phần màu thiếu trên pixel sẽ được nội suy trung bình từ các pixel lân cận.



Cụ thể là, bộ lọc Bayer chứa nhiều màu xanh hơn. Ví dụ 50 triệu điểm ảnh trên cảm biến thì 25 triệu điểm xanh lục, 12.5 triệu điểm thu màu đó và 12.5 triệu điểm khác thu được xanh lam. Các màu còn lại mà mỗi pixel không thu nhận sẽ được nội suy bằng cách so sánh thông tin từ các pixel lân cận. Thực tế thì mỗi nhà sản xuất cảm biến sẽ có thuật toán phức tạp trong quá trình với bằng sáng chế riêng, nhưng lý thuyết đại loại là vậy. Huawei là nhà sản xuất đặc biệt đã nỗ lực không dùng bộ lọc Bayer để cải thiện nhiễu và dải tương phản động, và mức độ thành công cũng khác nhau.



Quay lại bộ lọc Bayer, chúng ta thấy quy trình hoạt động đó sẽ làm tiêu hao rất nhiều photon, nhất là khi chụp bức ảnh bối cảnh tối. Thế là Pixel Shifting được trưng dụng. Dịch chuyển cảm biến để một pixel lên-xuống-trái-phải thu nhâtnj tất cả thông tin đỏ xanh lục và xanh làm ở mỗi pixel. Việc loại khử thông tin thừa không còn cần, lại được tất cả thông tin màu cho một pixel. Quá ngon. Điều đó được nhận ra khi phóng to ảnh trên điện thoại, được gọi là Super Zoom . Thêm xếp chồng ảnh được dịch chuyển nhẹ giúp thu thêm nhiều thông tin để giảm nhiễu, làm sắc nét, tăng độ phân giải mà không cần tăng số điểm ảnh vật lý trên cảm biến. Các điện thoại Android cao cấp đều dùng cho tính năng siêu zoom, chụp trong bối cảnh thiếu sáng.

Xếp chồng điểm nét

(Focus Stacking: DoF và lấy nét lại trong đoạn xử lý của phần mềm)

Kỹ thuật này ứng dụng cho việc chụp ảnh macro. Khi chụp một vật thể với khoảng cách từ ống kính rất gần, độ sâu trường rất mỏng. Để có khoảng ảnh rõ đủ dày, nét hết độ dày của vật thể cần chụp, camera sẽ chụp nhiều ảnh, mỗi tấm có sự dịch chuyển điểm lấy nét, sau đó xếp chồng loạt ảnh đó lại.



Nokia với Lumia 1020 với “Refocus App” vào năm 2013, Samsung Galaxy S5 làm “Selective Focus” năm 2014, HTC One M8 gọi là UFocus mode, Sonh Xperia Z2 gọi là Background Defocus, nguyên lý sử dụng đều tương tự, khá thô sơ, đều dùng chung một cách làm, chụp nhanh 3 tấm, một tấm lấy nét vào tiêu điểm, một tấm lấy nét ra trước và một tấm lấy nét ra sau. Sau đó cho người dùng chọn một tấm mà họ thích. Các nhà sản xuất giới thiệu chung như một cách lấy nét lại trong giai đoạn hậu kỳ.

Còn tiếp...
Tham khảo: graphics.stanford.edu