Khi nói về những thành phần quan trọng của camera trên điện thoại, chúng ta thường nghĩ tới cảm biến, ống kính, mô-tơ lấy nét hay cụm linh kiện chống rung. Tuy nhiên, người ta thường bỏ qua một thứ cũng quan trọng không kém trong việc cho ra một bức ảnh đẹp: bộ xử lý hình ảnh (image signal processor, hay image processor, viết tắt là ISP). ISP được sinh ra ra để xử lý tín hiệu do cảm biến đưa vào, chạy các thuật toán khác nhau về màu sắc, lấy nét, giảm nhiễu trước khi lưu lại thành file ảnh cho bạn xem. Nếu bạn có cảm biến xịn, ống kính xịn nhưng ISP dở hoặc thuật toán của ISP không được làm tốt thì ảnh ra vẫn xấu như thường.
Nghe ISP có vẻ xa vời nhưng nếu bạn đã từng nghía qua bảng cấu hình của các máy ảnh trên thị trường thì khả năng cao là bạn đã từng nghe tới chúng rồi, chỉ là bạn không để ý thôi. Ví dụ, máy ảnh Canon dùng ISP mang tên DIGIC, Nikon dùng EXPEED, Sony dùng BIONZ, Pentax là PRIME, Fujifilm là EXR III hoặc X Processor Pro. Còn trong thế giới smartphone, Qualcomm Spectre, HTC ImageSense là những cái tên nổi bật. Ngoài camera, TV cũng sử dụng ISP để hiển thị hình ảnh nhưng trong bài này chúng ta tạm thời không bàn tới nó do nguyên lý hoạt động hơi khác một chút.
Trong thị trường máy ảnh, ISP thường nằm riêng biệt trên bo mạch chủ của thiết bị, còn với smartphone và tablet thì ISP thường được nhét chung vào cụm SoC để tiết kiệm điện và diện tích (tức nằm chung đế chip với CPU, GPU, bộ phận xử lý mạng không dây, bộ phận quản lý kết nối...). Thực ra người ta cũng có thể dùng CPU để xử lý những tác vụ của ISP, nhưng khi đó nguồn lực của CPU dành cho việc vận hành chiếc điện thoại bị giảm đi, hao pin hơn, chưa kể CPU không được tối ưu cho việc xử lý hình ảnh nên có một ISP riêng vẫn tốt hơn.
Trước khi nói kĩ hơn về ISP, hãy xem cách mà cảm biến ảnh hoạt động. Cảm biến ảnh là một tập hợp các diode nhạy sáng, khi có ánh sáng vào thì những diode này sẽ ghi nhận tín hiệu. Nhưng để cảm biến biết được khu vực nào có màu nào, người ta phải áp một lớp bộ lọc gọi là Bayer Filter lên trên. Bộ lọc này sẽ giúp từng pixel biết được nó đang ghi nhận màu nào trong ba màu RGB và trị số của màu là bao nhiêu (từ 0 cho đến 255). Kết quả bạn sẽ có được như hình dưới.
ISP dùng để làm gì?
Nghe ISP có vẻ xa vời nhưng nếu bạn đã từng nghía qua bảng cấu hình của các máy ảnh trên thị trường thì khả năng cao là bạn đã từng nghe tới chúng rồi, chỉ là bạn không để ý thôi. Ví dụ, máy ảnh Canon dùng ISP mang tên DIGIC, Nikon dùng EXPEED, Sony dùng BIONZ, Pentax là PRIME, Fujifilm là EXR III hoặc X Processor Pro. Còn trong thế giới smartphone, Qualcomm Spectre, HTC ImageSense là những cái tên nổi bật. Ngoài camera, TV cũng sử dụng ISP để hiển thị hình ảnh nhưng trong bài này chúng ta tạm thời không bàn tới nó do nguyên lý hoạt động hơi khác một chút.
Trong thị trường máy ảnh, ISP thường nằm riêng biệt trên bo mạch chủ của thiết bị, còn với smartphone và tablet thì ISP thường được nhét chung vào cụm SoC để tiết kiệm điện và diện tích (tức nằm chung đế chip với CPU, GPU, bộ phận xử lý mạng không dây, bộ phận quản lý kết nối...). Thực ra người ta cũng có thể dùng CPU để xử lý những tác vụ của ISP, nhưng khi đó nguồn lực của CPU dành cho việc vận hành chiếc điện thoại bị giảm đi, hao pin hơn, chưa kể CPU không được tối ưu cho việc xử lý hình ảnh nên có một ISP riêng vẫn tốt hơn.
Trước khi nói kĩ hơn về ISP, hãy xem cách mà cảm biến ảnh hoạt động. Cảm biến ảnh là một tập hợp các diode nhạy sáng, khi có ánh sáng vào thì những diode này sẽ ghi nhận tín hiệu. Nhưng để cảm biến biết được khu vực nào có màu nào, người ta phải áp một lớp bộ lọc gọi là Bayer Filter lên trên. Bộ lọc này sẽ giúp từng pixel biết được nó đang ghi nhận màu nào trong ba màu RGB và trị số của màu là bao nhiêu (từ 0 cho đến 255). Kết quả bạn sẽ có được như hình dưới.
Vấn đề là sau khi cảm biến đã ghi nhận màu sắc của từng pixel, ảnh của bạn vẫn chỉ mới là một tập hợp những chấm đỏ, xanh dương và xanh lá với các sắc độ khác nhau nằm cạnh nhau mà thôi. Tấm ảnh đó vẫn chưa thể nào sử dụng được, vì đơn giản là nó còn quá xấu, thiếu độ chi tiết và không giống với những gì mắt người thấy ngoài đời.
Đây là lúc bạn cần đến ISP. ISP sẽ đánh giá dữ liệu màu sắc, độ sáng của từng pixel, so sánh nó với các pixel lân cận và sử dụng thuật toán demosaicing để tạo ra các giá trị màu / độ sáng chính xác. ISP cũng nhìn vào toàn cảnh tấm hình để cố gắng dự đoán xem mức độ phân bổ tương phản ra sao, dựa vào đây nó mới chỉnh lại độ tương phản để giúp những thứ như da người, cánh hoa, màu xanh của bầu trời... trở nên thật hơn. Bạn có thể nhìn vào tấm ảnh bên dưới để thấy được sự thay đổi về màu, độ sáng và tương phản của ảnh thô do cảm biến ghi nhận và ảnh đã qua tay ISP xử lý.
Ngay cả khi bạn chưa bấm nút chụp, ISP cũng đã phải chạy những thuật toán nói trên theo thời gian thực để hiển thị ra màn hình cho bạn xem (màn hình điện thoại, màn hình của máy ảnh, hoặc Live View trong ống ngắm camera). Có như vậy bạn mới biết tấm hình mình sắp chụp nó trông ra sao.
- Autofocus: Như đã nói ở trên, ISP sẽ lấy dữ liệu từ cảm biến theo thời gian thực để biết được độ nét của các đối tượng ra sao. Khi được chỉ định, nó sẽ điều khiển mô-tơ lấy nét di chuyển các thấu kính để chủ thể trở nên rõ nét nhất có thể. Nói cách khác, ISP chính là người đứng sau điều khiển chức năng tự lấy nét của camera.
- Autoexposure: ISP phải đánh giá độ sáng môi trường, sự chênh lệch độ sáng của các đối tượng có trong ảnh và quyết định xem mức phơi sáng cần thiết là bao nhiêu. Nhờ ISP mà bạn không phải chỉnh tay các thông số khẩu, tốc, ISO như các máy ảnh thời xa xưa, ISP sẽ dùng thuật toán để quyết định giúp bạn. Khi bạn chỉnh khẩu, tốc, ISO trên giao diện app camera, bạn đơn giản là đang yêu cầu ISP làm theo ý bạn thay vì để nó tự quyết định dựa trên các cảm nhận của nó về môi trường.
- Autowhitebalance: màu thu được là một chuyện, nhưng không phải lúc nào màu này cũng đúng nên ISP cần phải quyết định xem nhiệt độ màu bao nhiêu là phù hợp. Ví dụ, cùng một đối tượng nhưng bạn chụp dưới đèn huỳnh quang sẽ có màu khác với khi bạn chụp nó ở ngoài nắng, trong khi thực chất đây chỉ là 1 món đồ mà thôi. Cân bằng trắng là yếu tố quyết định màu, và ISP sẽ chỉnh các thông số của white balance sao cho giống với thực tế nhất.
Quảng cáo
Một số chức năng khác nữa mà ISP có thực thi bao gồm làm nét ảnh bằng thuật toán, khử nhiễu, xử lý ảnh HDR (ghép 3 hoặc nhiều ảnh có độ chênh sáng khác nhau để thấy được chi tiết cả vùng sáng và tối), làm sạch ảnh, nén ảnh để tạo ra file JPEG, lấy nét pha (bên cạnh lấy nét theo độ tương phản của chủ thể)... Ngay cả những chiếc điện thoại với camera kép như iPhone 7 Plus, Huawei P Series, Galaxy Note 8 sắp tới... có thể hoạt động được cũng là nhờ ISP vì nó chịu trách nhiệm ghép ảnh, zoom ra vào và kết hợp màu sắc lại với nhau. Tất cả đều là những chức năng vô cùng quan trọng và có thể nói là cơ bản với bất kì một chiếc smartphone nào ngày nay. Bên dưới là sơ đồ luồng xử lý cơ bản của một ISP để anh em có cái nhìn bao quát hơn về cách mà ISP hoạt động.
Không chỉ là ISP, mà còn phải là ISP mạnh với phần mềm tốt
Đọc qua chức năng của ISP nãy giờ, bạn sẽ thấy có 2 cụm từ cứ lặp đi lặp lại: xử lý và thuật toán. Điều này cũng có nghĩa là ISP phải cần rất nhiều sức mạnh thì mới làm tròn được công việc của nó, kiểu như là CPU chuyên dùng cho ảnh vậy. Và ISP sẽ cho ra kết quả rất tệ nếu thuật toán không tốt.
Nói về khả năng xử lý, về cơ bản ISP cũng là một con processor mà thôi nên nếu sức mạnh của nó càng lớn thì công việc nó cần làm sẽ hoàn thành nhanh hơn. Đây là lý do mà những chiếc điện thoại flagship như HTC U11, Galaxy S8, Sony Xperia XZ Series, LG G6... đều sử dụng tới 2 ISP Qualcomm Spectre nằm trong SoC Snapdragon 821 hoặc 835 để đẩy nhanh việc tính toán và giúp xử lý dữ liệu thời gian thực tốt hơn trong bối cảnh điện thoại giờ không chỉ có 1 mà tới 2 máy ảnh cũng như độ phân giải càng lúc càng cao lên. Một con ISP cũ kĩ sẽ mất vài giây chỉ để chỉnh lại màu sắc và cân bằng trắng với những cụm camera kép vài chục megapixel, hay mất vài giây chỉ để đo nét và điều chỉnh lại auto focus thì bạn có hài lòng không? Đương nhiên là không rồi.
Và thuật toán cũng là một thứ cực kì quan trọng mà bất kì hãng OEM nào cũng phải cân nhắc và tinh chỉnh trước khi đưa máy ra thị trường. Ừ thì Spectre của Qualcomm cũng đã có thuật toán tốt sẵn rồi đấy, nhưng đó là theo tiêu chuẩn của Qualcomm và dựa trên những cấu hình camera do Qualcomm thử nghiệm. Còn khi mang về, cảm biến khác, module lấy nét khác, thấu kính cũng khác nên các hãng sản xuất buộc phải tinh chỉnh lại thuật toán của ISP để cho ra tấm ảnh đẹp nhất có thể. Việc này trước đây phải can thiệp sâu vào firmware của ISP, còn bây giờ các hãng như Qualcomm hay ARM để mở những cấu hình giúp hãng sản xuất điện thoại tinh chỉnh thuật toán nhanh chóng và dễ dàng hơn.
Dù vậy, giai đoạn tinh chỉnh này cũng chưa bao giờ là nhẹ nhàng. Nhà sản xuất phải thực hiện 2 giai đoạn cân chỉnh thuật toán: trong phòng thí nghiệm (objective tunning), và ngoài đời thực (subjective tunning). Trong phòng thí nghiệm, họ dùng các bảng màu chuẩn để cân đo đong đếm và dùng camera chụp thử hàng trăm, hàng nghìn bức ảnh trước khi có một kết quả tạm ổn. Sau đó, các kĩ sư phải tiếp tục cầm điện thoại ra đường, chụp thêm hàng nghìn bức ảnh nữa, mang về tinh chỉnh rồi lại đi chụp tiếp cho đến khi có kết quả mà họ cho là đẹp.
Quảng cáo
Kết quả tinh chỉnh ISP của Essential Phone, càng tinh chỉnh thì cho ra ảnh càng đẹp, nếu chỉ tinh chỉnh trong phòng thí nghiệm không thì chưa đủ
Trong bối cảnh mà ISP giờ đã được Qualcomm, MediaTek hay ARM làm sẵn, nhiệm vụ cân chỉnh của từng nhà sản xuất trở nên quan trọng hơn bao giờ hết vì nó sẽ là thứ quyết định xem ảnh cho ra có đẹp hay không. Ví dụ như Sony trước đây, họ làm cảm biến cực tốt, ống kính cũng thuộc loại xịn, nhưng do không tối ưu thuật toán của ISP đủ tốt nên ảnh cho ra không đẹp như một cái điện thoại khác cũng cùng cấu hình, cùng cảm biến Sony nhưng lại được tinh chỉnh ISP ngon hơn. Giờ thì Sony đã nhìn ra yếu điểm và trong khoảng 2 năm trở lại đây những chiếc Xperia cho ra ảnh xuất sắc hơn hẳn.
Và khi trí tuệ nhân tạo có mặt ở khắp nơi, ISP cũng bắt đầu sử dụng AI để giúp khả năng nhận biết của mình trở nên tốt hơn và linh hoạt hơn chứ không chỉ dựa vào một số điều kiện môi trường được lập trình sẵn. Ví dụ, ISP của iPhone 7 và 7 Plus nằm trong chip A10 Fusion có khả năng dùng machine learning để nhận biết gương mặt khi chụp ảnh, quay phim và tự động tinh chỉnh thông số độ sáng, màu sắc cho đẹp hơn. iPhone 7 Plus khi chụp chân dung xóa phông cũng dựa vào ISP để giúp phân biệt giữa chủ thể với nền bằng AI giúp máy không xóa nhầm chi tiết. ISP mạnh mẽ giúp các smartphone ngày nay có thể đưa ra kết quả gần như ngay lập tức, chúng chỉ tốn vài chục mili giây để xử lý mà thôi.
Với bộ xử lý Spectre 2 mới, Qualcomm còn đi một bước xa hơn: hỗ trợ khả năng đo khoảng cách, nhận diện sinh trắc học và hơn thế nữa cho camera. Bên cạnh việc hỗ trợ camera đơn, camera kép với 2 tiêu cự khác nhau và camera kép màu + trắng đen, Spectra 2 còn cho phép nhà sản xuất tích hợp cảm biến chiều sâu cũng như máy quét mống mắt vào smartphone, tablet dễ dàng vì không phải làm phần cứng và viết lại phần mềm từ đầu. Tìm hiểu thêm về ISP trong bài này.
Hi vọng qua bài này anh em hiểu hơn về ISP, cách các nhà sản xuất đang làm cho ảnh của họ trở nên đẹp hơn, chụp ảnh nhanh hơn và chiều lòng người dùng hơn. Anh em có thắc mắc gì thì hãy comment vào nhé.
