Phân tích ngữ cảnh hình ảnh sẽ là chìa khoá cho sự khác biệt trên camera phone trong năm 2023

Snapdragon 8 Gen 2 ra mắt với nhiều sự cải thiện về khả năng chơi game cũng như hiệu năng thô nhưng sự khác biệt và nâng cấp lớn nhất lại nằm ở Cognitive ISP, một bộ xử lý hình ảnh thông minh thế hệ mới mà dự kiến sẽ thay đổi khá nhiều về thị trường nhiếp ảnh trên điện thoại trong năm 2023.

Cognitive ISP theo Qualcomm tại sự kiện ra mắt Snapdragon 8 Gen 2 mà Tinh tế cũng đã tham dự, bộ ISP mới này có khả năng nhận diện được ngữ nghĩa của hình ảnh và video theo thời gian thực, đồng thời dùng AI để xác định từng thành phần ngữ cảnh để tối ưu riêng biệt, sau đó tổng hợp lại để cho chúng ta một bức ảnh cuối cùng tốt nhất. Công nghệ này có một tên gọi cụ thể là semantic segmentation (tạm dịch: phân tích ngữ nghĩa hình ảnh).

Đây là một công nghệ hình ảnh mà cách hoạt động của nó có thể hiểu đơn giản như ở trên, nhưng cụ thể hơn camera trên điện thoại lúc này có thể nhận diện được quần áo, khuôn mặt, tóc, background hay thậm chí là môi và răng của chủ thể. Sau đó, từng vùng đó sẽ được tối ưu riêng như tăng/giảm sharpness, tone, colour, giảm noise….Hay hiểu đơn giản hơn giống như bỏ một tấm hình vào Photoshop và tạo nhiều layer cho nó vậy, sau đó chỉnh sửa từng layer thay vì chỉnh toàn bộ cả tấm ảnh.

Tuy vậy điểm đáng chú ý là Snapdragon 8 Gen 2 có hiệu năng xử lý đủ mạnh để nó có thể làm được việc đó theo thời gian thực, cách hoạt động giống như trên nhưng ngay từ lúc bạn đang chụp ảnh chứ không phải sau khi chụp. Anh em có thể xem video dưới đây:

Sau đoạn video trên mình ấn tượng với khả năng xử lý blur khi chụp ảnh chân dung, hay loại bỏ đi sự phản xạ hình ảnh trong mắt kính, làm sắc nét tóc và lông thú, làm sắc nét quần áo…Tinh tế cũng đã có những thử nghiệm demo với tính năng này, anh em có thể xem thêm trong bài dưới đây:

Thử một vài tính năng demo trên Snapdragon 8 Gen 2: tất cả đều nhờ trí thông minh nhân tạo

Tại sự kiện ra mắt Snapdragon 8 Gen 2, thế hệ SoC cao cấp mạnh nhất trong thế giới Android hiện tại, Qualcomm đã cho trình diễn thử một số tính năng có liên quan tới việc xử lý hình ảnh hay ngôn ngữ tự nhiên theo thời gian thực và trả về kết quả…

tinhte.vn

Các công nghệ “làm đẹp” dựa vào AI này không mới trên smartphone trong nhiều năm qua, chúng ta đã thấy các nhà sản xuất như Xiaomi, Samsung, vivo, Google đã áp dụng vào smartphone của mình để nó có thể nhận diện ngữ cảnh, nhận diện chụp xoá phông, làm mịn da, bóp mặt, cà mụn…nhưng Snapdragon 8 Gen 2 với Cognitive ISP sẽ giúp cho việc “làm đẹp” này ........ một tầm mới và theo Judd Heape, Phó chủ tịch quản lý sản phẩm máy ảnh của Qualcomm cho biết ban đầu công nghệ này sẽ tập trung vào camera selfie và rõ ràng nó mở ra một sự cải tiến mạnh mẽ hơn cho camera trên điện thoại. Qualcomm cũng để mở về công nghệ này để các hãng có thể dùng NPU của riêng mình để tối ưu thêm, thậm chí, nếu NPU của nhà sản xuất đủ tốt thì nó có thể biến răng vàng thành răng trắng trong khi các chi tiết còn lại vẫn trông tự nhiên. Công nghệ này đã có sẵn cho các OEM và họ không cần phải làm gì thêm (ví dụ phí cấp phép) để sử dụng.

Chúng ta đã thấy một số mẫu điện thoại sử dụng Snapdragon 8 Gen 2 ra mắt trên thị trường như Xiaomi 13, vivo X90 Pro+, OnePlus 11 và đặc biệt sắp tới là Samsung Galaxy S23 series, mình rất hóng để xem những sự cải tiến của Galaxy S23 series có gì mới không và sự kết hợp với công nghệ này sẽ cho chất lượng hình ảnh ra sao.

Thêm một điều nữa giúp cho Snapdragon 8 Gen 2 có thể xử lý AI theo thời gian thực là nhờ vào tính năng Hexagon Direct Link mới. Trong SoC mới nhất của mình, Qualcomm đã sử dụng vi xử lý Hexagon kiến trúc hoàn toàn mới, Direct Link cho phép sự liên kết giữa ISP và GPU cũng như vi xử lý Hexagon chặt chẽ hơn (theo Qualcomm là tăng gấp đôi liên kết vật lý giữa các thành phần này) để giúp tăng băng thông cao hơn và độ trễ thấp hơn. Cũng theo Qualcomm, Hexagon Direct Link giúp giảm sự phụ thuộc vào bộ nhớ RAM khi các luồng dữ liệu di chuyển và từ đó hiệu suất camera được cải thiện.

Nhìn chung việc kết hợp chặt chẽ giữa AI và phần cứng mang lại nhiều lợi ích hơn cho nhiếp ảnh di động, không chỉ là hiệu suất mà các nhà sản xuất còn có thể đem thêm nhiều tính năng mới nữa. Tưởng tượng đơn giản là sau này chúng ta sẽ có những đoạn video xoá phông đẹp hơn, thật hơn, video độ phân giải siêu cao, quay video thiếu sáng tốt hơn…Anh em còn nhớ Sony XZ Premium, chiếc điện thoại quay video siêu chậm 960fps không, Sony cũng bổ sung cho cảm biến máy ảnh một bộ nhớ riêng để nó có thể xử lý một lượng thông tin cực lớn như vậy.

Cũng theo Judd Heape, công nghệ này sẽ không chỉ có trên SoC flagship như Snapdragon 8 Gen 2 mà một thời điểm thích hợp nào đó, những SoC tầm trung cũng sẽ có được công nghệ này. Ngoài ra, không chỉ Qualcomm mà MediaTek với SoC đầu bảng 9200 cũng đang sử dụng công nghệ tương tự để tối ưu cho việc quay video 8K/4K với chống rung điện tử, hay Google Tensor đã sử dụng trước đó rất hiệu quả cho camera của mình.

Theo Android Authority, TrustedReviews, Qualcomm.