Tham dự Tech Lounge

Tham dự Tech Lounge


Google đã làm cho zoom số của Pixel 3 đẹp gần bằng zoom quang như thế nào

Duy Luân
16/10/2018 21:31Phản hồi: 94
Google đã làm cho zoom số của Pixel 3 đẹp gần bằng zoom quang như thế nào
Super Res Zoom là tính năng zoom số của Pixel 3Pixel 3 XL. Bình thường khi nhắc tới zoom số chúng ta thường hay khinh bỉ nó vì hình chắc chắn sẽ vỡ nát, nhưng Google sử dụng cách ghép nhiều khung ảnh lại với nhau để tạo ra một tấm ảnh độ phân giải lớn hơn lúc bạn zoom. Cũng vì lý do này mà nếu bạn dùng tính năng zoom của Pixel 3 thì ảnh sẽ ngon hơn so với khi bạn đã chụp rồi mới crop sát lại chủ thể bạn cần tập trung. Google nói Super Res Zoom của họ có thể cho chất lượng đạt gần bằng cơ chế zoom quang học 2x trên những chiếc điện thoại khác.


Thách thức của zoom số


Zoom số khó ở chỗ bạn cần 1 thuật toán tốt. Zoom số bắt đầu bằng việc zoom vào 1 khu vực trên tấm ảnh, khu vực này sẽ có độ phân giải thấp hơn so với khi bạn chụp không zoom. Kế tiếp, máy phải dựng lại các chi tiết bị mất ở mức đủ tốt khi ảnh bị phóng to trở ra trước khi lưu xuống bộ nhớ.

Thuật toán truyền thống thường dùng cho zoom số là nội suy tuyến tính, tức là máy sẽ cố gắng dựng lại các chi tiết thiếu bằng cách sử dụng những pixel mới hơi mờ và nhìn khá bệt, phẳng, thêm những pixel này vào ảnh rồi lưu xuống bộ nhớ.

Trong khi đó, các thuật toán hiện đại ngày nay sử dụng machine learning (Google dùng một nghiên cứu tên là RAISR để chạy). Thuật toán mới sẽ nhận biết được viền và một số bề mặt nhất định của các điểm ảnh rồi phóng to nó ra. Tất nhiên machine learning cũng không thể nào phục hồi nguyên dạng và đầy đủ, tự nhiên được. Trên Pixel 2 và Pixel 3, Google vẫn dùng RAISR nhưng cho mục đích tăng chất lượng mà thôi, còn tính năng zoom 2x, 3x Super Res Zoom thì sử dụng cơ chế multi frame.

image15.gif
Ảnh zoom so sánh giữa Pixel 2 và Pixel 3​

Ngoài ra, nhiếp ảnh còn khó ở chỗ bản thân ảnh khi chụp lại bằng cảm biến là đã có thông tin bị mất mát rồi. Hãy nhìn bức ảnh bên dưới, khi dữ liệu được cảm biến ghi nhận, máy phải dùng phần mềm để đoán xem màu của những chỗ bị trống là gì.

Moisac.png

Ở ngoài cùng bên trái là lưới Bayer, bộ lưới lọc được lắp lên trên cảm biến ảnh. Mỗi ô sẽ ghi nhận được 1 màu khác nhau trong số ba màu cơ bản là R, G, B. Điều này cũng có nghĩa là khi kết xuất dữ liệu xuống file, ô đỏ chỉ biết vị trí của ô đỏ, xanh chỉ biết xanh. Những ô nằm giữa thì không biết, đó chính là tình trạng missing information.

Từ lâu người ta đã làm ra thuật toán tính giá trị trung bình của các điểm ảnh xung quanh để tìm ra giá trị của pixel không ghi nhận thông tin. Theo Google, 2/3 tấm ảnh bạn chụp thực chất là ảnh được dựng lại chứ không phải giá trị gốc của ánh sáng. Kĩ thuật này gọi là demoisac.

Dù các thuật toán demoisac ngày nay đã trở nên phức tạp hơn và chính xác hơn nhưng về cơ bản kết quả vẫn chưa thật sự tốt. Với cảm biến di động vốn có kích thước nhỏ, lượng thông tin ghi nhận được đã ít lại còn bị mất nên khá là khó khăn. Các máy chụp ảnh DSLR thì đỡ hơn do cảm biến lớn hơn, kích thước mỗi pixel to hơn nên ghi nhận được nhiều thông tin hơn, nhờ vậy thuật toán xử lý tốt hơn.

Khi bạn pinch to zoom, thuật toán lại càng phải đoán nhiều thông tin hơn nữa.

Sử dụng multi frame để giải quyết vấn đề

Quảng cáo



1 khung hình không chứ đủ thông tin, nhưng nếu dùng nhiều khung hình chụp liên tiếp nhau và hơi xê dịch nhau một tí thì sao? Đây là cách mà các nhiếp ảnh gia đã tạo ra ảnh HDR. Thuật toán HDR+ rất tốt đang dùng cho Pixel hiện nay cũng như Nexus ngày xưa cũng hoạt động dựa trên cùng nguyên lý.

Khoảng hơn 10 năm nay các cơ quan vũ trụ đã sử dụng kĩ thuật gọi là drizzle, tức gom hình ảnh từ nhiều góc khác nhau để tạo ra một tấm ảnh lớn hơn. Nó có thể tạo ra ảnh chất lượng ngang với lúc chụp zoom quang 2x hoặc 3x trong điều kiện đủ sáng. Và thay vì phải đi tính toán, suy luận để ra được giá trị màu của các ô bị thiếu thì giờ chúng ta tổng hợp nó trực tiếp từ nhiều tấm ảnh khác nhau luôn cho nhanh.

Shifting.png

Trong ví dụ bên trên, mỗi tấm ảnh hơi xê dịch lên trên, sang trái, sang phải, xuống dưới 1 pixel. Dần dần các pixel bị thiếu thông tin sẽ được "điền" vào, vậy là không cần phải chạy thuật toán demosaic nữa. Một số camera đời mới với tính năng Sensor Shift cũng đã áp dụng kĩ thuật tương tự để chụp ảnh nhưng yêu cầu phải có tripod để đảm bảo ảnh không bị dịch chuyển nhiều. Kĩ thuật này còn có một tên gọi khác là microstepping.

Kĩ thuật này tính ra cũng khó, vì nếu chủ thể chuyển động nhanh, rung tay làm máy dịch chuyển... thì khi cảm biến dịch chuyển sẽ chụp một khung ảnh quá khác biệt so với khung gốc, lúc ghép lại không còn chính xác nữa. Đó là lý do vì sao trước giờ microstepping chỉ được áp dụng trong phòng lab, trong những điều kiện chụp ảnh được kiểm soát ngặt nghèo.

Cách giải quyết của Google

Quảng cáo


Để ghép khung ảnh một cách hiệu quả và có thể tạo ra giá trị RGB cho mỗi pixel mà không cần chạy demosaic, Google phát triển một phương pháp tích hợp dữ liệu xuyên suốt nhiều khung ảnh dựa trên viền của chủ thể. Cụ thể hơn, thuật toán AI sẽ phân tích các khung hình và điều chỉnh cách ghép tùy tình huống. Điều này làm ảnh không bị mờ, nhòe, ít noise, bù lại độ phân giải giảm đi một chút. Đây là sự đán đổi cần thiết và Google đã điều chỉnh cách ghép ảnh dựa theo viền để tạo ra sự cân bằng giữa độ nét và độ noise cũng như sự sai lệch ảnh.

Danh_doi_chat_luong.png
Đánh đổi giữa chất lượng, độ nét với noise, chi tiết

Để giúp thuật toán xử lý được các cảnh có chủ thể chuyển động, ví dụ như người hay xe đang di chuyển, Google phát triển thêm một mô hình phát hiện và giảm thiểu sự sai khác. Cách mô hình này hoạt động đó là chọn 1 khung hình làm khung tham chiếu, sau đó trộn thông tin từ các khung khác vào đây với điều kiện dữ sắp được trộn không phải là đối tượng đang di chuyển. Bằng cách này, Google loại bỏ được tình trạng bóng ma hay còn gọi là mờ chuyển động.

f22.png
Ảnh ghép từ nhiều khung bị mờ, và ảnh ghép sử dụng model của Google

Tham khảo: Google
94 bình luận
Chia sẻ

Xu hướng

Đây mới là AI thật sự nè.
Tốt, cố gắng phát huy lên 30x! ^^
nk0ktran96
TÍCH CỰC
5 năm
ước gì Pixel có thêm 1 cam góc siêu rộng nữa, mà cái vụ zoom này so với P20 pro thì sao nhỉ
@nk0ktran96 Sao bằng zoom 3x của quang học được hihi. Con p20 bá lắm
@nk0ktran96 Trong Menu Panorama của Google Camera có giả lập góc siêu rộng nhé, chất lượng cũng rất ngon
PANO_20180830_154744.jpg
nhha088
ĐẠI BÀNG
5 năm
Tương lai camera trên đt là đây
cdang
TÍCH CỰC
5 năm
@sskkb Ông Sony khỏi cần nghiên cứu làm gì hết, bê cái Google Camera qua là quá ngon cho đội Sony rồi.
@DuyAnh6969 Chuẩn, cảm biến xịn cỡ nào mà phần mềm như hạch thì cũng xấu
@DuyAnh6969 Quá đúng luôn, cảm biến XZ2 ngon vậy mà giờ chỉ dám so sáng với dòng xperia trước đó thôi
@killed may be like this
https://scienceatom.com/2020/06/veronica-seider-a-super-human-with-super-vision/
kytero
ĐẠI BÀNG
5 năm
Cách đây 10 năm, cầm cái pns có zoom kts 10x cũng không dám xài. Nên có khi đây sẽ là giải pháp cho một số dòng pns không chừng: chạy android gốc, dùng Ai chip và các thuật toán xử lý ảnh của GG + công nghệ thấu kính, cảm biến lớn hơn hẳn và giá thấp hơn 1 chiếc phone cao cấp.
@kytero Cái này giải quyết phần ngon thôi bác vấn đề tiên quyết vẫn phải là cảm biến lớn và ngon, e thấy cách hw p10 ngon 1 cam đơn sắc và 1 cam màu chung tiêu cự ... mỗi tội là phần mềm làm ko ngon như gồ, hw dạo đi đầu trong lĩnh vực chụp hình rồi.
@boyngo1988 Đi đầu từ trc rồi chả qua ít đc chú ý. Từ thời p10 mate9 là đã chụp bá đạo chả qua mấy con chiên của apple hay ss vẫn tự huyễn thôi.
Phần mềm bá đạo bao nhiêu thì thiết kế phần cứng tệ bấy nhiêu :rolleyes:
tiendat_dhpt
ĐẠI BÀNG
5 năm
@Điệp Dandy Bạn dùng chưa mà bảo vậy
@tiendat_dhpt Tôi nói "thiết kế" chứ ko nói đến chất lượng bạn nhé
@Điệp Dandy Nó gần như y hệt những chiếc ip mà ^^
Silent Storm
ĐẠI BÀNG
5 năm
title lại sai chính tả
HD6969
TÍCH CỰC
5 năm
Xấu vậy chó nó mua! - someone said! :p
@HD6969 gâu gâu 😁
tiendat_dhpt
ĐẠI BÀNG
5 năm
@kixx Em lậy thím
13ig0taku
ĐẠI BÀNG
5 năm
@kixx Mới thấy có bài Oánh giá Exiter gần đây, Bác cẩn thận nó đi Test xe ngang đây là mất mạng
HD6969
TÍCH CỰC
5 năm
@kixx Tốt! 😆
Ganoipho6
TÍCH CỰC
5 năm
Google có khác :3
Phát triển AI hàng đầu TG
Đây mới là ứng dụng AI thật sự, hiện tại khó có hãng nào qua được Google về AI. #TheRealAIPhone của ai đó chưa biết trình AI cỡ nào mà lúc giới thiệu nổ tung trời 😁
bendn
ĐẠI BÀNG
5 năm
Ưng cái bụng rồi đó nha, chắc khỏi lăn tăn V40 và pixel 3xl.
Giờ chỉ còn chờ điểm dxomark xem pixel 3 có thể vượt qua p20 pro hay không mà thôi? Chứ vị trí top 1 chắc chắn thuộc về mate 20 pro rồi :rolleyes:
dù gì cũng vẫn chả mấy ai mua
dlcky
TÍCH CỰC
5 năm
@quocanh_ltk Nó không bán rộng rãi thôi
@quocanh_ltk Nó có bán ở vn đâu, đầy ng muố mua cũng khó
bhuubao
CAO CẤP
5 năm
Mình không tin là AI có thể giải quyết 1 vấn đề thuộc về vật lí như vậy.
Bây giờ thậm chí là não người nếu đưa một tấm ảnh vỡ hạt ra thì các bạn có "nội suy" ra được các chi tiết không?
Bớt coi mấy film hình sự Mỹ đi GG ơi!
Ý kiến cá nhân, tiếp nhận phản biện, trẻ trâu cút xéo.
dnanhkhoa
ĐẠI BÀNG
5 năm
@dnanhkhoa À quên nữa, não người nội suy tốt nhé bạn, miễn là đừng đưa người ta 1 pixel rồi bảo interpolate ra ảnh Lenna là được. 😆 Tiếc là não mình không save thành file ảnh được để bạn xem lại. :'(
@bhuubao Thì nó đang giải quyết phần ngọn mà bác, máy ngon chụp 1 shot ăn ngay còn nó xài cảm biến nhỏ chịu khó chụp thật nhiều tấm khác thông số để ghép lại 1 tấm duy nhất để bù lấp thông tin... cứ cho là pixel shilft fake cũng dc nữa 😆
renzoson
ĐẠI BÀNG
5 năm
@bhuubao Bác cực kì nhầm, mắt người thực tế giống một chiếc video camera, luôn thu nhận và xử lý thông tin đầu vào liên tục. Kể cả khi bác tập trung nhìn vào một vật, mắt vẫn có sự rung động dù là nhỏ nhất. Chính vì vậy cách thức mắt ghi nhận hình ảnh khá giống với cách cảm biến của bài viết trên. Ghép nhiều hình lại thành 1 hình duy nhất, và ở đây não bộ chính là chip xử lý thuật toán ghép hình ảnh đó. Thậm chí ở mức cao hơn nhiều, vì nếu ở cảm biến đt chỉ xê dịch mỗi lần chụp khoảng 3-4 tấm thì mắt con người thu nhận liên tục, dưới dạng analog, có thể nói là hàng trăm, hàng ngàn bức ảnh thành 1 tấm chỉ trong tích tắc.
Cách hoạt động của cảm biến này chính là tương lai. Kể cả máy ảnh cao cấp bây h hiện đã bắt đầu áp dụng phương pháp này rồi.
Hù119
ĐẠI BÀNG
5 năm
@renzoson như người này à? https://en.wikipedia.org/wiki/Stephen_Wiltshire
và người này à? https://stillunfold.com/people/veronica-seider-a-superhuman-with-super-eye
hungloi11
ĐẠI BÀNG
5 năm
Bài viết rất hay, giúp mở rộng kiến thức. Cám ơn mod Duy luân.
ko biết mô tê gì ngay từ khi đặt vấn đề, như thế ko đc duyên lắm nhỉ
10 năm nữa ở q7 có thể quay clip nóng đang diễn tại quận 1 😆)
13ig0taku
ĐẠI BÀNG
5 năm
@Hunglong96 Trong lúc chờ, google cũng cấp cho bạn từ khoá "hot girl quân 1 mây mưa" cũng có HD đó. Ahihi
NoSheeple
TÍCH CỰC
5 năm
one eye forever!
jackduy
TÍCH CỰC
5 năm
google làm càng ngày bá đao....

Xu hướng

Bài mới









  • Chịu trách nhiệm nội dung: Trần Mạnh Hiệp
  • © 2024 Công ty Cổ phần MXH Tinh Tế
  • Địa chỉ: Số 70 Bà Huyện Thanh Quan, P. Võ Thị Sáu, Quận 3, TPHCM
  • Số điện thoại: 02822460095
  • MST: 0313255119
  • Giấy phép thiết lập MXH số 11/GP-BTTTT, Ký ngày: 08/01/2019