Tham dự Tech Lounge

Tham dự Tech Lounge


Chi tiết về hệ thống chống rung kép của Google Pixel 2: Tương lai của chống rung trên camera di động

Gia Tường
12/11/2017 3:31Phản hồi: 76
Chi tiết về hệ thống chống rung kép của Google Pixel 2: Tương lai của chống rung trên camera di động
Trong thế giới smartphone, Google Pixel 2 hay Pixel 2 XL không chỉ được biết đến với chất lượng ảnh vượt trội mà bên cạnh đó còn là khả năng chống rung ấn tượng khi quay video. Công nghệ chống rung của Google gọi là Fused Video Stabilization, là sự kết hợp của chống rung quang học (bằng phần cứng) và chống rung điện tử (bằng phần mềm). Công nghệ này đủ hiệu quả và tối ưu để chạy trên mọi độ chế độ, dù là 60fps hay 4K. Trong bài viết này, chúng ta sẽ đi tìm hiểu chi tiết về công nghệ này để hiểu hơn về chống rung trên smartphone.

Trước khi đi vào bài viết chúng ta hãy xem những gì mà công nghệ này có thể làm được:




Theo Google , công nghệ này có thể xử lý các hiện tượng sau:
  • Rung động camera
  • Độ thở khi quay video
  • Hiện tượng Jello gây ra bởi rolling shutter
  • Mờ nhoè khung hình

cong_nghe_Google_Pixel.jpg
Đây là sơ đồ tóm gọn công nghệ Fused Video Stabilization
1. Ghi nhận hình ảnh:
Cảm biến ghi nhận tất cả cả các hình ảnh trong video ở dạng từng khung hình (frame) riêng lẻ. Những khung hình có rung động, chưa được xử lý sẽ được tổng hợp và xếp hàng (queue) chờ xử lý. Những dữ liệu lúc này vẫn là ở dạng thô, chưa thành video hoàn chỉnh.

2. Phân tích chuyển động
Máy sẽ sử dụng con quay hồi chuyển (gyroscope) để ghi nhận các chuyển động theo trục ngang, dọc và xoay. Bên cạnh đó, hệ thống chống rung quang học OIS được dùng để ghi nhận các rung động trục X và trục Y. Đối với trục Z, google sử dụng hệ thống lấy nét để ghi nhận các chuyển động này.

Sony Hybrid OIS system.png
Ảnh minh hoạ cho các dao động xoay chiều ngang (Yaw), xoay dọc (Pitch), xoay tròn (Roll), rung động theo trục X (ngang) và trục Y (dọc). Vì đặc thù phần cứng, Google còn ghi nhận được thêm dữ liệu về trục Z.

Những dữ liệu này sẽ được bộ xử lý ảnh ghi nhận với tốc độ 200 lần/giây. Với tốc độ quét khung hình nhanh như vậy, chip xử lý không chỉ có được những thông tin về rung động mà thậm chí còn nhận diện được những sự méo mó ảnh gây ra bởi Rolling Shutter.

Tất cả sẽ được sử dụng để "phân tích chuyển động". Các thuật toán đặc biệt sẽ tổng hợp các dữ liệu và tính toán độ mức độ bù trừ khung hình cho rung động. Ví dụ tại 1 khoảnh khắc bạn bị rung theo chiều hướng lên thì hệ thống chống rung này sẽ tính toán để kéo khung hình đó xuống cho khớp với khung hình trước đó.

Để sự phân tích được chính xác, Google phải xử lý và đồng bộ nhịp nhàng giữa các dòng dữ liệu với nhau, tránh hiện tượng khung hình được ghi nhận nhưng chưa có dữ liệu để xử lý. Vì thế họ đã tối ưu rất nhiều cho thuật toán phân tích chuyển động nhằm giảm thời gian lệch.

Quảng cáo



Đây là video minh hoạ cho việc Đồng độ dữ liệu bị lỗi. Bên trái là dữ liệu về sự rung động bị chậm 3 mili giây so với dữ liệu ảnh, bên phải là sự đồng bộ đã được xử lý

3. Lọc, dự đoán, xử lý
Dữ liệu từ bước trên sẽ được chuyển sang một bộ lọc chuyển động chủ động. Bằng các sử dụng hình ảnh của các khung hình trước đó, các thuật toán sử dụng công nghệ machine learning để phân tích, và dự đoán chuyển động tiếp theo. Dựa trên sự dự đoán đó, chip xử lý sẽ đoán hình ảnh tiếp theo sẽ bị rung theo hướng nào để xử lý ngay lập tức. Quá trình này gọi là "Lookahead filtering".

Lookahead filtering là một công nghệ nâng cao và là ưu thế của chống rung điện tử so với chông rung bằng phần cứng. Rõ ràng nếu đoán trước được tương lai thì chúng ta sẽ có biện pháp xử lý tốt hơn.

Trong quá trình "nhìn trước" (Look ahead), máy sẽ sử dụng bộ lọc Gaussian để xử lý chống rung ở mức cơ bản.


Sau đó một khuôn mẫu được huấn luyện trước (pre-trained model) sẽ được Google đưa vào để nhận diện chuyển động. Ví dụ nếu máy nhận ra là bạn đang lia máy theo chiều ngang, nó sẽ giảm bớt sự chống rung chiều dọc để chuyển sang ưu tiên chống rung chiều ngang.

Quảng cáo





4. Tối ưu rung động cho từng khung hình (Motion Blur Masking)


Trong lúc quay video, đặc biệt là video thiếu sáng, bạn sẽ nhận ra hiện tượng rung khung hình bị rung, nhoè (motion blur). Điều xuất hiện trên nhiều các thiết bị có cảm biến nhỏ. Ví dụ trong bài thử nghiệm so sánh GoPro 6 và Sony FDR-3000 của mình mới đây, chiếc GoPro bị hiện tượng rung nhoè rất nặng vì sử dụng chống rung điện tử không có xử lý motion blur:

Sony FDR-3000R vs GoPro HERO 62.png

Để giải quyết vấn đề này, Google đã xử dụng các thuật toán để nhìn vào từng khung hình, sau đó bôi chọn các vùng bị nhoè để xử lý. Bằng cách dịch chuyển vùng bị nhoè trùng với chiều di chuyển của khung hình, thuật toán này sẽ đánh lừa đôi mắt của bạn và khiến bạn nghĩ rằng đó không phải là rung.


Bên trái: Video chỉ có OIS, chưa được xử lý bằng Fused Video Stabilization, bên phải là đã xử lý chống rung với Fused Video Stabilization.
Hãy chú ý độ nét của chữ EXIT

Ví dụ ảnh của bạn bị rung theo chiều dọc, nhưng lúc đó bạn đang lia máy ngang thì thuật toán sẽ xử lý để sự nhoè theo chiều dọc đó nhìn giống như nhoè theo chiều ngang do đang lia máy.

Một lần nữa, công nghệ machine learning lại được áp dụng để luyện cho AI nhận biết sự rung động (huấn luyện AI bằng cách cho nó xem những video so sánh có và không có rung động)

Và đây là kết quả:

Bên trái: Video đã xử lý Fused Video Stabilization nhưng chưa xử lý Motion blur masking. Bên phải là video đã xử lý Fused Video Stabilization có kèm theo Motion blur masking.
Hãy chú ý độ nét của chữ EXIT

Xử lý cuối cùng và hiệu chỉnh:
Cuối cùng, tất cả các sự xử lý trên sẽ tổng hợp tạo nên sự chống rung hiệu quả. Các bạn có thể xem video dưới đây để hiểu hơn về cách mà môt video thành phẩm được chống rung cũng như vì sao video sau khi chống rung sẽ bị cắt bớt phần rìa bên ngoài và hình ảnh góc hẹp hơn video gốc:



Tổng kết:


Công nghệ kết hợp phần cứng và phần mềm đã có từ lâu. Ứng dụng quay video của Microsoft hay ứng dụng Hyperlapse của Instagram đều tận dụng con quay hồi chuyển để ghi nhận rung động và xử lý. Nhưng với Google, họ đưa công nghệ này lên mức độ cao hơn bằng cách kết hợp với chống rung quang học OIS và dùng cách thuật toán hiệu quả hơn.

Google nhấn mạnh Fused Video Stabilization là nỗ lực quy mô lớn của nhiều bộ phận khác nhau của công ty, từ bộ phận phát triển thuật toán camera, thuật toán cảm biến ảnh, thuật toán cảm biến, đến các bộ phận về phần cứng camera, phần cứng về cảm biến.

Kết quả là người dùng sẽ có được những đoạn video mượt hơn, ít rung, độ nét cao và có giá trị chia sẻ cao hơn. Từ Pixel đời đầu tiên, Google cho thấy phần mềm của họ rất tốt, vì thế tuy phần cứng có hơi kém hơn đối thủ, Pixel vẫn dễ dàng cho chất lượng ảnh tốt hơn các đối thủ cùng thời.

Với sự phân mảnh của thế giới Android, rất khó nói được liệu công nghệ này có được cập nhật cho các điện thoại của hãng khác không. Nhưng Google Pixel được xem như tiêu chuẩn của điện thoại Android theo cái nhìn của Google, vì thế chúng ta hoàn toàn có cơ sở để trông chờ một bản cập nhật Google Camera để mang công nghệ chống rung này lên nhiều điện thoại khác nhau. Hoặc trong thời đại ngày nay, điện thoại có OIS rất phổ biến, vì thế việc ứng dụng những công nghệ chống rung như thế này trong tương lai là điều rất khả thi.

76 bình luận
Chia sẻ

Xu hướng

justnad
ĐẠI BÀNG
6 năm
đã xài pixel 2 xl được 2 tuần, và rất hài lòng. chưa thử quay vì không có nhu cầu, đa phần toàn chụp hình là chủ yếu 😁

phần chống rung về phần mềm thì trên youtube có sẵn chức năng này từ lâu, và mình cũng biết từ đó ra. thấy mất phần viền sau khi chỉnh sửa, và cảm giác nó méo mó sao sao ấy nên từ đó không xài auto sửa video trên youtube nữa :D
@tuanmaskhp Mấy bạn đừng lo mấy cái đó. Hiện tượng đó là các bạn ép nó, phá nó thì nó mới lên. Mình dùng Pixel với cả Pixel 2 giờ vẫn chả thấy chuyện gì. Mình nên tỉnh táo trước những thông tin tiêu cực 😃
@Gia Tường Pixel 2 dùng màn Samsung thì chưa bị phốt, con 2 XL màn LG thì liên tục dính
@anhdienj Bác mua pixel ở đâu vậy ạ. Em cũng mê pixel lắm, ch o em xin cái link nha
justnad
ĐẠI BÀNG
6 năm
@tuanmaskhp không. và ngta nói là màu hơi nhạt, thì đúng vậy thật so với mấy màn hình đt mình so sánh (s7, iphone 7+,8+)
Google đã ra bản update thêm nút tăng màu sắc cho pixel 2 nhưng mình vẫn chưa nhận được nên vẫn đang chờ :D nhưng nghe nhiều người đồn là đỡ hơn
dù sao thì mình vẫn hài lòng, vì ko bao giờ để màn hình sáng maximum, nên chuyện màu sắc có thể bỏ qua
ntherol
TÍCH CỰC
6 năm
Hay quá hay
Rung mới đã chứ mấy bác. Rung xong rồi sẽ "rùng mình" . Ahehe
ntherol
TÍCH CỰC
6 năm
@anhlanguoibanthan Master đây rồi. Ôi...cái đầu với cái óc...
bnc246
TÍCH CỰC
6 năm
@anhlanguoibanthan chấp cả động đất 7,8 độ Richter
Vickk
TÍCH CỰC
6 năm
Pixel luôn dẫn đầu về công nghệ camera trên điện thoại 😃
Đúng là Google quá tuyệt. Hóng các hãng máy ảnh cũng được hưởng lại từ Google thì các máy sẽ có khả năng chống rung tuyệt vời cho người dùng cơ bản
Tương lai mong ko cần gimbal 😁
@Naruto_Xboy Có gimbal mới chống rung được toàn cảnh, người ta còn xài gimbal để có góc quay tốt hơn nữa chứ ko chỉ để chống rung
Khó hiểu sao đường có vẻ ko quá tệ sao lại nhảy tưng tưng đến vậy? Nếu muốn là thực tế thì chọn đường xấu lắm ổ gà mà làm. Vì video thứ 1 ko cho biết cách cố định các đt lên xe(người quay phim) nên ko biết thế nào? Có bộ phận gây rung động bổ xung, có đảm bảo rung đều cả hai đt hay ko?
Nhưng cái bên trái quay dù rung, nét hơn hẳn cái bên phải
@TYA Đường nhìn thì ít ổ gà nhưng nó không hề phẳng mà là nhấp nhô liên tục 😁 Do màu sắc nên nhìn ko rõ thôi. Thử nhìn cái xe đi trước xem nó nhún như thế nào là hiểu ấy mà.

Còn chuyện nét thì rõ ràng không nét bằng. Đã xử lý Gaussian filter, lại còn reduce Motion Blur thì nó không thể nào đạt maximum như video gốc.

Giống như đồ ăn càng nấu càng mất chất dinh dưỡng vậy đó :D Đã xào đi xào lại thì không thể nào như cái gốc được.
tbdat11
CAO CẤP
6 năm
@TYA Bạn đi đường quốc lộ thấy nó bằng phẳng, nhưng đừng nghĩ nó bằng phẳng, thử gắn điện thoại bạn lên cổ xe rồi đi xem, đường nhìn bằng phẳng nhưng rất nhiều chi tiết nhấp nhô nhỏ bên dưới, tác động tới người bạn không rõ bởi cơ bản là cơ thể bạn có hệ thống triệu tiêu rung động bằng "da thịt" tốt nên nó giảm thiểu ảnh hưởng thôi. Chứ cái camera nhỏ tí kia lắc 1 tí cũng thấy ngay nhé.
Poweramp
ĐẠI BÀNG
6 năm
Cái công nghệ chống rung kép này mà thuộc về apple thì tinhte sẽ có ít nhất 10 viết về nó và nhiều trang phân tích rằng đi trc đối thủ và các hãng sx smp khác ít nhất 2 năm .......😔:(:(
XBlue
CAO CẤP
6 năm
@Poweramp Thằng đó đâu muốn bán cho thế giới, tại sao phải quá quan tâm nó
@Poweramp sao bạn biết hay vậy?
datledo
ĐẠI BÀNG
6 năm
@Poweramp Chính cha này mới là cuồng apple. Tự dưng lôi vô chi ko biết -.-
tuann2
TÍCH CỰC
6 năm
Ngon nhưng vẫn ko biết tới bao giờ mới có ý định mua Pixel.
@tuann2 Nếu bạn thích xài Android thì mình nghĩ bạn nên mua dòng Pixel, đặc biệt là bản XL. Mình cũng đang dùng Pixel XL 😁
Hiểu một cách khoa học là camera trên Pixel 2 là bá nhất Android.
Nghe hay hay như chống rung 5 trục của máy ảnh olympus
@carddienthoai.com Không giống đâu 😁 công nghệ 5 trục của máy ảnh là dựa trên chống rung cảm biến và chống rung ống kính, mà cảm biến trên điện thoại thì không dịch chuyển được :D

Chủ yếu là phải dù các cảm biến để nhận biết để hệ thống phần mềm có thêm dữ liệu xử lý :D
@Gia Tường Có nghĩa là điện thoại chống rung chủ yếu dựa vào thuật toán phần mềm hả bác?
@carddienthoai.com No No, ý à nó vẫn có chống rung quang học (phần cứng), nhưng chừng đó thôi cũng chưa đủ. Ví dụ như Google thì họ cho rằng có chống rung điện tử sẽ tốt hơn nữa nên họ làm ra công nghệ như trên.

Vấn đề là cái điện thoại không có đủ to, không có không gian để thêm các phần cứng phức tạp như máy ảnh nên họ tận dụng các cảm biến có sẵn của điện thoại để ghi nhận thêm dữ liệu. Từ những dữ liệu này họ mới xử lý bằng phần mềm để cho ra kết quả tốt hơn.

còn trên máy ảnh thì có nhiều loại phần cứng hỗ trợ chống rung lắm nên độ chính xác sẽ cao hơn 😃
@Gia Tường gọi là kết hợp cả chống rung quang học và điện tử đúng k bác
@carddienthoai.com Đúng rồi 😁 từ FUSE trong Fused Video Stabilization có nghĩa là dung hợp. Tức là phải có cả 2 thứ thì nó mới hiệu quả :D
anh523110
TÍCH CỰC
6 năm
Thế steady shot của sony là trùm rùi nhỉ.^_^(^^):-D
mong năm sau Pixel 3 sẽ đừng nên chọn LG làm về màn hình cũng như gia công
@Quang Minh Vũ Màn của mình không lỗi nhưng mà kiểu của Amoled nó vạy. hơi tối, màu hơi gắt, contrast cao. Mình dùng LCD nhiều, có mỗi cái điện thoại alf Amoled nên hơi khó chịu 😁
ntnguyen4
TÍCH CỰC
6 năm
@Gia Tường Mod dùng con pixel 2 hay pixel 2 xl, do con XL màn pOLED chứ đâu phải Amoled nhỉ
@ntnguyen4 con Pixel 2 thì mấy mod khác cầm rồi. Mình đang dùng Pixel Xl làm máy chính 😁
ntnguyen4
TÍCH CỰC
6 năm
@Gia Tường Ah pixel đời 1 ah
Cảm ơn LG đã cho google thêm 1 cái để cần thay đổi vào năm sau.
Thấy chống rung công nghệ Steady Shot trên các dòng Xperia.của Sony gần đây là tốt nhất. Dù ảnh chụp chất lượng chưa dc tốt nhưng phải nói rằng công nghệ của Sony luôn đi trước , ai mà nói Google tiên phong là sai lầm.
sdawhai1
TÍCH CỰC
6 năm
@rungvang 1 cam xoá phong thì Nokia 8 cũng có đấy bạn, vẫn dùng phần mềm để xoá thôi, không xoá tốt như ống kính tele được.
rungvang
TÍCH CỰC
6 năm
@sdawhai1 Nokia 8 vẫn là 2 cam chứ nhỉ? Còn pixel là kết hợp cả phần cứng cả phần mềm, cam sau là công nghệ dùng hai pixel cạnh nhau trên cảm biến để đo khoảng cách, cam selfie là phần mềm
sdawhai1
TÍCH CỰC
6 năm
@rungvang Nokia 8 1 cam thường, 1 cam trắng đen mà bạn. Còn chụp xoá phong là bằng pm như Pixel 2 luôn.
rungvang
TÍCH CỰC
6 năm
@sdawhai1 Cam đen trắng vẫn dùng để đo depth chứ bạn, giống Huawei P9 và P10 thôi. Còn Pixel cam sau là dùng cả phần mềm kết hợp phần cứng để tạo depth, cam trước là phần mềm

https://www.androidauthority.com/heres-portrait-mode-works-google-pixel-2-808423/

For the front-facing camera, it’s pure segmentation. The rear-facing camera is where it gets interesting because it uses both stereo and segmentation.
Làm 1 bài so sánh về khả năng Chống rung của pixel 2 XL với sony XZ1 đi mod #gia tường .mình ko có xz1 nhưng cũng dùng xzs mấy tháng.đi xe máy 40km/h mà cũng mượt lắm
@QuaChanThat Ok, đã ghi sổ. Để mượn XZ1 của Cu Hiệp 😁 Mình sẽ cố làm bài này :D
ntnguyen4
TÍCH CỰC
6 năm
@Tung Anh 9 Đã xách dép còn nếu =.=' Thế 4k 30fps hoặc 1080p 60fps thì sao =.='
Các bác có để ý chống rung thì ảnh nó ko đẹp như rung ko.....
Tieutu29
ĐẠI BÀNG
6 năm
nhìn như giảm sóc các bác nhể?

Xu hướng

Bài mới









  • Chịu trách nhiệm nội dung: Trần Mạnh Hiệp
  • © 2024 Công ty Cổ phần MXH Tinh Tế
  • Địa chỉ: Số 70 Bà Huyện Thanh Quan, P. Võ Thị Sáu, Quận 3, TPHCM
  • Số điện thoại: 02822460095
  • MST: 0313255119
  • Giấy phép thiết lập MXH số 11/GP-BTTTT, Ký ngày: 08/01/2019