Foveated rendering là gì, mà từ Sony đến Meta, rồi cả Apple cũng phải dùng trong kính VR/AR?

P.W
6/2/2024 14:20Phản hồi: 18
Foveated rendering là gì, mà từ Sony đến Meta, rồi cả Apple cũng phải dùng trong kính VR/AR?
Hồi mình thực hiện bài đánh giá chi tiết cặp kính thực tế ảo chỉ chuyên phục vụ nhu cầu gaming từ Sony, PlayStation VR2 quãng đầu năm 2023, mình có đề cập tới khả năng theo dõi vị trí cử động giác mạc, để hỗ trợ phần cứng xử lý đồ họa giảm tải, đảm bảo tốc độ khung hình từ 60 đến 120Hz mượt mà ngay cả với phần cứng của máy PS5.

Thực tế phải thừa nhận, nếu không ghi hình lại những đoạn footage khi chơi điện tử với PS VR2, rất khó để nhận ra chi tiết công nghệ cực kỳ đắt giá giúp VR và AR mượt mà trên nền tảng phần cứng xử lý hiện tại. Công nghệ ấy được gọi là foveated rendering. Chỉ khi nhìn vào màn hình xuất tín hiệu khi chơi game cùng kính thực tế ảo của Sony, mới có thể nhận ra những khu vực chi tiết đồ họa giảm tới mức tối đa, cả về chất lượng texture lẫn độ phân giải. Còn khi đeo kính chơi game, không bao giờ cố nhìn ra được.



Lý do là, hệ thống camera hồng ngoại và cảm biến bên trong khung kính nhận diện được vị trí hai giác mác của anh em đang nhìn vào vị trí nào trên màn hình, rồi ra lệnh gần như ngay lập tức để máy chơi game tăng chất lượng đồ họa ở vị trí đôi mắt đang nhìn vào. Đảo mắt đi đâu cũng thấy những trò chơi như Gran Turismo 7 và Horizon: Call of the Mountains đẹp, nhưng lúc nào cũng mượt, không bị sụt khung hình, thứ cực kỳ nguy hiểm với nội dung thực tế ảo và thực tế tăng cường, vì tạo ra nguy cơ say cho người sử dụng kính.

Rồi tới khi Apple Vision Pro ra mắt, nhiều người được trên tay trải nghiệm sản phẩm giá gần 4 nghìn USD của Apple nhận ra, những nhân GPU của con chip M2 cũng ứng dụng giải pháp y hệt như PS VR2 một năm về trước để đảm bảo hình ảnh vừa mượt mà, vừa không tạo ra áp lực quá lớn lên chip M2.




Được giới thiệu lần đầu năm 2014, foveated rendering khi ấy hứa hẹn là giải pháp giảm tải gánh nặng đối với chip xử lý đồ họa khi chơi game. Nó vận hành hệt như cách thị giác con người hoạt động, nhìn vào một điểm cố định, mọi thứ xung quanh đều mờ đi để tập trung vào điểm ấy. Khái niệm này gọi là thị giác ngoại vi (peripheral vision). Một cách thử nghiệm rất đơn giản là anh em hãy chú ý vào một điểm trước mắt, rồi để ý những chi tiết xung quanh, đương nhiên anh em vẫn biết xung quanh có những món đồ vật gì, mờ mờ nhận ra màu sắc của chúng, nhưng không hề rõ nét so với thứ đang trong tầm mắt mà anh em đang tập trung quan sát.

Peripheral-vision.svg.png

Chính yếu tố thị giác ngoại vi này là tiền đề để foveated rendering được nghiên cứu phát triển.

Ý tưởng ban đầu đặt ra là, nếu có thể mô phỏng cách đôi mắt con người hoạt động để giảm tải gánh nặng cho CPU và GPU trong quá trình render những khung hình trong môi trường thực tế ảo, thì lợi thế là gì và nên làm như thế nào?

Lý thuyết dài dòng nhạt nhẽo trước đã, vì sao render hình ảnh trong môi trường thực tế ảo và thực tế tăng cường lại khó, khác và yêu cầu phần cứng thiết bị cao hơn so với việc render hình ảnh để theo dõi trên màn hình phẳng?

[​IMG]

Đầu tiên, render hình ảnh trong môi trường kính thực tế tăng cường, dù là game hay bất kỳ phần mềm ứng dụng nào khác cũng đều phải thêm nhiều yếu tố. Thứ nhất là cử động cổ và đầu của người dùng. Anh em xem những cái clip trải nghiệm, trên tay mấy cặp kính VR, từ PS VR2, cho đến Meta Quest 3, rồi vừa xong là Apple Vision Pro, đầu người đeo có cố gắng cố định đến mấy thì hình ảnh vẫn cứ rung lắc. Vậy là phần cứng render hình ảnh sẽ phải theo rất sát những cử động ấy với độ trễ thấp nhất để lúc đeo kính, anh em không bị nôn nao khó chịu.

Quảng cáo



Thứ hai, là vùng quan sát. Giới hạn tối đa vùng nhìn tầm ngang của đôi mắt con người, kèm thêm cả góc nhìn ngoại vi là 220 độ. Vùng nhìn mà kính thực tế tăng cường hỗ trợ càng lớn để càng chân thực, thì áp lực đối với phần cứng là tỷ lệ thuận.

Thứ ba, là khả năng phân cực hình ảnh để tạo ra cảm giác chiều sâu nhờ việc kính VR/AR thường kết hợp hai màn hình cho mỗi bên mắt. Xét riêng với giải pháp trên PC và console, thì hình ảnh thường sẽ được render một lần lên màn hình 2D, rồi sau đó phân cực cho hai màn hình trong kính. Cái này hiểu đơn giản theo kiểu, anh em cứ nhìn vào một món đồ, nhắm một mắt lại, hình ảnh trong mắt trái chắc chắn khác với mắt phải. Phần cứng render hình ảnh trong kính thực tế tăng cường sẽ phải điều chỉnh cho chuẩn để hình ảnh chân thực nhất.



Thứ tư, cũng để giảm nguy cơ “say xe” khi theo dõi hình ảnh hiển thị trên kính thực tế tăng cường, tốc độ khung hình thường dao động từ 90 đến 120 FPS. 60 FPS ở độ phân giải 4K đã khó với những giải pháp như PS5, và rất đắt đỏ trên PC. Đằng này với VR hoặc AR, hình ảnh vừa phải nét ở độ phân giải 4K hoặc hơn, vì màn hình chỉ cách đôi mắt có đôi ba centimetre, đã vậy lại còn phải cực kỳ mượt mà để không bị say.

Những thử thách đó đưa chúng ta đến với foveated rendering. Thực tế đây không phải giải pháp duy nhất để tối ưu hình ảnh hiển thị trên những cặp kính AR/VR. Render hình ảnh trên những giải pháp kính thực tế tăng cường luôn là những đánh đổi giữa chất lượng hình ảnh và tốc độ khung hình. Thành ra rất hiếm khi anh em được thấy một tác phẩm game VR bom tấn với đồ họa chân thực tương đương những game trên PC và console.

Trung tâm của công nghệ foveated rendering là khả năng nhận diện vị trí võng mạc, để đảm bảo đúng vị trí mắt người nhìn vào màn hình, ở chỗ đó chi tiết hình ảnh là nét, đẹp và ấn tượng nhất. Còn tất cả những chi tiết xung quanh thì làm mờ và giảm độ phân giải. Rồi kế tiếp là sự chính xác của hệ thống nhận diện võng mạc, để hình ảnh ở những vị trí khác nét ngay lập tức.

Quảng cáo



Rồi đến cả độ mịn và mờ của hình ảnh ngoại vi cũng phải được tùy chỉnh một cách chính xác, mờ theo kiểu “dần dần” để trải nghiệm chân thực nhất có thể, ví dụ giải pháp của Tobii:

Tobii-DFR-car-eye.webp

Có hai kỹ thuật foveated rendering. Cách thứ nhất thì đơn giản nhưng gần như vô dụng, gọi là fixed/static foveated rendering. Kỹ thuật này mặc định coi hai võng mạc của người đeo kính thực tế tăng cường luôn nhìn vào trung tâm của màn hình, và những gì ở chính giữa màn hình sẽ có độ nét cao nhất, rồi xung quanh sẽ giảm chi tiết đồ họa. Cách này yêu cầu mắt người dùng kính XR phải cố định chính giữa màn hình, chỉ xoay đầu và cổ để theo dõi những chi tiết xung quanh thế giới ảo render trong hai màn hình của kính mà thôi.

Tobii-fixed-foveated-rendering.webp

Còn cách hai, dynamic foveated rendering, mới là đỉnh cao của công nghệ thực tế tăng cường hiện nay. Theo cách mô tả của Tobii, dynamic foveated rendering tận dụng khả năng theo dõi mắt để chỉ khu vực rất nhỏ trên hai màn hình kính XR được render ở chất lượng cao nhất. Rồi đến vùng hình ảnh màu xám và xanh nhạt như trong hình minh họa dưới đây, chất lượng, độ nét và độ phân giải hình ảnh sẽ giảm dần để tận dụng bản chất thị giác ngoại vi của mắt người:

Tobii-dynamic-foveated-rendering.webp

Nhờ vùng hình ảnh chất lượng cao trên màn hình rất nhỏ so với tổng thể diện tích hiển thị của hai màn hình, nên áp lực giảm tải cho phần cứng render hình ảnh cho kính thực tế tăng cường nhờ dynamic foveated rendering là rất lớn.

Trong tài liệu nghiên cứu khoa học về công nghệ foveated rendering của 4 tác giả tại trường đại học Maryland, Mỹ công bố năm 2022, họ đưa ra kết quả nghiên cứu, nói rằng vùng nhìn thực tế mà đôi mắt con người thực sự tập trung vào trong màn hình kính XR chỉ là 20 độ, thử nghiệm với kính VR năm 2016, chỉ có đúng 4% tổng số điểm ảnh là trong vùng nhìn của người đeo, còn 96% số điểm ảnh đều chỉ nằm trong tầm nhìn ngoại vi, mắt không để ý quá kỹ, nên rất lãng phí nếu render chúng ở chất lượng cao nhất.

Với Tobii, họ đã thử nghiệm công nghệ này với kính Pico, hình ảnh render từ Unity Engine, GPU được giảm tải tới 72%. Lượng tài nguyên tính toán này hoàn toàn có thể dùng vào việc tăng cường chất lượng hình ảnh hiển thị trong cặp kính, cũng như hiển thị được nhiều thông tin, cửa sổ hình ảnh và chi tiết đồ họa hơn trong những ứng dụng thực tế tăng cường.

Và dù công nghệ đã có được nhiều năm, nhưng đến giờ những cặp kính hỗ trợ foveated rendering mặc định cũng mới chỉ đếm trên đầu ngón tay: Meta Quest Pro, Varjo Aero, Pimax Crystal, Sony PlayStation VR2, và mới nhất là Apple Vision Pro. Ở hình cover, có thể nhận ra rõ ràng những vị trí foveated rendering làm việc trên Apple Vision Pro, và nhận ra vị trí đôi mắt của mod Tùng Trịnh đang tập trung vào đâu. So sánh với PS VR2, hình ảnh làm mờ và giảm chất lượng trên Apple Vision Pro nhìn mịn màng hơn khá nhiều, có lẽ nhờ sức mạnh của GPU trên con chip M2 trang bị bên trong cặp kính.
18 bình luận
Chia sẻ

Xu hướng

kiến thức này đã được tiếp thu
nên có một nghiên cứu y học về tác động của những kính này đối với mắt khi sử dụng lâu liệu có ảnh hưởng lớn đến sức khỏe thị lực không nhỉ
Im lặng đi
@kevin2210 Bố cái thằng ngáo đá - mày thắc mắc cái gì thông minh hơn được xíu không ?
@kevin2210 Chắc chắn là có nhé bạn ơi. Mỗi người mắt có 1 khoảng cách đồng tử khác nhau, tình trạng sức khoẻ mắt khác nhau. Các kính này có quảng cáo công nghệ dời biển xẻ núi gì đi chăng nữa thì hiện tại chắc chắn vẫn gây ảnh hưởng tiêu cực tới mắt nếu sử dụng nhiều
Công nhận Trung Quốc đỉnh thật, không ai ngoài TQ sản xuất đc mấy con này.
Leon_Ng
ĐẠI BÀNG
3 tháng
@Bảo hộ moto Tài Đạt bị làm sao dzay ba
@Leon_Ng Ba ghi tiếng Việt mà
Cảm ơn Apple, nhờ có VP tôi mới chịu đọc kiến thức này
@lhdtt Không biết bác nói khịa hay là nói thật chứ em cũng như vậy thiệt luôn đó =]]]
Công nghệ này không mới, VP cũng không phải sp đầu tiên nhưng còn lâu mình mới chịu tìm hiểu mấy cái này trước khi có VP=]]
@bhuubao Thật đấy bác, bài kia nếu có có trước tui cũng lướt qua thôi 🤣 nhưng tui anti apple-fan (không anti Apple)
mấy thằng lé thì sao? ko biết apple nghiên cứu tới khúc này chưa hhaa
@fffxxx INFO đáng suy nghĩ
Cười ra nước mắt
vhhai_c3
TÍCH CỰC
3 tháng
Nhớ ngày xưa Playstation có Checkerboad Rendering, render theo ô bàn cờ sau đó nội suy Upscale để GPU chỉ phải render ở 1600 x 900 mà sau đó xuất được lên thành 4K siêu ảo 😄
casperpas
ĐẠI BÀNG
3 tháng
"Nó vận hành hệt như cách thị giác con người hoạt động, nhìn vào một điểm cố định, mọi thứ xung quanh đều mờ đi để tập trung vào điểm ấy"

Nói như này mình thấy k đúng lắm. Đúng ra là dựa vào hiện tượng này của mắt mà người ta nghĩ ra cái "mẹo" kia để giảm tải cho hệ thống do có hiển thị nét thì đằng nào mắt cũng k nhìn rõ ở những vùng đó được.

Mình nói "k đúng lắm" vì câu "vận hành giống như thị giác người hoạt động" thì đúng (phần cơ chế hiển thị đang nói đến), nhưng "mọi thứ xung quanh đều mở đi để tập trung vào điểm ấy" thì lại k đúng.

Do cấu tạo của võng mạc và thủy tinh thể (thấu kính) nên các vật nằm ngoài vùng trung tâm sẽ nằm ngoài vùng lấy nét, k tạo được "ảnh thật" rõ nét lên võng mạc -> ảnh mờ. Cho nên khu vực đó của võng mạc cũng k cần phải phân bố các tế bào cảm sáng "chất lượng cao" ở đó mà tập trung nhiều hơn vào khu trung tâm. Cho nên nó bị mờ đi như thế là do bản thân cấu tạo của mắt chứ k phải nó làm như thế để tập trung. Các loài có "mắt kép" như chuồn chuồn chẳng hạn, thì vì nó có rất nhiều "mắt", nhiều thấu kính ở nhiều hướng khác nhau nên nó có thể nhìn rõ đồng thời ở nhiều hướng.

Cái phần mờ đấy mà bị "hỏng" thì cũng phiền, vì nhờ có vùng "ngoại vi" đấy mà chúng ta tiếp nhận được nhiều thông tin hơn từ môi trường xung quanh, giúp ích cho việc đi lại và cảnh báo nguy hiểm (tự động, k cần phải tập trung chú ý).
haico1992
ĐẠI BÀNG
3 tháng
@casperpas Thế nên có tắt luôn đâu, chỉ render vừa đủ với độ chi tiết phần viền ấy có thể tiếp nhận đc thôi
Lại bị tụi nó lừa rồi:
Namlvlee
TÍCH CỰC
3 tháng
Không biết loạn thì sao nhỉ

Xu hướng

Bài mới









  • Chịu trách nhiệm nội dung: Trần Mạnh Hiệp
  • © 2024 Công ty Cổ phần MXH Tinh Tế
  • Địa chỉ: Số 70 Bà Huyện Thanh Quan, P. Võ Thị Sáu, Quận 3, TPHCM
  • Số điện thoại: 02822460095
  • MST: 0313255119
  • Giấy phép thiết lập MXH số 11/GP-BTTTT, Ký ngày: 08/01/2019