Apple Vision Pro điều khiển cử chỉ tay hoạt động như thế nào?

Trong màn trình diễn khi ra mắt Apple Vision Pro, một điểm ấn tượng đó là việc điều khiển thiết bị này ngoài giọng nói ra thì còn có thể dùng cử chỉ của ngón hay hoặc bàn tay. Apple chưa công bố cụ thể về cách thức hoạt động của công nghệ mà họ sử dụng, tuy nhiên mình sẽ đưa ra những công nghệ tương tự đang tồn tại và được ứng dụng thực tế trước đó để tham khảo, bởi mình tin rằng cách thức hoạt động chung của việc điều khiển cử chỉ là giống nhau, sự khác biệt là ở phần mềm hoặc nền tảng, ví dụ như Apple sẽ có nhận diện chuyển động mống mắt để hỗ trợ cho việc điều khiển bằng cử chỉ tay được chính xác hơn, và quan trọng nhất là sự đa dạng của phần mềm có thể khai thác nhiều hơn.

Apple vừa có một cú “One More Thing” trong sự kiện WWDC 2023 đầy sự trầm trồ vỡ oà đối với ít nhất là những người yêu thích sản phẩm Apple. Chiếc kính thực tế tăng cường (AR) Apple Vision Pro không chỉ đơn thuần là một thiết bị chơi game như hầu hết các loại kính AR khác, nó là một thiết bị giải trí đa nền tảng, là một thiết bị có thể xử lý công việc hay nhiều tác vụ gần tương tự như máy tính hay thiết bị cầm tay. Apple nhấn mạnh trải nghiệm mà thiết bị này đem lại sẽ nhiều chất lượng và cảm xúc hơn so với các thiết bị như điện thoại, tablet hay máy tính thông thường khác.

Phần cứng Apple Vision Pro

Ultraleap từng chia sẻ, phần cứng cần có để hoạt động tính năng điều khiển bằng cử chỉ tay là rất đơn giản, hệ thống cần có ít nhất 2 camera (gọi là IR camera) để có thể thu thập hình ảnh không gian 3 chiều (3D), hệ thống đèn LED hồng ngoại (LED illumianators) để "soi sáng" vật thể và đồng bộ với tốc độ khung hình mà camera thu thập được.

Cũng chính vì các thiết bị phần cứng cần thiết kế trên, công nghệ này có thể sẽ có những giới hạn nhất định mà các nhà sản xuất hay thiết kế cần phải giải bài toán này. Điển hình như Ultraleap họ đã nâng cấp công nghệ camera với góc nhìn tối đa 170 độ theo cả chiều ngang lẫn chiều dọc, cho phép nhận diện cử chỉ tay để điều khiển trong phạm vi từ 10-75cm tính từ mắt người trở ra phía trước.

Sở dĩ phạm vi có thể nhận diện được cử chỉ tay cần có một khoảng cách nhất định đó là vì hệ thống LED illuminators chỉ có thể “chiếu sáng” trong một phạm vi nhất định. Nhưng cũng vì điều này nên dù camera IR có góc rộng là bao nhiêu đi chăng nữa thì nó cũng chỉ có thể “nhìn” được vật thể được chiếu sáng bởi hệ thống LED illuminators mà thôi, các vật thể khác dù có chuyển động đi chăng nữa đều không ảnh hưởng.

Như vậy có thể tạm hình dung được, dữ liệu mà camera IR kết hợp với LED illuminators đưa về đáp ứng được: sự chính xác, vật thể chuyển động trong không gian 3 chiều, không giới hạn vị trí miễn là chúng chuyển động mà cụ thể ở đây là đôi bàn tay.

Phần mềm theo dõi cử chỉ tay

Khi đã có được nguồn dữ liệu thu thập từ phần cứng, việc còn lại đó là cần hệ thống phần mềm đọc và xử lý khối dữ liệu kể trên. Theo như chia sẻ của Ultraleap, họ sẽ tiếp tục tái tạo lại các hình ảnh 3D với các khớp cử động giống như trên bàn tay người, để từ đó có thể gán tác vụ hay theo dõi chính xác được cử chỉ của bàn tay, một hai hay nhiều ngón tay.




Chắc chắn các nhà sản xuất đều đã “dạy” cho phần mềm nhiều ngàn kịch bản chuyển động của tay để nâng cao mức độ chính xác của cử chỉ. Với Apple, họ kết hợp với hệ thống nhận diện cử chỉ mống mắt để xác định được khu vực mà người dùng muốn tương tác trong không gian 3 chiều của họ, và có vẻ đây mới là công nghệ độc đáo của riêng Apple chứ không phải chỉ đơn thuần là đọc - hiểu và ứng dụng công nghệ điều khiển bằng cử chỉ.

Trong ứng dụng thực tế

Giải pháp điều khiển bằng cử chỉ tay là không hề mới, chúng đã có từ nhiều năm trước, tất nhiên công nghệ ngày càng phát triển và chúng sẽ trở nên hiện đại hơn. Tuy nhiên trong ứng dụng thực tế, bản thân mình chưa nhìn thấy được nhà sản xuất nào ứng dụng chúng trừ BMW đã mang công nghệ này lên xe hơi của họ vào năm 2015 và gọi là công nghệ Gesture Control.

Ra đời với mục đích đem đến sự tiện lợi cho người lái xe, đặc biệt là trong mùa lạnh khi phải mang găng tay, những thao tác điều khiển cơ bản đều có thể “ra hiệu” bằng bàn tay hoặc ngón tay.

Công nghệ mà BMW sử dụng nguyên lý hoạt động tương tự như đã kể bên trên, hệ thống camera IR và đèn LED hồng ngoại là cốt lõi, khu vực nhận diện cử chỉ cũng có giới hạn và tốc độ xử lý còn phụ thuộc vào cấu hình phần cứng, phần mềm.

Tạm kết

Apple được nói đến là người luôn biết tận dụng những công nghệ sẵn có để biến nó thành một thứ hấp dẫn, công nghệ điều khiển bằng cử chỉ này rất có thể cũng sẽ được liệt kê vào danh sách. Bởi lịch sử cho thấy, từ khoảng 15 năm trước đã có những ý tưởng hay phần mềm sử dụng camera theo dõi cử chỉ và biến nó thành thao tác điều khiển, Leap Motion cũng đã từng giới thiệu và bây giờ khi được mua lại vào năm 2019 thì họ cũng có đã có những chiếc kính có thể làm được điều gần giống với cách mà chiếc kính của Apple thực hiện.


Thứ giá trị và khác biệt của Apple vision pro nằm ở việc giao diện hoạt động, cách thức hoạt động khi kết hợp với công nghệ điều khiển bằng cử chỉ tay, và theo như video mô tả của Apple thì nó hoàn hảo hơn so với mặt bằng chung của những hệ thống điều khiển bằng cử chỉ đang có trên thị trường.

Tham khảo từ: Apple, Ultraleap

Tổng hợp sự kiện WWDC23: Cuối cùng cũng có One More Thing!

WWDC23 đã chính thức diễn ra, Apple đã mang đến nhiều nâng cấp mới về phần cứng và phần mềm cho hệ sinh thái của mình. Chúng ta có MacBook Air 15" chip M2, Mac Studio với tuỳ chọn chip M2 Ultra, Mac Pro mạnh “dã man”, iOS 17, iPadOS 17, MacOS Sonoma…

tinhte.vn

Các sản phẩm Apple ra mắt tại WWDC23 đêm qua:

• Kính Apple Vision Pro
• MacBook Air 15 inch
• iOS17 cho iPhone
• iPadOS cho iPad
• watchOS 10 cho Apple Watch
• macOS Sonoma cho MacBook
• Mac Pro chip Apple Silicon
• MacBook Air 15"
• Mac Studio lên M2 Ultra