Theo những tài liệu đăng ký bản quyền sở hữu trí tuệ của Apple vừa được tiết lộ, có thể các kỹ sư phát triển chiếc kính AR đang tìm cách để tạo ra trải nghiệm thực tế ảo tăng cường hấp dẫn nhất với người đeo chiếc kính này. Một trong những cách để đạt được điều đó là theo dõi chuyển động của tay và quét những bề mặt xung quanh người dùng, để biến mặt bàn, biến tường, hay bất kỳ bề mặt phẳng nào trở thành một màn hình cảm ứng đúng nghĩa để người dùng tương tác. Những thông tin và chi tiết nội dung giao diện sẽ chỉ hiển thị trên màn hình của kính AR, không ai khác có thể thấy được, nhưng đối với người đeo kính Apple Glass, những bề mặt phẳng ngoài đời thực sẽ giống hệt như màn hình smartphone hay laptop để tương tác và xử lý thông tin.
Những bản vẽ mô tả ý tưởng của các kỹ sư Apple đã được đăng ký từ năm 2016 nhưng mãi đến bây giờ mới được lộ diện: “Phương pháp và thiết bị phát hiện tương tác chạm giữa hai vật thể.” Ý tưởng của Apple là, khi thiết bị có màn hình ngày càng nhỏ, hoặc càng gần mắt, thì khả năng tương tác với trải nghiệm chạm như màn hình cảm ứng trên smartphone hay laptop càng trở nên khó khăn, vì thế cách tương tác hay nhất với một thiết bị AR là màn hình sẽ mô phỏng những nút bấm và giao diện ảo trên bề mặt đồ vật và không gian thật cho người dùng, còn màn hình trên kính vẫn sẽ ở gần mắt để hiển thị hiệu quả thông tin.
Màn hình chiếc “Apple Glass” có thể hiển thị thông tin, nhưng sẽ rất khó để tương tác với những thông tin đó. Đấy là lúc công nghệ AR phát huy tác dụng, hiển thị hiệu quả giao diện ảo lên thế giới thật, như cách iPhone và iPad thời gian qua ứng dụng rất hay với ARKit. Vì AR đã quét toàn bộ không gian thế giới thật xung quanh người dùng, sẽ chẳng khó để triển khai giao diện ảo sao cho sử dụng tiện nhất có thể, chạm vào chỗ nào cũng nhận được cuộc gọi hoặc đọc tin nhắn.
Lúc nào cũng vậy, nói thì dễ, đến lúc làm mới khó. Làm thế nào để hệ thống nhận diện được ngón tay của anh em đã chạm vào đúng vị trí “nút bấm” và giao diện pha trộn giữa ảo và thật một cách chính xác. Đây là trở ngại lớn nhất giữa smartphone và AR, vì màn hình smartphone biết chính xác ngón tay chúng ta đang ở đâu, còn kính AR phải theo dõi chuyển động qua camera. Không gì bực mình hơn việc ấn nhầm, và nếu không đảm bảo mức độ chính xác khi tương tác giữa môi trường và thực tế ảo, thì sản phẩm coi như vứt đi. Để giải quyết vấn đề này, đơn giản nhất là dùng cảm biến đầu ngón tay:
“Hướng giải quyết dễ thấy nhất là trang bị cho vật thể hoặc cơ thể người (đầu ngón tay chẳng hạn) một cảm biến đọc được cử động chạm. Vấn đề là hướng giải quyết đó cần phải thay đổi kết cấu vật thể hoặc cơ thể người.”
Hướng giải quyết thứ hai là nhận diện vật thể che khuất mô hình do AR dựng lên, gọi là Occlusion augmented reality. Cơ chế occlusion cho phép camera của kính AR theo dõi được cử động của ngón tay. Từ đó, ngón tay chỉ cần che lấp giao diện ảo mô tả trên bề mặt đồ vật ngoài đời thật là thiết bị sẽ có thể ghi nhận lệnh thao tác. Điểm yếu của giải pháp này là giao diện sẽ phải rất to, không tinh tế một chút nào, và chưa kể occlusion nhận diện giao diện bị che lấp cũng chưa chắc hoạt động chính xác hoàn toàn.
Và vẫn như mọi lần, các kỹ sư Apple luôn tìm ra được cách để giải quyết một vấn đề khó khăn. Họ đưa ra giải pháp đo chênh lệch nhiệt độ: “Nếu hai vật thể có nhiệt độ khác nhau chạm vào nhau, khu vực chạm sẽ có thay đổi nhiệt độ ngay lập tức và sau đó dần trở về nhiệt độ ban đầu. Vì thế, giao diện pixel tương ứng với một điểm trên bề mặt vật thể ngoài môi trường thật có thể đo được sự tăng hoặc giảm nhiệt độ, dù chậm nhưng rất rõ ràng.” Nói cách khác, kính AR sẽ giả lập giao diện ứng dụng lên mặt bàn, tường hoặc thậm chí một viên gạch, như trong tài liệu bản quyền trên đây của Apple, khi tay chạm vào những đồ vật đó, nhiệt độ sẽ thay đổi, và từ đó kính AR sẽ nhận diện được ngón tay của chúng ta chạm vào chỗ nào trên đồ vật, tương ứng là nút nào trên giao diện ảo.
Khó khăn của giải pháp này là cách đo chênh lệch nhiệt độ. Apple đưa ra vài giải pháp như sử dụng camera hồng ngoại, nhưng cách này rất dễ tạo ra sai số: “Nó có thể phân biệt được cử động chạm hoặc che khuất giao diện do cử động cơ thể người với những tương tác không mong muốn. Nó cũng có thể định hình chính xác vị trí cử động chạm diễn ra.” Nhưng tất cả những giải pháp trên đều chưa tổng hợp hết được những gì anh em có thể dùng trên smartphone, như vuốt để xem ảnh hoặc phóng to ảnh chẳng hạn, mà mới chỉ bàn đến cách nhận diện cử động của người dùng với môi trường xung quanh mà thôi.
Những bản vẽ mô tả ý tưởng của các kỹ sư Apple đã được đăng ký từ năm 2016 nhưng mãi đến bây giờ mới được lộ diện: “Phương pháp và thiết bị phát hiện tương tác chạm giữa hai vật thể.” Ý tưởng của Apple là, khi thiết bị có màn hình ngày càng nhỏ, hoặc càng gần mắt, thì khả năng tương tác với trải nghiệm chạm như màn hình cảm ứng trên smartphone hay laptop càng trở nên khó khăn, vì thế cách tương tác hay nhất với một thiết bị AR là màn hình sẽ mô phỏng những nút bấm và giao diện ảo trên bề mặt đồ vật và không gian thật cho người dùng, còn màn hình trên kính vẫn sẽ ở gần mắt để hiển thị hiệu quả thông tin.
Màn hình chiếc “Apple Glass” có thể hiển thị thông tin, nhưng sẽ rất khó để tương tác với những thông tin đó. Đấy là lúc công nghệ AR phát huy tác dụng, hiển thị hiệu quả giao diện ảo lên thế giới thật, như cách iPhone và iPad thời gian qua ứng dụng rất hay với ARKit. Vì AR đã quét toàn bộ không gian thế giới thật xung quanh người dùng, sẽ chẳng khó để triển khai giao diện ảo sao cho sử dụng tiện nhất có thể, chạm vào chỗ nào cũng nhận được cuộc gọi hoặc đọc tin nhắn.
Lúc nào cũng vậy, nói thì dễ, đến lúc làm mới khó. Làm thế nào để hệ thống nhận diện được ngón tay của anh em đã chạm vào đúng vị trí “nút bấm” và giao diện pha trộn giữa ảo và thật một cách chính xác. Đây là trở ngại lớn nhất giữa smartphone và AR, vì màn hình smartphone biết chính xác ngón tay chúng ta đang ở đâu, còn kính AR phải theo dõi chuyển động qua camera. Không gì bực mình hơn việc ấn nhầm, và nếu không đảm bảo mức độ chính xác khi tương tác giữa môi trường và thực tế ảo, thì sản phẩm coi như vứt đi. Để giải quyết vấn đề này, đơn giản nhất là dùng cảm biến đầu ngón tay:
“Hướng giải quyết dễ thấy nhất là trang bị cho vật thể hoặc cơ thể người (đầu ngón tay chẳng hạn) một cảm biến đọc được cử động chạm. Vấn đề là hướng giải quyết đó cần phải thay đổi kết cấu vật thể hoặc cơ thể người.”
Hướng giải quyết thứ hai là nhận diện vật thể che khuất mô hình do AR dựng lên, gọi là Occlusion augmented reality. Cơ chế occlusion cho phép camera của kính AR theo dõi được cử động của ngón tay. Từ đó, ngón tay chỉ cần che lấp giao diện ảo mô tả trên bề mặt đồ vật ngoài đời thật là thiết bị sẽ có thể ghi nhận lệnh thao tác. Điểm yếu của giải pháp này là giao diện sẽ phải rất to, không tinh tế một chút nào, và chưa kể occlusion nhận diện giao diện bị che lấp cũng chưa chắc hoạt động chính xác hoàn toàn.
Và vẫn như mọi lần, các kỹ sư Apple luôn tìm ra được cách để giải quyết một vấn đề khó khăn. Họ đưa ra giải pháp đo chênh lệch nhiệt độ: “Nếu hai vật thể có nhiệt độ khác nhau chạm vào nhau, khu vực chạm sẽ có thay đổi nhiệt độ ngay lập tức và sau đó dần trở về nhiệt độ ban đầu. Vì thế, giao diện pixel tương ứng với một điểm trên bề mặt vật thể ngoài môi trường thật có thể đo được sự tăng hoặc giảm nhiệt độ, dù chậm nhưng rất rõ ràng.” Nói cách khác, kính AR sẽ giả lập giao diện ứng dụng lên mặt bàn, tường hoặc thậm chí một viên gạch, như trong tài liệu bản quyền trên đây của Apple, khi tay chạm vào những đồ vật đó, nhiệt độ sẽ thay đổi, và từ đó kính AR sẽ nhận diện được ngón tay của chúng ta chạm vào chỗ nào trên đồ vật, tương ứng là nút nào trên giao diện ảo.
Khó khăn của giải pháp này là cách đo chênh lệch nhiệt độ. Apple đưa ra vài giải pháp như sử dụng camera hồng ngoại, nhưng cách này rất dễ tạo ra sai số: “Nó có thể phân biệt được cử động chạm hoặc che khuất giao diện do cử động cơ thể người với những tương tác không mong muốn. Nó cũng có thể định hình chính xác vị trí cử động chạm diễn ra.” Nhưng tất cả những giải pháp trên đều chưa tổng hợp hết được những gì anh em có thể dùng trên smartphone, như vuốt để xem ảnh hoặc phóng to ảnh chẳng hạn, mà mới chỉ bàn đến cách nhận diện cử động của người dùng với môi trường xung quanh mà thôi.
Theo Apple Insider