Phát triển AR và VR với Máy ảnh Cổ tay Mới

Thực tế ảo tăng cường (AR) và thực tế ảo (VR) đã tiến một bước nữa với sự tạo ra một thiết bị đeo trên cổ tay mới để ước lượng tư thế tay 3D. Thiết bị này được tạo ra bởi các nhà nghiên cứu tại Viện Công nghệ Tokyo (Tokyo Tech), cùng với các đội từ Đại học Carnegie Mellon, Đại học St Andrews và Đại học New South Wales. 

Điểm chính của hệ thống mới này là một máy ảnh có khả năng chụp ảnh ở phía sau tay. Nó thực hiện việc này thông qua việc sử dụng một mạng nơ-ron được gọi là DorsalNet. Mạng nơ-ron này có thể xác định các cử chỉ động.

Sử dụng thiết bị AR và VR đang tăng lên, đặc biệt là trong các ngành công nghiệp như y tế, thể thao và giải trí. Phát triển mới này sẽ giúp ngành công nghiệp chuyển hướng khỏi các phương pháp cồng kềnh hiện đang được sử dụng, bao gồm cả găng tay lớn khiến cho việc di chuyển tự nhiên trở nên khó khăn. 

Hệ Thống Nhận Dạng Tư Thế Tay 3D

Đội nghiên cứu được dẫn dắt bởi Hideki Koike tại Tokyo Tech. 

Theo các nhà nghiên cứu, “Công việc này là ước lượng tư thế tay 3D dựa trên hình ảnh đầu tiên sử dụng các tính năng hình ảnh từ vùng tay dorsal. Hệ thống bao gồm một máy ảnh được hỗ trợ bởi một mạng nơ-ron tên là DorsalNet, có thể ước lượng chính xác tư thế tay 3D bằng cách phát hiện các thay đổi ở phía sau tay.” 

Thiết bị có một máy ảnh và được đeo trên cổ tay, và nó hoạt động như một hệ thống nhận dạng tư thế tay 3D. Khía cạnh quan trọng nhất của thiết bị, có thể tương tự như một chiếc đồng hồ thông minh, là nó có thể chụp các chuyển động tay ngay cả khi môi trường và thiết bị itself đang di chuyển. 

Độ Chính Xác và Kiểm Tra Sơ Bộ

Nghiên cứu đã chứng minh rằng hệ thống mới được phát triển này hoạt động tốt hơn so với các nỗ lực trước đó. Cụ thể, nó có độ chính xác trung bình cao hơn 20% trong việc nhận dạng các cử chỉ động. Khi nói đến việc xác định 11 loại cầm nắm khác nhau, nó có tỷ lệ chính xác là 75%.

Các kiểm tra sơ bộ đã cho thấy hệ thống có thể được sử dụng để điều khiển thiết bị thông minh. Các ứng dụng này bao gồm việc thay đổi thời gian trên đồng hồ thông minh bằng cách chỉ cần thay đổi góc của ngón tay. Ngoài ra, các nhà nghiên cứu đã chứng minh cách nó có thể hoạt động như một chuột ảo hoặc bàn phím, cho phép các hành động như xoay cổ tay để điều khiển con trỏ.

Theo các nhà nghiên cứu, sẽ cần phải có nhiều cải tiến hơn nữa để hệ thống này có thể được sử dụng trong thế giới thực. Ví dụ, họ sẽ cần phải sử dụng một máy ảnh tiên tiến hơn với tốc độ khung hình cao hơn để có thể chụp các chuyển động cổ tay nhanh hơn, cũng như xử lý các điều kiện ánh sáng khác nhau.

Nghiên cứu sẽ được trình bày tại Hội thảo Hội thảo về Phần mềm và Công nghệ Giao diện Người dùng ACM (UIST), sẽ được tổ chức trực tuyến từ ngày 20-23 tháng 10 năm 2020.