Bộ điều khiển hình người đeo mặt nạ của Intel: Một cách tiếp cận mới để tạo ra chuyển động của con người có thể định hướng và thực tế về mặt vật lý

Các nhà nghiên cứu từ Phòng thí nghiệm Intel, hợp tác với các chuyên gia học thuật và công nghiệp, đã giới thiệu một kỹ thuật đột phá để tạo ra chuyển động thực tế và có thể định hướng của con người từ các đầu vào thưa thớt, đa phương thức. Công trình của họ, được nêu bật tại Hội nghị Châu Âu về Thị giác Máy tính (ECCV 2024), tập trung vào việc vượt qua những thách thức trong việc tạo ra các hành vi tự nhiên, dựa trên vật lý của con người trong các nhân vật hình người đa chiều. Nghiên cứu này là một phần trong sáng kiến ​​rộng lớn hơn của Intel Labs nhằm thúc đẩy thị giác máy tính và học máy.

Intel Labs và các đối tác gần đây đã trình bày sáu bài báo tiên tiến tại ECCV 2024, một hội nghị hàng đầu được tổ chức bởi Hiệp hội thị giác máy tính Châu Âu (ECVA).

Giấy Tạo ra chuyển động của con người thực tế và có thể định hướng từ các đầu vào đa phương thức giới thiệu những đổi mới bao gồm một chiến lược phòng thủ mới để bảo vệ các mô hình văn bản thành hình ảnh khỏi các cuộc tấn công nhóm đỏ dựa trên lời nhắc và phát triển một tập dữ liệu quy mô lớn được thiết kế để cải thiện tính nhất quán về mặt không gian trong các mô hình này. Trong số những đóng góp này, bài báo nêu bật sự tận tâm của Intel trong việc thúc đẩy mô hình tạo ra trong khi ưu tiên AI có trách nhiệm thực hành.

Tạo ra chuyển động thực tế của con người bằng cách sử dụng đầu vào đa phương thức

Bộ điều khiển hình người đeo mặt nạ (MHC) của Intel là một hệ thống đột phá được thiết kế để tạo ra chuyển động giống con người trong môi trường vật lý mô phỏng. Không giống như các phương pháp truyền thống phụ thuộc nhiều vào dữ liệu chụp chuyển động chi tiết đầy đủ, MHC được xây dựng để xử lý dữ liệu đầu vào thưa thớt, không đầy đủ hoặc một phần từ nhiều nguồn khác nhau. Các nguồn này có thể bao gồm bộ điều khiển VR, có thể chỉ theo dõi chuyển động của tay hoặc đầu; đầu vào cần điều khiển chỉ đưa ra lệnh điều hướng cấp cao; theo dõi video, trong đó một số bộ phận cơ thể có thể bị che khuất; hoặc thậm chí là các hướng dẫn trừu tượng có nguồn gốc từ lời nhắc văn bản.

Sự đổi mới của công nghệ nằm ở khả năng diễn giải và lấp đầy những khoảng trống mà dữ liệu bị thiếu hoặc không đầy đủ. Nó đạt được điều này thông qua những gì Intel gọi là Bắt kịp, Kết hợp và Hoàn thành (CCC) khả năng:

• Bắt kịp: Tính năng này cho phép MHC phục hồi và đồng bộ lại chuyển động của nó khi có sự cố, chẳng hạn như khi hệ thống khởi động ở trạng thái lỗi, như một nhân vật hình người bị ngã. Hệ thống có thể nhanh chóng điều chỉnh chuyển động của mình và tiếp tục chuyển động tự nhiên mà không cần đào tạo lại hoặc điều chỉnh thủ công.
• Kết hợp: MHC có thể kết hợp các chuỗi chuyển động khác nhau với nhau, chẳng hạn như kết hợp các chuyển động của phần thân trên từ một hành động (ví dụ: vẫy tay) với các chuyển động của phần thân dưới từ một hành động khác (ví dụ: đi bộ). Tính linh hoạt này cho phép tạo ra các hành vi hoàn toàn mới từ dữ liệu chuyển động hiện có.
• Hoàn thành: Khi được cung cấp các đầu vào thưa thớt, chẳng hạn như dữ liệu chuyển động cơ thể một phần hoặc các chỉ thị cấp cao mơ hồ, MHC có thể suy luận một cách thông minh và tạo ra các phần còn thiếu của chuyển động. Ví dụ, nếu chỉ xác định chuyển động của cánh tay, MHC có thể tự động tạo ra các chuyển động chân tương ứng để duy trì sự cân bằng vật lý và tính chân thực.

Kết quả là một hệ thống tạo chuyển động có khả năng thích ứng cao có thể tạo ra các chuyển động mượt mà, chân thực và chính xác về mặt vật lý, ngay cả với các chỉ thị không đầy đủ hoặc không được chỉ định rõ ràng. Điều này làm cho MHC trở nên lý tưởng cho các ứng dụng trong trò chơi, rô bốt, thực tế ảo và bất kỳ tình huống nào cần chuyển động giống con người chất lượng cao nhưng dữ liệu đầu vào bị hạn chế.

Tác động của MHC lên các mô hình chuyển động tạo ra

Bộ điều khiển hình người đeo mặt nạ (MHC) là một phần trong nỗ lực rộng lớn hơn của Intel Labs và các cộng tác viên nhằm xây dựng các mô hình tạo ra có trách nhiệm, bao gồm các mô hình cung cấp năng lượng cho văn bản thành hình ảnh và thế hệ 3D nhiệm vụ. Như đã thảo luận tại ECCV 2024, cách tiếp cận này có ý nghĩa quan trọng đối với các ngành công nghiệp như robot, thực tế ảo, trò chơi và mô phỏng, nơi mà việc tạo ra chuyển động thực tế của con người là rất quan trọng. Bằng cách kết hợp các đầu vào đa phương thức và cho phép bộ điều khiển chuyển đổi liền mạch giữa các chuyển động, MHC có thể xử lý các điều kiện thực tế mà dữ liệu cảm biến có thể bị nhiễu hoặc không đầy đủ.

Công trình này của Intel Labs đứng cạnh các nghiên cứu tiên tiến khác được trình bày tại ECCV 2024, chẳng hạn như biện pháp bảo vệ mới của họ cho các mô hình chuyển văn bản thành hình ảnh và phát triển các kỹ thuật để cải thiện tính nhất quán về mặt không gian trong quá trình tạo hình ảnh. Cùng nhau, những tiến bộ này thể hiện vị thế dẫn đầu của Intel trong lĩnh vực thị giác máy tính, tập trung vào việc phát triển các công nghệ AI an toàn, có khả năng mở rộng và có trách nhiệm.

Kết luận

Bộ điều khiển hình người đeo mặt nạ (MHC), do Intel Labs và các cộng tác viên học thuật phát triển, đại diện cho một bước tiến quan trọng trong lĩnh vực tạo chuyển động của con người. Bằng cách giải quyết vấn đề điều khiển phức tạp trong việc tạo ra các chuyển động thực tế từ các đầu vào đa phương thức, MHC mở đường cho các ứng dụng mới trong VR, trò chơi, robot và mô phỏng. Nghiên cứu này, được giới thiệu tại ECCV 2024, chứng minh cam kết của Intel trong việc thúc đẩy AI có trách nhiệm và mô hình tạo ra, góp phần tạo ra các công nghệ an toàn hơn và thích ứng hơn trên nhiều lĩnh vực khác nhau.