Tiến bộ trong “Spatial-AI” cho phép robot nhận thức môi trường vật lý như con người

Các kỹ sư tại MIT đang làm việc để đưa cho robot khả năng thực hiện các lệnh cấp cao, chẳng hạn như đi đến một phòng khác để lấy một vật phẩm cho một cá nhân. Để điều này trở nên khả thi, robot sẽ cần phải có khả năng nhận thức môi trường vật lý của chúng tương tự như cách con người làm.

Luca Carlone là giáo sư trợ lý về hàng không và vũ trụ tại MIT.

“Để đưa ra bất kỳ quyết định nào trong thế giới, bạn cần phải có một mô hình tinh thần về môi trường xung quanh bạn,” Carlone nói. “Đây là điều gì đó rất dễ dàng đối với con người. Nhưng đối với robot, nó là một vấn đề đau đớn, nơi nó liên quan đến việc chuyển đổi giá trị pixel mà chúng nhìn thấy thông qua một máy ảnh, thành sự hiểu biết về thế giới.”

Để đối mặt với thách thức này, các nhà nghiên cứu đã xây dựng một biểu diễn về nhận thức không gian cho robot dựa trên cách con người nhận thức và điều hướng môi trường vật lý của chúng.

3D Dynamic Scene Graphs

Mô hình mới này được gọi là 3D Dynamic Scene Graphs, và nó cho phép robot tạo ra một bản đồ 3D của môi trường vật lý xung quanh, bao gồm các vật thể và nhãn ngữ nghĩa của chúng. Robot cũng có thể lập bản đồ con người, phòng, tường và các cấu trúc khác trong môi trường.

Mô hình sau đó cho phép robot trích xuất thông tin từ bản đồ 3D, thông tin có thể được sử dụng để xác định vị trí của các vật thể, phòng và sự di chuyển của con người.

“Biểu diễn môi trường này rất hữu ích vì nó cho phép robot của chúng tôi đưa ra quyết định nhanh chóng và lập kế hoạch đường đi,” Carlone nói. “Điều này không quá khác so với những gì chúng tôi làm như con người. Nếu bạn cần lập kế hoạch đường đi từ nhà đến MIT, bạn không lập kế hoạch từng vị trí cụ thể. Bạn chỉ nghĩ về cấp độ đường phố và điểm mốc, điều giúp bạn lập kế hoạch đường đi nhanh hơn.”

Theo Carlone, robot dựa trên mô hình này sẽ có thể làm được nhiều hơn so với chỉ các nhiệm vụ gia đình. Chúng cũng có thể được sử dụng cho các kỹ năng cấp cao và làm việc cùng với con người trong các nhà máy, hoặc giúp tìm kiếm những người sống sót sau một thảm họa.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Phương pháp hiện tại so với Mô hình mới

Các phương pháp hiện tại cho tầm nhìn robot và điều hướng chủ yếu tập trung vào việc lập bản đồ 3D cho phép robot xây dựng lại môi trường của chúng trong ba chiều trong thời gian thực, hoặc phân đoạn ngữ nghĩa, xảy ra khi robot phân loại các tính năng trong môi trường thành các đối tượng ngữ nghĩa, như một chiếc xe hơi so với một chiếc xe đạp. Phân đoạn ngữ nghĩa thường được thực hiện trên các hình ảnh 2D.

Mô hình nhận thức không gian mới được phát triển là mô hình đầu tiên của loại này để tạo ra một bản đồ 3D của môi trường trong thời gian thực và gắn nhãn cho các vật thể, con người và cấu trúc trong bản đồ 3D cùng một lúc.

Để đạt được mô hình mới này, các nhà nghiên cứu đã dựa vào Kimera, một thư viện mã nguồn mở. Kimera trước đây được phát triển bởi cùng một nhóm để xây dựng một mô hình hình học 3D của môi trường, đồng thời mã hóa những gì đối tượng có thể là, chẳng hạn như một chiếc ghế so với một bàn.

“Giống như sinh vật thần thoại là sự kết hợp của các động vật khác nhau, chúng tôi muốn Kimera trở thành sự kết hợp của việc lập bản đồ và hiểu biết ngữ nghĩa trong 3D,” Carlone nói.

Kimera sử dụng hình ảnh từ máy ảnh của robot và các phép đo quán tính từ các cảm biến trên tàu để xây dựng lại cảnh như một lưới 3D trong thời gian thực. Để làm điều này, Kimera đã sử dụng một mạng lưới thần kinh đã được đào tạo trên hàng triệu hình ảnh thế giới thực. Nó có thể dự đoán nhãn của mỗi pixel và sử dụng tia chiếu để chiếu chúng lên 3D.

Thông qua việc sử dụng kỹ thuật này, môi trường của robot có thể được lập bản đồ trong một lưới 3D nơi mỗi mặt được mã hóa màu, xác định nó là một phần của các vật thể, cấu trúc hoặc con người trong môi trường.

3D Mesh đến 3D Dynamic “Scene Graphs”

Bởi vì mô hình lưới 3D ngữ nghĩa yêu cầu nhiều sức mạnh tính toán và mất thời gian, các nhà nghiên cứu đã sử dụng Kimera để phát triển các thuật toán dẫn đến 3D động “đồ thị cảnh”.

Lưới 3D ngữ nghĩa được chia thành các lớp ngữ nghĩa riêng biệt, và robot sau đó có thể xem một cảnh qua một lớp. Các lớp đi từ các vật thể và con người, đến không gian mở và cấu trúc, đến các phòng, hành lang, sảnh và toàn bộ tòa nhà.

Phương pháp phân lớp này cho phép robot tập trung vào một khu vực cụ thể thay vì phải phân tích hàng tỷ điểm và mặt. Phương pháp phân lớp này cũng cho phép các thuật toán theo dõi con người và chuyển động của họ trong môi trường trong thời gian thực.

Mô hình mới đã được thử nghiệm trong một trình mô phỏng ảnh thực tế mô phỏng một robot điều hướng môi trường văn phòng với người di chuyển.

“Chúng tôi cơ bản đang cho phép robot có các mô hình tinh thần tương tự như những mô hình mà con người sử dụng,” Carlone nói. “Điều này có thể ảnh hưởng đến nhiều ứng dụng, bao gồm xe tự lái, tìm kiếm và cứu hộ, sản xuất hợp tác và robot gia đình.

Carlone đã được tham gia bởi tác giả chính và sinh viên tốt nghiệp MIT Antoni Rosinol.

“Phương pháp của chúng tôi chỉ mới có thể thực hiện được nhờ những tiến bộ gần đây trong học sâu và nhiều thập kỷ nghiên cứu về định vị và lập bản đồ đồng thời,” Rosinol nói. “Với công việc này, chúng tôi đang thực hiện bước nhảy vọt toward một kỷ nguyên mới của nhận thức robot được gọi là spatial-AI, điều này chỉ mới đang trong giai đoạn sơ sinh nhưng có tiềm năng lớn trong robot và thực tế ảo và thực tế tăng cường lớn.

Nghiên cứu đã được trình bày tại hội nghị ảo Robotics: Science and Systems.