Dạy Robot về Công Cụ với Trường Quang Neural (NeRF)

Nghiên cứu mới từ Đại học Michigan đưa ra một cách để robot hiểu các cơ chế của công cụ và các vật thể được liên kết trong thế giới thực bằng cách tạo ra các đối tượng Trường Quang Neural (NeRF) thể hiện cách các vật thể này di chuyển, có thể cho phép robot tương tác với chúng và sử dụng chúng mà không cần cấu hình trước phức tạp.

Bằng cách sử dụng các tài liệu tham khảo nội bộ đã biết về tính di động của công cụ (hoặc bất kỳ vật thể nào có tài liệu tham khảo phù hợp), NARF22 có thể tổng hợp một xấp xỉ ảnh thực của công cụ và phạm vi di chuyển và loại hoạt động của nó. Nguồn: https://progress.eecs.umich.edu/projects/narf/

Robot cần phải làm được nhiều hơn việc tránh người đi bộ hoặc thực hiện các quy trình được lập trình trước một cách phức tạp (đối với những quy trình này, các tập dữ liệu không thể tái sử dụng có thể đã được gắn nhãn và đào tạo với một chi phí nhất định) cần có khả năng thích ứng này nếu chúng muốn làm việc với cùng các vật liệu và vật thể mà chúng ta phải đối mặt.

Cho đến nay, đã có một số trở ngại trong việc trao cho các hệ thống robot khả năng này. Những trở ngại này bao gồm sự thiếu hụt của các tập dữ liệu có thể áp dụng, nhiều trong số đó chỉ có một số lượng vật thể hạn chế; chi phí lớn liên quan đến việc tạo ra các mô hình 3D dựa trên lưới và ảnh thực mà có thể giúp robot học về tính công cụ trong bối cảnh thế giới thực; và chất lượng không ảnh thực của các tập dữ liệu như vậy có thể phù hợp với thách thức, khiến các vật thể xuất hiện không liên kết với những gì robot nhận thức trong thế giới xung quanh, và đào tạo nó để tìm kiếm một vật thể giống như một bản vẽ mà sẽ không bao giờ xuất hiện trong thực tế.

Để giải quyết vấn đề này, các nhà nghiên cứu tại Michigan, những người có bài báo có tiêu đề NARF22: Trường Quang Neural Liên kết cho Việc Tạo Hình Ảnh Cảnh báo, đã phát triển một quy trình hai giai đoạn để tạo ra các đối tượng NeRF dựa trên liên kết có vẻ ngoài “thế giới thực” và kết hợp sự di chuyển và các hạn chế tiếp theo của bất kỳ vật thể liên kết nào.

Mặc dù nó có vẻ phức tạp hơn, hai giai đoạn cơ bản của quy trình NARF22 bao gồm việc tạo hình các bộ phận tĩnh của công cụ di động, và sau đó tổng hợp các yếu tố này vào một tập dữ liệu thứ hai được thông tin về các tham số di chuyển mà các bộ phận này có so với nhau. Nguồn: https://arxiv.org/pdf/2210.01166.pdf

Hệ thống này được gọi là Trường Quang Neural Liên kết – hoặc NARF22, để phân biệt nó với một dự án khác có tên tương tự.

NARF22

Việc xác định xem một vật thể không xác định có phải là một vật thể liên kết hay không đòi hỏi một lượng kiến thức trước của con người gần như không thể tưởng tượng. Ví dụ, nếu bạn chưa bao giờ nhìn thấy một ngăn kéo đóng trước đó, nó có thể xuất hiện giống như bất kỳ loại bảng trang trí nào khác – cho đến khi bạn đã thực sự mở nó, bạn sẽ nội hóa ‘ngăn kéo’ như một vật thể liên kết với một trục di chuyển đơn (tiến và lùi).

Do đó, NARF22 không được thiết kế như một hệ thống khám phá để nhặt các vật thể và xem liệu chúng có các bộ phận di chuyển có thể hoạt động hay không – gần như hành vi giống như khỉ, điều này sẽ dẫn đến một số kịch bản có thể thảm khốc. Thay vào đó, khuôn khổ này dựa trên kiến thức có sẵn trong Định dạng Mô tả Robot Universally (URDF) – một định dạng dựa trên XML mã nguồn mở được áp dụng rộng rãi và phù hợp với nhiệm vụ. Một tệp URDF sẽ chứa các tham số di chuyển có thể sử dụng của một vật thể, cũng như các mô tả và các mặt được gắn nhãn khác của các bộ phận của vật thể.

Trong các quy trình thông thường, cần thiết phải mô tả khả năng liên kết của một vật thể và gắn nhãn các giá trị khớp liên quan. Đây không phải là một nhiệm vụ rẻ tiền hoặc dễ dàng mở rộng quy mô. Thay vào đó, quy trình NaRF22 tạo hình các thành phần riêng lẻ của vật thể trước khi ‘lắp ráp’ mỗi thành phần tĩnh vào một biểu diễn NeRF dựa trên liên kết, với kiến thức về các tham số di chuyển được cung cấp bởi URDF.

Trong giai đoạn thứ hai của quy trình, một trình tạo hoàn toàn mới được tạo ra, kết hợp tất cả các bộ phận. Mặc dù có thể dễ dàng hơn khi chỉ cần nối các bộ phận riêng lẻ ở giai đoạn trước và bỏ qua bước tiếp theo, các nhà nghiên cứu quan sát thấy rằng mô hình cuối cùng – được đào tạo trên GPU NVIDIA RTX 3080 dưới CPU AMD 5600X – có nhu cầu tính toán thấp hơn trong quá trình backpropagation so với một quy trình lắp ráp đột ngột và sớm.

Ngoài ra, mô hình giai đoạn thứ hai chạy ở tốc độ gấp đôi so với một quy trình lắp ráp nối tiếp, và bất kỳ ứng dụng thứ cấp nào có thể cần sử dụng thông tin về các bộ phận tĩnh của mô hình sẽ không cần truy cập riêng vào thông tin URDF, vì thông tin này đã được kết hợp vào trình tạo giai đoạn cuối.

Dữ Liệu và Thử Nghiệm

Các nhà nghiên cứu đã thực hiện một số thử nghiệm để kiểm tra NARF22: một thử nghiệm để đánh giá việc tạo hình chất lượng cho mỗi cấu hình và tư thế của vật thể; một thử nghiệm định lượng để so sánh kết quả tạo hình với các góc nhìn tương tự được quan sát bởi các robot trong thế giới thực; và một thử nghiệm thể hiện việc ước lượng cấu hình và tinh chỉnh 6 DOF (độ sâu của trường) sử dụng NARF22 để thực hiện tối ưu hóa dựa trên gradient.

Dữ liệu đào tạo được lấy từ Bộ Công Cụ Tiến Bộ từ một bài báo trước của một số tác giả hiện tại. Bộ Công Cụ Tiến Bộ chứa khoảng sáu nghìn hình ảnh RGB-D (bao gồm thông tin về độ sâu, cần thiết cho tầm nhìn robot) ở độ phân giải 640×480. Các cảnh sử dụng bao gồm tám công cụ tay, chia thành các bộ phận cấu thành, hoàn chỉnh với mô hình lưới và thông tin về các thuộc tính động học của vật thể (tức là cách chúng được thiết kế để di chuyển và các tham số của sự di chuyển đó).

Bộ Công Cụ Tiến Bộ có bốn công cụ liên kết. Các hình ảnh trên là kết quả tạo hình NeRF từ NARF22.

Đối với thử nghiệm này, một mô hình cấu hình cuối cùng đã được đào tạo bằng cách sử dụng chỉ kìm, kìm mũi dài và một chiếc kẹp (xem hình ảnh trên). Dữ liệu đào tạo chứa một cấu hình duy nhất của chiếc kẹp và một cấu hình cho mỗi kìm.

Việc thực hiện NARF22 dựa trên FastNeRF, với các tham số đầu vào được sửa đổi để tập trung vào vị trí nối và mã hóa không gian của tư thế của công cụ. FastNeRF sử dụng một mạng nơ-ron đa lớp phân tích và một cơ chế lấy mẫu voxel (voxel là cơ bản giống như pixel, nhưng với tọa độ 3D đầy đủ, để chúng có thể hoạt động trong không gian 3D).

Đối với thử nghiệm định tính, các nhà nghiên cứu quan sát thấy rằng có một số bộ phận bị che khuất của chiếc kẹp (tức là cột sống trung tâm, không thể biết hoặc đoán được bằng cách quan sát vật thể, mà chỉ bằng cách tương tác với nó, và hệ thống có khó khăn trong việc tạo ra ‘hình học không xác định’ này.

Kết quả tạo hình định tính của công cụ.

Nhìn chung, kìm có thể tổng quát hóa tốt cho các cấu hình mới (tức là các phần mở rộng và chuyển động của các bộ phận trong các tham số URDF, nhưng không được giải quyết rõ ràng trong tài liệu đào tạo cho mô hình.

Các nhà nghiên cứu quan sát thấy, tuy nhiên, rằng các lỗi gắn nhãn cho kìm dẫn đến giảm chất lượng tạo hình cho các đầu kìm rất chi tiết, ảnh hưởng tiêu cực đến kết quả tạo hình – một vấn đề liên quan đến các mối quan ngại rộng lớn hơn về hậu cần gắn nhãn, ngân sách và độ chính xác trong lĩnh vực nghiên cứu tầm nhìn máy tính, chứ không phải là một thiếu sót thủ tục trong quy trình NARF22.

Kết quả từ thử nghiệm độ chính xác tạo hình.

Đối với các thử nghiệm ước lượng cấu hình, các nhà nghiên cứu đã thực hiện tinh chỉnh tư thế và ước lượng cấu hình từ một tư thế ‘cứng’ ban đầu, tránh bất kỳ giải pháp tăng tốc nào được sử dụng bởi FastNeRF.

Họ sau đó đã đào tạo 17 cảnh được sắp xếp tốt từ tập thử nghiệm của Bộ Công Cụ Tiến Bộ (đã được giữ lại trong quá trình đào tạo), chạy qua 150 lần lặp của tối ưu hóa gradient dưới bộ tối ưu hóa Adam. Quy trình này đã phục hồi ước lượng cấu hình ‘rất tốt’, theo các nhà nghiên cứu.

Kết quả từ thử nghiệm ước lượng cấu hình.

Được xuất bản lần đầu vào ngày 5 tháng 10 năm 2022.