Robotycy opracowali nową technikę pozwalającą robotom chwytać przezroczyste i błyszczące obiekty

Dziedzina robotyki rozwija się bardzo szybko i niebawem ta technologia znajdzie zastosowanie w wielu aspektach naszego życia, w tym również w kuchni. Jednak jest jeden konkretny problem, który robotycy muszą pokonać, aby móc zastosować tę technologię w takich przypadkach: roboty mają ogromne trudności z chwytem przezroczystych i błyszczących obiektów, takich jak miarka lub błyszczący nóż. Sytuacja ta ulega jednak zmianie, ponieważ robotycy z Carnegie Mellon University (CMU) opracowali nową technikę, która pozwala na pokonanie tego problemu.

Zespół doniósł o sukcesie w nauczaniu robotów, aby mogły chwytać te obiekty za pomocą nowej techniki, która nie wymaga skomplikowanych czujników, wyczerpującego szkolenia ani ludzkiej pomocy. Zamiast tego wykorzystano kamerę kolorową do wykonania tych czynności.

Badania zostaną przedstawione na konferencji International Conference on Robotics and Automation, która odbędzie się wirtualnie tego lata.

Camery głębi vs kamery kolorowe

David Held jest adiunktem w Instytucie Robotyki CMU. Według Held, kamery głębi, które określają kształt obiektu, emitując podczerwone światło, są przydatne do identyfikacji obiektów nieprzezroczystych. Nie jest to jednak przypadkiem dla przezroczystych obiektów lub błyszczących powierzchni, przez które podczerwone światło przechodzi prosto lub rozpraszają je. W związku z tym kamery głębi nie są w stanie obliczyć dokładnych kształtów. Oznacza to, że wynik końcowy jest płaski lub wypełniony otworami dla przezroczystych i błyszczących obiektów.

Korzyścią kamery kolorowej jest to, że może ona widzieć przezroczyste i błyszczące obiekty, a nie tylko nieprzezroczyste. Wykorzystując to, naukowcy z CMU stworzyli system kamer kolorowych, który jest w stanie identyfikować kształty na podstawie koloru.

Chociaż standardowa kamera nie jest w stanie mierzyć kształtów w ten sam sposób, jak kamera głębi, naukowcy nauczali nowy system, aby naśladował system głębi. Pozwoliło to na niejawne wnioskowanie o kształtach i chwytanie pewnych obiektów, a aby to osiągnąć, obrazy kamer głębi nieprzezroczystych obiektów zostały połączone z obrazami kolorowymi tych samych obiektów.

https://www.youtube.com/watch?v=Gny7NfmqyOk&feature=emb_title

Chwytanie przezroczystych i błyszczących obiektów

Po pomyślnym przeszkoleniu systemu, został on wykorzystany do chwytania przezroczystych i błyszczących obiektów. Robot był w stanie chwytać trudne obiekty z wysokim stopniem powodzenia po użyciu tych obrazów oraz wszelkich innych informacji, które można było wyodrębnić z kamery głębi.

Held powiedział, że chociaż system nie zawsze działa idealnie, jest lepszy niż jakikolwiek inny system dostępny obecnie.

„Czasami mamy niepowodzenia”, powiedział Held. „Ale ogólnie robiliśmy dość dobrą robotę, znacznie lepszą niż jakikolwiek poprzedni system do chwytania przezroczystych lub błyszczących obiektów.”

Według Thomsa Wenga, studenta doktoranckiego w dziedzinie robotyki, system jest nadal bardziej wydajny w chwytaniu nieprzezroczystych obiektów w porównaniu z przezroczystymi lub błyszczącymi, ale jest znacznie bardziej skuteczny niż same kamery głębi. Kolejną zaletą systemu było to, że technika uczenia się do jego szkolenia była niezwykle skuteczna, co sprawiło, że system kolorowy był na równi z systemem głębi pod względem chwytania nieprzezroczystych obiektów.

„Nasz system nie tylko może chwytać pojedyncze przezroczyste i błyszczące obiekty, ale może również chwytać takie obiekty w zatłoczonych stosach”, powiedział Weng.

To nie jest pierwszy raz, kiedy robotycy próbowali pokonać ten wyzwanie. Poprzednie podejścia obejmowały szkolenie systemów opartych wyłącznie na powtarzanych próbach chwytania, które mogły sięgać do 800 000 prób. Inną poprzednią opcją było ludzkie oznaczanie obiektów, co jest zarówno drogie, jak i czasochłonne.

Robotycy z CMU oparli się na komercyjnej kamerze RGB-D, która jest w stanie wykonywać obrazy kolorowe (RGB) i obrazy głębi (D).