Pokrok v „Spatial-AI“ umožňuje robotům vnímat fyzické prostředí jako lidé

Inženýři na MIT pracují na tom, aby robotům dali schopnost následovat vysoké úrovně příkazů, jako je jít do jiného pokoje, aby pro někoho něco vyzvedli. Aby to bylo možné, roboti budou muset mít schopnost vnímat své fyzické prostředí podobně jako lidé.

Luca Carlone je asistent profesora aeronomie a astronautiky na MIT.

„Abyste mohli učinit jakékoli rozhodnutí ve světě, musíte mít mentální model prostředí kolem vás,“ říká Carlone. „To je něco tak bezúsilného pro lidi. Ale pro roboty je to bolestně těžký problém, kde se jedná o transformaci pixelových hodnot, které vidí prostřednictvím kamery, do porozumění světa.“

Aby se této výzvy zhostili, výzkumníci vytvořili reprezentaci prostorového vnímání pro roboty založenou na tom, jak lidé vnímají a navigují ve svých fyzických prostředích.

3D Dynamické Scény

Nový model se nazývá 3D Dynamické Scény a umožňuje robotovi generovat 3D mapu svého fyzického okolí, včetně objektů a jejich sémantických štítků. Robot může také mapovat lidi, místnosti, zdi a další struktury v prostředí.

Model pak umožňuje robotovi extrahovat informace z 3D mapy, informace, které lze použít k lokalizaci objektů, místností a pohybu lidí.

„Tato komprimovaná reprezentace prostředí je užitečná, protože umožňuje našemu robotovi rychle učinit rozhodnutí a naplánovat svou cestu,“ říká Carlone. „To není příliš daleko od toho, co děláme jako lidé. Pokud potřebujete naplánovat cestu z domu na MIT, neplánujete každou jednotlivou pozici, kterou musíte zaujmout. Myslíte si na úrovni ulic a orientačních bodů, což vám pomáhá naplánovat cestu rychleji.“

Podle Carloneho by roboti, kteří se spoléhají na tento model, mohli dělat mnohem více než jen domácí úkoly. Mohli by být také použiti pro vysoké úrovně dovedností a pracovat vedle lidí v továrnách nebo pomáhat lokalizovat přeživší na místě katastrofy.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Stávající metody vs. nový model

Stávající metody pro robotické vidění a navigaci se zaměřují především na 3D mapování, které umožňuje robotům rekonstruovat své prostředí v reálném čase, nebo sémantické segmentaci, která se vyskytuje, když roboti klasifikují funkce v prostředí jako sémantické objekty, jako je auto versus kolo. Sémantická segmentace se často provádí na 2D obrazech.

Nově vyvinutý model prostorového vnímání je první svého druhu, který generuje 3D mapu prostředí v reálném čase a označuje objekty, lidi a struktury v rámci 3D mapy současně.

Aby bylo možné dosáhnout tohoto nového modelu, výzkumníci se spoléhali na Kimera, otevřenou knihovnu. Kimera byla dříve vyvinuta stejným týmem pro konstrukci 3D geometrického modelu prostředí, zatímco současně kódování toho, co objekt pravděpodobně je, jako je židle versus stůl.

„Chtěli jsme, aby Kimera byla směsí mapování a sémantického porozumění ve 3D,“ říká Carlone.

Kimera používala obrázky z robotovy kamery a setrvačné měření z palubních senzorů k rekonstrukci scény jako 3D mřížky v reálném čase. K tomu Kimera využila neuronovou síť, která byla trénována na milionech reálných obrazů. Mohla pak předpovědět štítek každého pixelu a použít ray-casting k jejich projekci ve 3D.

Pomocí této techniky může být robotovo prostředí mapováno v trojrozměrné mřížce, kde každá strana je barevně kódována, identifikující ji jako část objektů, struktur nebo lidí v prostředí.

3D Mřížka na 3D Dynamické „Scény“

Protože 3D sémantická mřížková model vyžaduje大量 výpočetního výkonu a je časově náročná, výzkumníci použili Kimera k vývoji algoritmů, které vedly k 3D dynamickým „scénám“.

3D sémantická mřížka se rozdělí na samostatné sémantické vrstvy a robot může pak prohlížet scénu prostřednictvím vrstvy. Vrstvy sahají od objektů a lidí, přes otevřené prostory a struktury, po místnosti, chodby, síně a celé budovy.

Tato vrstvená metoda umožňuje robotovi zužovat své zaměření, místo aby musel analyzovat miliardy bodů a stran. Tato vrstvená metoda také umožňuje algoritmům sledovat lidi a jejich pohyb v prostředí v reálném čase.

Nový model byl testován v foto-realistické simulaci, která simuluje robota navigujícího v kancelářském prostředí s pohybujícími se lidmi.

„V podstatě umožňujeme robotům mít mentální modely podobné těm, které používají lidé,“ říká Carlone. „To může mít dopad na mnoho aplikací, včetně samořízených aut, vyhledávání a záchrany, spolupráce ve výrobě a domácích robotů.

Carloneho doprovázel hlavní autor a absolvent MIT Antoni Rosinol.

„Náš přístup byl možný pouze díky nedávným pokrokům v hlubokém učení a desetiletím výzkumu na simultánní lokalizaci a mapování,“ říká Rosinol. „S touto prací děláme skok směrem k nové éře robotického vnímání zvané prostor-AI, která je teprve v plenkách, ale má velký potenciál v robotice a velké virtuální a rozšířené realitě.“

Výzkum byl prezentován na konferenci Robotika: Věda a systémy virtuální konference.