Myslet mimo rámec schránky pro pohonnou AI inovaci

Pro mnoho z nás, kteří inovujeme v oblasti AI, pracujeme v neznámém území. Vzhledem k tomu, jak rychle společnosti AI vyvíjejí nové technologie, lze snadno přehlédnout vytrvalou práci, která se děje za scénou. Ale v oblasti, jako je XR, kde je cílem rozmazat hranice mezi skutečným a digitálním světem — v současné době není mnoho historických dat nebo výzkumů, na které bychom se mohli opřít; proto musíme myslet mimo rámec schránky.

Zatímco je nejpohodlnější spoléhat se na konvenční machine learning moudrost a osvědčené postupy, často to není možné (nebo plné řešení) v vznikajících oblastech. Abychom mohli řešit problémy, které dosud nebyly vyřešeny, musíme je přistupovat novým způsobem.

Je to výzva, která vás nutí vzpomínat, proč jste vstoupili do oblasti inženýrství, datové vědy nebo produktového vývoje: vášeň pro objevování. Zažívám to každý den ve své roli v Ultraleap, kde vyvíjíme software, který může sledovat a reagovat na pohyby lidské ruky v prostředí smíšené reality. Tak много toho, co jsme si mysleli, že víme o školení modelů strojového učení, se obrací v naší práci, protože lidská ruka — spolu s objekty a prostředí, se kterými se setkává — je extrémně nepředvídatelná.

Zde jsou beberapa přístupů, které můj tým a já jsme přijali k přeimaginování experimentování a datové vědy, abychom přinesli intuitivní interakci do digitálního světa, která je přesná a cítí se stejně přirozeně, jako by to bylo ve skutečném světě.

Inovace v rámci hranic

Když inovujeme v zárodku prostoru, často se setkáváme s omezeními, která zdají být v rozporu s sebou navzájem. Můj tým je pověřen zachycením jemností pohybů ruky a prstů a toho, jak ruce a prsty interagují se světem kolem nich. To jeすべて zabaleno do hand tracking modelů, které stále zapadají do hardwaru XR na omezeném výpočtu. To znamená, že naše modely — zatímco sofistikované a komplexní — musí zabírat podstatně méně úložného prostoru a spotřebovávat podstatně méně energie (v rozsahu 1/100 000) než obrovské LLM, které dominují titulním stránkám. Představuje nám to vzrušující výzvu, vyžadující bezohledné experimentování a hodnocení našich modelů ve skutečném světě.

Ale nekonečné testy a experimenty stojí za to: vytváření silného modelu, který stále dodává na nízké náklady na inferenci, spotřebu energie a latenci, je div, který lze použít v edge computingu i mimo prostor XR.

Omezení, se kterými se setkáváme při experimentování, budou mít dopad i na jiné průmysly. Některé podniky budou mít jedinečné výzvy kvůli jemnostem ve svých aplikačních doménách, zatímco jiné mohou mít omezená data k dispozici v důsledku toho, že jsou v niklovém trhu, který velké technologické hráče nedotkly.

Zatímco řešení “jedna velikost pro všechny” může postačit pro některé úkoly, mnoho aplikačních domén potřebuje řešit skutečné, náročné problémy specifické pro jejich úkol. Například automobilové montážní linky implementují modely ML pro inspekci vad. Tyto modely musí řešit velmi vysoké rozlišení obrazu, které je potřebné k identifikaci malých vad na velké ploše automobilu. V tomto případě aplikace vyžaduje vysoký výkon, ale problém, který je třeba řešit, je, jak dosáhnout nízké frekvence rámců, ale vysokého rozlišení modelu.

Hodnocení architektur modelů pro pohonnou inovaci

Dobrá sada dat je hnací silou za každým úspěšným průlomem AI. Ale co dělá sadu dat “dobrou” pro konkrétní cíl? A když řešíme dříve nevyřešené problémy, jak můžeme důvěřovat, že existující data budou relevantní? Nemůžeme předpokládat, že metriky, které jsou dobré pro některé úkoly ML, se přeloží do jiného konkrétního podnikového úkolu. To je místo, kde jsme povoláni jít proti obecně přijímaným “pravdám” ML a místo toho aktivně prozkoumat, jak štítkujeme, čistíme a aplikujeme jak simulační, tak reálná data.

Povahou našeho doména je to obtížné vyhodnotit a vyžaduje manuální zajištění kvality — provedené ručně. Nejsme jen se díváme na kvalitativní metriky našich dat. Iterujeme na našich sadách dat a zdrojích dat a vyhodnocujeme je na základě kvalit modelů, které produkují ve skutečném světě. Když přehodnotíme, jak klasifikujeme a označujeme naše data, často najdeme sady dat nebo trendy, které bychom jinak přehlédli. Nyní s těmito sadami dat a nekonečnými experimenty, které nám ukázaly, na která data se ne spolehnout, jsme odemkli novou cestu, kterou jsme předtím postrádali.

Poslední platforma Hyperion od Ultraleap je skvělým příkladem toho. Přechody v našich sadách dat nám pomohly vyvinout více sofistikované sledování ruky, které může přesně sledovat mikrogesty a pohyby ruky, i když uživatel drží objekt.

Jedna malá kroková zpátečka, jeden velký skok vpřed

Zatímco tempo inovací zdánlivě nikdy nezastaví, my můžeme. Jsme v podnikání experimentování, učení, vývoje a když si vezmeme čas na to, abychom to udělali, často vytváříme něco mnohem cennějšího, než když jdeme podle knihy a spěcháme, abychom vydali další technologickou inovaci. Neexistuje žádný náhradní průlom, který se vyskytuje, když prozkoumáme naše datové anotace, zpochybníme naše zdroje dat a předefinujeme metriky kvality samy o sobě. A jediný způsob, jak můžeme to udělat, je experimentovat v reálném aplikačním doméně s měřeným výkonem modelu proti úkolu. Místo toho, abychom viděli neobvyklé požadavky a omezení jako omezující, můžeme tyto výzvy převést na příležitosti pro inovaci a nakonec na konkurenční výhodu.