Tænke uden for boksen for at drive AI-innovation

For mange af os, der innoverer inden for AI-området, arbejder vi i ukendt territorie. Givet hvor hurtigt AI-virksomheder udvikler nye teknologier, kan man tage for givet den ihærdige arbejde bag scenen. Men i et felt som XR, hvor missionen er at udviske grænserne mellem den virkelige og digitale verden — er der i øjeblikket ikke meget historisk data eller forskning at støtte sig til; så vi må tænke uden for boksen.

Mens det er mest bekvemt at stole på konventionel machine learning visdom og afprøvede praksisser, er dette ofte ikke muligt (eller den fulde løsning) i nye felter. For at løse problemer, der aldrig er blevet løst før, må de tilganges på nye måder.

Det er en udfordring, der tvinger dig til at huske, hvorfor du indtrådte ingeniør-, datavidenskabs- eller produktudviklingsfeltet i første omgang: en passion for opdagelse. Jeg oplever dette hver dag i min rolle hos Ultraleap, hvor vi udvikler software, der kan spore og reagere på bevægelser af den menneskelige hånd i en mixed reality-miljø. Så meget af det, vi troede, vi vidste om at træne machine learning-modeller, bliver vendt på hovedet i vores arbejde, da den menneskelige hånd — sammen med objekterne og miljøerne, den møder — er ekstremt uforudsigelig.

Her er nogle tilgange, mit team og jeg har taget for at genopfinde eksperimentering og datavidenskab for at bringe intuitiv interaktion til den digitale verden, der er præcis og føles så naturlig, som den ville i den virkelige verden.

Innovating inden for linjerne

Når man innoverer i et nyttigt rum, står man ofte over for begrænsninger, der synes at være i modsætning til hinanden. Mit team er sat til at fange kompleksiteten af hånd- og fingerbevægelser og hvordan hænder og fingre interagerer med verden omkring dem. Dette er pakket ind i hand tracking-modeller, der stadig passer ind i XR-hardware på begrænsede beregninger. Dette betyder, at vores modeller — selvom de er sofistikerede og komplekse — må tage op betydeligt mindre lagring og forbruge betydeligt mindre energi (i størrelsesordenen 1/100.000) end de massive LLM’er, der dominerer overskrifterne. Det præsenterer os for en spændende udfordring, der kræver ubarmhjertig eksperimentering og evaluering af vores modeller i deres virkelige anvendelsesdomæne.

Men de utallige tests og eksperimenter er det værd: at skabe en kraftfuld model, der stadig leverer på lav inferensomkostning, strømforbrug og latency er et vidunder, der kan anvendes i edge computing, selv uden for XR-rummet.

Begrænsningerne, vi støder på under eksperimentering, vil påvirke andre industrier også. Nogle virksomheder vil have unikke udfordringer på grund af nuancer i deres anvendelsesdomæner, mens andre måske har begrænsede data at arbejde med som følge af at være i en niche, som store tekniske spillere ikke har berørt.

Mens en-size-fits-all-løsninger kan være tilstrækkelige til nogle opgaver, har mange anvendelsesdomæner brug for at løse virkelige, udfordrende problemer, der er specifikke for deres opgave. For eksempel implementerer bilproduktionslinjer ML-modeller til fejlinspektion. Disse modeller må kæmpe med meget højopløste billeder, der er nødvendige for at identificere små fejl over en stor overflade af en bil. I dette tilfælde kræver anvendelsen høj ydelse, men problemet at løse er, hvordan man opnår en lav rammehastighed, men højopløst model.

Evaluering af modelarkitekturer for at drive innovation

En god dataset er drivkraften bag enhver succesfuld AI-gennembrud. Men hvad gør en dataset “god” for et bestemt formål? Og når man løser tidligere uløste problemer, hvordan kan man stole på, at eksisterende data vil være relevant? Vi kan ikke antage, at metrikker, der er gode til nogle ML-opgaver, oversætter til en anden specifik forretningsopgave-ydelse. Dette er, hvor vi er kaldt til at gå imod almindeligt accepterede ML “sandheder” og i stedet aktivt udforske, hvordan vi mærker, rensker og anvender både simulerede og virkelige data.

Af natur er vores domæne udfordrende at evaluere og kræver manuel kvalitetssikring – udført af hånden. Vi ser ikke kun på kvalitetsmetrikkerne for vores data. Vi itererer på vores datasæt og datakilder og evaluerer dem på basis af kvaliteterne af de modeller, de producerer i den virkelige verden. Når vi reevaluerer, hvordan vi karakteriserer og klassificerer vores data, finder vi ofte datasæt eller tendenser, som vi ellers ville have overset. Nu med disse datasæt og utallige eksperimenter, der viste os, hvilke data ikke at stole på, har vi låst op en ny vej, vi tidligere manglede.

Ultraleaps seneste hand-tracking-platform, Hyperion, er et godt eksempel på dette. Fremgang i vores datasæt hjalp os med at udvikle mere sofistikerede hand-tracking, der kan spore mikrogestus samt håndbevægelser, selv når brugeren holder et objekt.

 Et lille skridt tilbage, et stort spring fremad

Mens innovationens tempo synes aldrig at langsommes, kan vi. Vi er i virksomhed med at eksperimentere, lære, udvikle og når vi tager tid til at gøre netop det, skaber vi ofte noget, der er langt mere værdifuldt end når vi følger bogen og skynder os at udgive den næste tekniske innovation. Der er ingen erstatning for de gennembrud, der sker, når vi udforsker vores dataannotationer, spørger vores datakilder og gendefinerer kvalitetsmetrikkerne selv. Og den eneste måde, vi kan gøre dette på, er ved at eksperimentere i den virkelige anvendelsesdomæne med målt modelpræstation mod opgaven. I stedet for at se usædvanlige krav og begrænsninger som begrænsninger, kan vi tage disse udfordringer og omdanne dem til muligheder for innovation og, i sidste ende, en konkurrencefordel.