Tænke uden for boksen for at drive AI-innovation

For mange af os, der innoverer inden for AI-området, arbejder vi i ukendt territorium. Givet, hvor hurtigt AI-virksomheder udvikler nye teknologier, kan man tage for givet den ihærdige arbejde bag scenen. Men i et felt som XR, hvor missionen er at udviske grænserne mellem den virkelige og den digitale verden — er der i øjeblikket ikke meget historisk data eller forskning at støtte sig til; så vi må tænke uden for boksen.

Det er mest bekvemt at stole på konventionel machine learning visdom og prøvede og sande metoder, men dette er ofte ikke muligt (eller den fulde løsning) i nye felter. For at løse problemer, der aldrig er blevet løst før, må de tilgås på nye måder.

Det er en udfordring, der tvinger dig til at huske, hvorfor du gik ind i ingeniør-, datavidenskabs- eller produktudviklingsfeltet i første omgang: en passion for opdagelse. Jeg oplever dette hver dag i min rolle hos Ultraleap, hvor vi udvikler software, der kan spore og reagere på bevægelser af den menneskelige hånd i en mixed reality-miljø. Så meget af det, vi troede, vi vidste om at træne machine learning-modeller, bliver vendt på hovedet i vores arbejde, da den menneskelige hånd — sammen med objekterne og miljøerne, den møder — er ekstremt uforudsigelig.

Her er nogle tilgange, mit team og jeg har taget for at genopfinde eksperimentering og datavidenskab for at bringe intuitiv interaktion til den digitale verden, der er præcis og føles så naturlig som i den virkelige verden.

Innovationsarbejde inden for rammerne

Når man innoverer i et nyt område, står man ofte over for begrænsninger, der synes at være i modstrid med hinanden. Mit team har til opgave at fange de komplekse bevægelser af hånd og fingre og hvordan hænder og fingre interagerer med verden omkring dem. Dette er alle pakket ind i hand-tracking-modeller, der stadig kan passe ind i XR-hardware på begrænsede beregningsressourcer. Dette betyder, at vores modeller — selv om de er avancerede og komplekse — må være betydeligt mindre i lagringsstørrelse og forbruge betydeligt mindre energi (til en brøkdel af 1/100.000) end de massive LLM’er, der dominerer overskrifterne. Det præsenterer os for en spændende udfordring, der kræver uhæmmet eksperimentering og evaluering af vores modeller i deres virkelige anvendelsesområde.

Men de utallige tests og eksperimenter er værd at gøre: at skabe en kraftfuld model, der stadig kan levere på lav inferensomkostning, strømforbrug og latency, er et vidunder, der kan anvendes i edge computing, selv uden for XR-området.

Begrænsningerne, vi støder på under eksperimenteringen, vil også have indvirkning på andre brancher. Nogle virksomheder vil have unikke udfordringer på grund af subtiliteter i deres anvendelsesdomæner, mens andre måske har begrænsede data at arbejde med som følge af, at de er i en niche, som store teknologivirksomheder ikke har berørt.

Selv om løsninger, der passer til alle, kan være tilstrækkelige til nogle opgaver, har mange anvendelsesdomæner brug for at løse virkelige, udfordrende problemer, der er specifikke for deres opgave. For eksempel implementerer bilforsamlingssystemer ML-modeller til fejlinspektion. Disse modeller må kæmpe med meget højopløste billeder, der er nødvendige for at identificere små fejl over en stor overflade af en bil. I dette tilfælde kræver anvendelsen høj ydelse, men problemet at løse er, hvordan man kan opnå en lav billedfrekvens, men høj opløsning, model.

Evaluering af modelarkitekturer for at drive innovation

En god dataset er drivkraften bag enhver succesfuld AI-gennembrud. Men hvad gør en dataset “god” for et bestemt formål? Og når man løser problemer, der aldrig er blevet løst før, hvordan kan man stole på, at eksisterende data vil være relevante? Vi kan ikke antage, at metrics, der er gode for visse ML-opgaver, oversætter til en bestemt forretningsopgave. Dette er, hvor vi er kaldt til at gå imod almindeligt accepterede ML-“sandheder” og i stedet aktivt udforske, hvordan vi mærker, renskriver og anvender både simulerede og virkelige data.

Ved vores natur er vores domæne udfordrende at evaluere og kræver manuel kvalitetskontrol — udført for hånd. Vi ser ikke kun på kvalitetsmetrics for vores data. Vi itererer på vores datasets og datakilder og evaluerer dem på basis af kvaliteterne af de modeller, de producerer i den virkelige verden. Når vi omevaluerer, hvordan vi karakteriserer og klassificerer vores data, finder vi ofte datasets eller tendenser, vi ellers ville have overset. Nu med disse datasets og utallige eksperimenter, der viste os, hvilke data ikke at stole på, har vi låst op en ny vej, vi tidligere manglede.

Ultraleaps seneste hand-tracking-platform, Hyperion, er et godt eksempel på dette. Fremgang i vores datasets hjalp os med at udvikle mere avanceret hand-tracking, der kan spore mikrogestus samt håndbevægelser, selv når brugeren holder et objekt.

 Et lille skridt tilbage, et stort spring fremad

Selv om innovationsfarten synes at aldrig langsommes, kan vi. Vi er i branchen for at eksperimentere, lære, udvikle og når vi tager os tid til at gøre det, skaber vi ofte noget, der er langt mere værdifuldt end når vi følger bogen og skynder os at udgive den næste teknologiske innovation. Der er ingen erstatning for de gennembrud, der sker, når vi udforsker vores dataannotationer, spørger vores datakilder og gendefinerer kvalitetsmetrics selv. Og den eneste måde, vi kan gøre dette på, er ved at eksperimentere i den virkelige anvendelsesdomæne med målt modelpræstation over for opgaven. I stedet for at se usædvanlige krav og begrænsninger som begrænsninger, kan vi tage disse udfordringer og omdanne dem til muligheder for innovation og i sidste ende en konkurrencemæssig fordel. og den eneste måde, vi kan gøre dette på, er ved at eksperimentere i den virkelige anvendelsesdomæne med målt modelpræstation over for opgaven. I stedet for at se usædvanlige krav og begrænsninger som begrænsninger, kan vi tage disse udfordringer og omdanne dem til muligheder for innovation og i sidste ende en konkurrencemæssig fordel.