Tenkning utenfor boksen for å drive AI-innovasjon

For mange av oss som innoverer i AI-rommet, arbeider vi i ukartet territorium. Gitt hvor raskt AI-selskaper utvikler nye teknologier, kan en ta for gitt det ihærdige arbeidet bak scenen. Men i et felt som XR, der misjonen er å utviske grensene mellom den virkelige og digitale verden — finnes det for øyeblikket ikke mye historisk data eller forskning å stole på; så vi må tenke utenfor boksen.

Mens det er mest praktisk å stole på konvensjonell machine learning visdom og prøvede og sanne praksiser, er dette ofte ikke mulig (eller full løsning) i nye felt. For å løse problemer som aldri har blitt løst før, må de tilnærme seg på nye måter.

Dette er en utfordring som tvinger deg til å huske hvorfor du gikk inn i ingeniør-, datavitenskap- eller produktutviklingsfeltet i første omgang: en lidenskap for oppdagelse. Jeg opplever dette hver dag i min rolle hos Ultraleap, der vi utvikler programvare som kan spore og reagere på bevegelser av den menneskelige hånden i en blandet virkelighet-miljø. Så mye av det vi trodde vi visste om å trene machine learning-modeller blir snudd på hodet i vårt arbeid, da den menneskelige hånden — sammen med objekter og miljøer den møter — er ekstremt uforutsigbar.

Her er noen tilnærminger mitt team og jeg har tatt for å gjenopprette eksperimentering og datavitenskap for å bringe intuitiv interaksjon til den digitale verden, som er nøyaktig og føles like naturlig som den ville i den virkelige verden.

Innovasjon innenfor linjene

Når man innoverer i et nytt område, står man ofte overfor begrensninger som ser ut til å være i motstrid med hverandre. Mitt team er oppnevnt til å fange inn det intrikate av hånd- og fingerbevegelser, og hvordan hender og fingre samhandler med verden rundt dem. Dette er pakket inn i hand tracking-modeller som fortsatt passer inn i XR-hardware på begrenset beregning. Dette betyr at våre modeller — selv om de er sofistikerte og komplekse — må ta opp betydelig mindre lagringsplass og forbruke betydelig mindre energi (til en verdi av 1/100 000) enn de massive LLM-er som dominerer overskriftene. Dette presenterer oss med en spennende utfordring, som krever brutalt eksperimentering og evaluering av våre modeller i deres virkelige anvendelse.

Men de talløse testene og eksperimentene er verdt det: å skape en kraftig modell som fortsatt leverer på lav inferenskostnad, strømforbruk og latency er et underverk som kan anvendes i edge computing utenfor XR-rommet.

Begrensningene vi støter på under eksperimentering vil påvirke andre industrier også. Noen bedrifter vil ha unike utfordringer på grunn av nyanser i deres anvendelsesdomener, mens andre kan ha begrensede data å arbeide med som et resultat av å være i en nisjemarked som store tekniske spillere ikke har berørt.

Mens en-størrelse-passer-til-alle-løsninger kan være tilstrekkelige for noen oppgaver, må mange anvendelsesdomener løse virkelige, utfordrende problemer som er spesifikke for deres oppgave. For eksempel implementerer bil-assembly-linjer ML-modeller for feilinspeksjon. Disse modellene må håndtere svært høyoppløste bilder som er nødvendige for å identifisere små feil over en stor overflateområde av en bil. I dette tilfelle krever anvendelsen høy ytelse, men problemet å løse er hvordan man kan oppnå en lav rammerate, men høyoppløst modell.

Evaluering av modellarkitekturer for å drive innovasjon

En god datasett er drivkraften bak enhver vellykket AI-gjennombrudd. Men hva gjør en datasett “god” for et bestemt mål, uansett? Og når du løser tidligere uløste problemer, hvordan kan du stole på at eksisterende data vil være relevante? Vi kan ikke anta at metrikker som er gode for noen ML-oppgaver oversettes til en annen spesifik forretningsoppgave-ytelse. Dette er der vi er kalt til å gå mot vanlig holdt ML “sannheter” og i stedet aktivt utforske hvordan vi merker, rensker og anvender både simulerings- og virkelige data.

Ved natur er vårt domene utfordrende å evaluere og krever manuell kvalitetssikring – gjort for hånd. Vi ser ikke bare på kvalitetsmetrikker av våre data. Vi itererer på våre datasett og datasources og evaluerer dem basert på kvalitetene av modellene de produserer i den virkelige verden. Når vi reevaluerer hvordan vi karakteriserer og klassifiserer våre data, finner vi ofte datasett eller trender som vi ellers ville ha overseen. Nå med disse datasettene, og talløse eksperimenter som viste oss hvilke data ikke å stole på, har vi låst opp en ny avenue vi manglet tidligere.

Ultraleap sin nyeste hand-tracking-plattform, Hyperion, er et godt eksempel på dette. Fremgang i våre datasett hjalp oss å utvikle mer sofistikert håndsporing som kan spore mikro-gesturer samt håndbevegelser selv når brukeren holder et objekt.

 Et lite skritt tilbake, ett stort sprang fremover

Mens innovasjonens tempo synes å aldri sakke, kan vi. Vi er i virksomheten med å eksperimentere, lære, utvikle og når vi tar tiden til å gjøre nettopp det, skaper vi ofte noe av langt større verdi enn når vi følger boken og rusher for å sette ut den neste tekniske innovasjonen. Det finnes ingen erstatning for gjennombruddene som skjer når vi utforsker våre data-annoteringer, spør våre datasources, og redefinere kvalitetsmetrikker selv. Og den eneste måten vi kan gjøre dette er ved å eksperimentere i den virkelige anvendelsesdomenen med målt modell-ytelse mot oppgaven. I stedet for å se uvanlige krav og begrensninger som begrensninger, kan vi ta disse utfordringene og omdanne dem til muligheter for innovasjon og, til slutt, en konkurransefordel.