Att tänka utanför boxen för att driva AI-innovation

För många av oss som innoverar inom AI-området arbetar vi inom outvecklat territorium. Med tanke på hur snabbt AI-företag utvecklar nya teknologier, kan man ta för givet det hårda arbetet bakom kulisserna. Men inom ett område som XR, där målet är att suddiga ut gränserna mellan den verkliga och digitala världen — finns det för närvarande inte mycket historisk data eller forskning att luta sig mot; så vi måste tänka utanför boxen.

Medan det är mest bekvämt att förlita sig på konventionell maskinlärande visdom och beprövade metoder, är detta ofta inte möjligt (eller den fullständiga lösningen) inom nya områden. För att lösa problem som aldrig har lösts tidigare, måste de angripas på nya sätt.

Det är en utmaning som tvingar dig att komma ihåg varför du gick in i ingenjörs-, datavetenskaps- eller produktutvecklingsområdet från första början: en passion för upptäckt. Jag upplever detta varje dag i min roll på Ultraleap, där vi utvecklar programvara som kan spåra och svara på rörelser av den mänskliga handen i en mixed reality-miljö. Så mycket av vad vi trodde att vi visste om att träna maskinlärande modeller vänds på huvudet i vårt arbete, eftersom den mänskliga handen — tillsammans med de föremål och miljöer den möter — är extremt oförutsägbar.

Här är några tillvägagångssätt som min team och jag har tagit för att omdefiniera experiment och datavetenskap för att bringa intuitiv interaktion till den digitala världen, som är korrekt och känns lika naturlig som den skulle i den verkliga världen.

Att innovera inom ramarna

När man innoverar inom ett nytt område, står man ofta inför begränsningar som verkar vara i konflikt med varandra. Min team är ansvarig för att fånga de intrikata hand- och finger-rörelserna, och hur händer och fingrar interagerar med världen runt omkring dem. Allt detta paketeras i handspårningsmodeller som fortfarande passar in i XR-hårdvara med begränsad beräkningsförmåga. Detta innebär att våra modeller — trots att de är sofistikerade och komplexa — måste ta upp betydligt mindre lagringsutrymme och förbruka betydligt mindre energi (i storleksordningen 1/100 000) än de stora LLM:er som dominerar rubrikerna. Det presenterar oss med en spännande utmaning, som kräver hänsynslös experiment och utvärdering av våra modeller i deras verkliga tillämpningsområde.

Men de otaliga testerna och experimenten är värda det: att skapa en kraftfull modell som fortfarande levererar på låg inferenskostnad, effektförbrukning och latens är ett underverk som kan tillämpas inom edge computing, även utanför XR-området.

De begränsningar vi stöter på medan vi experimenterar kommer att påverka andra branscher också. Vissa företag kommer att ha unika utmaningar på grund av subtiliteter i deras tillämpningsdomäner, medan andra kan ha begränsad data att arbeta med som ett resultat av att vara i en nischmarknad som stora teknikspelare inte har berört.

Medan en-lösning-för-alla-lösningar kan vara tillräckliga för vissa uppgifter, behöver många tillämpningsdomäner lösa verkliga, utmanande problem som är specifika för deras uppgift. Till exempel implementerar bilmonteringslinjer ML-modeller för defektinspektion. Dessa modeller måste hantera mycket högupplösta bilder som behövs för att identifiera små defekter över en stor yta på en bil. I detta fall kräver tillämpningen hög prestanda, men problemet att lösa är hur man uppnår en låg ramhastighet men högupplöst modell.

Att utvärdera modellarkitekturer för att driva innovation

En bra dataset är den drivande kraften bakom varje framgångsrik AI-genombrott. Men vad gör ett dataset “bra” för ett visst mål, ändå? Och när man löser problem som aldrig har lösts tidigare, hur kan man lita på att befintlig data kommer att vara relevant? Vi kan inte anta att de mått som är bra för vissa ML-uppgifter översätts till en annan specifik affärsuppgiftsprestanda. Detta är där vi kallas att gå emot allmänt accepterade ML-“sanningar” och istället aktivt utforska hur vi märker, rensar och tillämpar både simulerad och verklig data.

Av naturen är vårt område utmanande att utvärdera och kräver manuell kvalitetskontroll – gjord för hand. Vi tittar inte bara på kvalitetsmåtten för vår data. Vi itererar på våra dataset och datakällor och utvärderar dem baserat på kvaliteterna på de modeller de producerar i den verkliga världen. När vi omvärderar hur vi betygsätter och klassificerar vår data, hittar vi ofta dataset eller trender som vi annars skulle ha missat. Nu med dessa dataset, och otaliga experiment som visade oss vilken data inte att lita på, har vi låst upp en ny väg som vi tidigare saknade.

Ultraleaps senaste handspårningsplattform, Hyperion, är ett utmärkt exempel på detta. Framsteg inom våra dataset hjälpte oss att utveckla mer avancerad handspårning som kan spåra mikrogesturer samt handrörelser även när användaren håller i ett föremål.

 En liten steg tillbaka, ett stort språng framåt

Medan innovationens takt tycks aldrig sakta av, kan vi. Vi är i businessen att experimentera, lära, utveckla och när vi tar tid att göra just det, skapar vi ofta något av mycket större värde än när vi följer boken och skyndar oss att släppa ut nästa tekniska innovation. Det finns inget substitut för de genombrott som sker när vi utforskar våra dataannoteringar, ifrågasätter våra datakällor och omdefinierar kvalitetsmåtten själva. Och det enda sättet vi kan göra detta är genom att experimentera i den verkliga tillämpningsdomänen med mätbar modellprestanda mot uppgiften. Istället för att se ovanliga krav och begränsningar som begränsande, kan vi ta dessa utmaningar och förvandla dem till möjligheter för innovation och, slutligen, en konkurrensfördel. och det enda sättet vi kan göra detta är genom att experimentera i den verkliga tillämpningsdomänen med mätbar modellprestanda mot uppgiften. Snarare än att se ovanliga krav och begränsningar som begränsande, kan vi ta dessa utmaningar och förvandla dem till möjligheter för innovation och, slutligen, en konkurrensfördel.