Multimodalt læring blir mer fremtredende blant AI-utviklere

Venture Beat (VB) viet ett av sine ukentlige rapporter til fordelen med multimodalt læring i utviklingen av kunstig intelligens. Deres utløsende faktor var en rapport fra ABI Research om saken.

Hovedkonseptet ligger i at “datamengder er grunnleggende byggestener for AI-systemer,” og at uten datamengder, “kan modellene ikke lære relasjonene som informerer deres prediksjoner.” ABI-rapporten forutser at “mens den totale installerte basen av AI-enheter vil vokse fra 2,69 milliarder i 2019 til 4,47 milliarder i 2024, vil komparativt få være interoperable på kort sikt.”

Dette kan representere en betydelig spilltids-, energi- og ressursøkt, “i stedet for å kombinere gigabyte til petabyte med data som flyter gjennom dem i ett enkelt AI-modell eller ramme, vil de arbeide uavhengig og heterogent for å gi mening til dataene de mates.”

For å overvinne dette, foreslår ABI multimodalt læring, en metode som kunne konsolidere data “fra forskjellige sensorer og inndata i ett enkelt system. Multimodalt læring kan bære komplementær informasjon eller trender, som ofte bare blir tydelig når de alle er inkludert i læringprosessen.”

VB presenterer et gyldig eksempel som tar hensyn til bilder og tekstlegginger. “Hvis forskjellige ord er parret med lignende bilder, er disse ordene sannsynligvis brukt til å beskrive de samme tingene eller objektene. Omvendt, hvis noen ord dukker opp ved siden av forskjellige bilder, antyder dette at disse bildene representerer det samme objektet. Gitt dette, burde det være mulig for en AI-modell å forutsi bildeobjekter fra tekstbeskrivelser, og faktisk, en rekke akademiske litteratur har bevist at dette er tilfelle.”

Til tross for de mulige fordelen, merker ABI at selv teknologigigantene som IBM, Microsoft (MSFT ), Amazon (AMZN ) og Google (GOOGL ) fortsatt fokuserer hovedsakelig på unimodale systemer. En av grunnene til dette er de utfordringene en slik omstilling ville representere.

Likevel forutser ABI-forskerne at “det totale antallet enheter som leveres vil vokse fra 3,94 millioner i 2017 til 514,12 millioner i 2023, drevet av adopsjon i robotikk-, forbruker-, helse- og medie- og underholdningssegmentene.” Blant eksemplene på selskaper som allerede implementerer multimodalt læring, nevner de Waymo, som bruker slike tilnærminger til å bygge “hyper-oppmerksomme selvkjørende kjøretøy,” og Intel Labs (INTC ), hvor selskapets ingeniørteam “undersøker teknikk for sensor-data-samling i sanntidsmiljø.”

Intel Labs’ hovedingeniør Omesh Tickoo forklarte til VB at “Hva vi gjorde, var å bruke teknikk for å finne kontekst, som tid på dagen, og bygge et system som forteller deg når en sensors data ikke er av høyeste kvalitet. Gitt denne tillitsverdigheten, veier det forskjellige sensorer mot hverandre på forskjellige intervaller og velger riktig blanding for å gi oss svaret vi søker.”

VB merker at unimodalt læring vil forbli dominerende der det er høyt effektivt – i applikasjoner som bildegenkjenning og naturlig språkbehandling. Samtidig forutser det at “etterhvert som elektronikken blir billigere og beregning mer skalerbar, vil multimodalt læring sannsynligvis bare øke i prominens.”