Multimodalt lärande blir allt mer framträdande bland AI-utvecklare

Venture Beat (VB) ägnade en av sina veckorapporter åt fördelarna med multimodalt lärande vid utveckling av artificiell intelligens. Deras utgångspunkt var en rapport från ABI Research om ämnet.

Den viktiga idén ligger i det faktum att “datamängder är de grundläggande byggstenarna i AI-system,” och att utan datamängder “kan modellerna inte lära sig de relationer som informerar deras förutsägelser.” ABI-rapporten förutspår att “medan den totala installerade basen av AI-enheter kommer att växa från 2,69 miljarder 2019 till 4,47 miljarder 2024, kommer relativt få att vara interoperabla på kort sikt.”

Detta kan representera en betydande slöseri med tid, energi och resurser, “i stället för att kombinera gigabyte till petabyte av data som strömmar genom dem i en enda AI-modell eller ramverk, kommer de att fungera oberoende och heterogent för att ge mening åt de data de matas med.”

För att övervinna detta föreslår ABI multimodalt lärande, en metodik som kunde konsolidera data “från olika sensorer och inmatningar till ett enda system. Multimodalt lärande kan bära kompletterande information eller trender, som ofta bara blir uppenbara när de alla ingår i lärandeprocessen.”

VB presenterar ett trovärdigt exempel som överväger bilder och textbeskrivningar. “Om olika ord är parade med liknande bilder, är det troligt att dessa ord används för att beskriva samma saker eller föremål. Omvänt, om vissa ord visas bredvid olika bilder, antyder detta att dessa bilder representerar samma föremål. Med tanke på detta borde det vara möjligt för en AI-modell att förutsäga bildföremål från textbeskrivningar, och faktiskt har en mängd akademisk litteratur bevisat att detta är fallet.”

Trots de möjliga fördelarna noterar ABI att även teknikjättar som IBM, Microsoft (MSFT ), Amazon (AMZN ) och Google (GOOGL ) fortfarande fokuserar främst på unimodala system. En av anledningarna är de utmaningar som en sådan växling skulle representera.

Ändå förutspår ABI-forskarna att “den totala mängden enheter som levereras kommer att växa från 3,94 miljoner 2017 till 514,12 miljoner 2023, driven av antagande i robotik, konsument, hälsovård och media och underhållningssegmenten.” Bland exemplen på företag som redan implementerar multimodalt lärande nämner de Waymo, som använder sådana tillvägagångssätt för att bygga “hyper-medvetna självkörande fordon,” och Intel Labs (INTC ), där företagets ingenjörsteam “utreder tekniker för sensordatainsamling i realvärldsmiljöer.”

Intel Labs huvudingenjör Omesh Tickoo förklarade för VB att “Vad vi gjorde var att, med hjälp av tekniker för att fastställa sammanhang, såsom tid på dagen, byggde vi ett system som berättar för dig när en sensors data inte är av högsta kvalitet. Givet den förtroendevärdigheten väger det olika sensorer mot varandra vid olika intervall och väljer rätt mix för att ge oss det svar vi letar efter.”

VB noterar att unimodalt lärande kommer att förbli dominerande där det är mycket effektivt – i tillämpningar som bildigenkänning och naturlig språkbehandling. Samtidigt förutspår det att “när elektronik blir billigare och beräkningar blir mer skalbara, kommer multimodalt lärande sannolikt bara att öka i betydelse.”