Nye grenser i generativ AI — langt fra skyen

I begynnelsen var det internettet, som forandret våre liv for alltid — måten vi kommuniserer, handler, driver forretning. Og så, av grunner som latency, personvern og kostnadseffektivitet, flyttet internettet til nettverkskanten, og gav opphav til “internett av ting”.

Nå er det kunstig intelligens, som gjør alt vi gjør på internett enklere, mer personlig, mer intelligent. For å bruke det, trengs imidlertid store servere og høy beregningskapasitet, så det er begrenset til skyen. Men de samme motivene — latency, personvern, kostnadseffektivitet — har drevet selskaper som Hailo til å utvikle teknologier som muliggjør AI på kanten.

Uten tvil er den neste store trenden generativ AI. Generativ AI har enormt potensial over hele bransjen. Den kan brukes til å strømlinje arbeid og øke effektiviteten til ulike skapere — advokater, innholdsskribenter, grafiske designere, musikere og mer. Den kan hjelpe med å oppdage nye terapeutiske legemidler eller bidra i medisinske prosedyrer. Generativ AI kan forbedre industriell automatisering, utvikle ny programvarekode og forbedre transportsikkerheten gjennom automatisk syntese av video, lyd, bilder og mer.

Likevel er generativ AI, slik den eksisterer i dag, begrenset av teknologien som muliggjør den. Det skyldes at generativ AI skjer i skyen — store datasentre med dyre, energikrevende dataprossesorer langt unna faktiske brukere. Når noen sender en forespørsel til et generativt AI-verktøy som ChatGPT eller en ny AI-basert videoconferencing-løsning, sendes forespørselen via internettet til skyen, der den prosesseres av servere før resultater returneres over nettverket.

Ettersom selskaper utvikler nye applikasjoner for generativ AI og distribuerer dem på ulike enheter — videokameraer og sikkerhetssystemer, industrielle og personlige roboter, bærbare datamaskiner og selv biler — er skyen en flaskehals når det gjelder båndbredde, kostnad og tilkobling.

Og for applikasjoner som førerhjelp, personlig dataprogramvare, videoconferencing og sikkerhet, kan det å flytte data over et nettverk hele tiden være en personvernrisk.

Løsningen er å muliggjøre at disse enhetene kan prosessere generativ AI på kanten. I virkeligheten kan generativ AI på kanten være til nytte for mange nye applikasjoner.

Generativ AI på fremmarsj

Betrakt at i juni sa Mercedes-Benz at de ville introdusere ChatGPT i sine biler. I en ChatGPT-forbedret Mercedes kunne en sjåfør, for eksempel, spørre bilen — uten å bruke hendene — om en middagsoppskrift basert på ingredienser de allerede har hjemme. Det er, hvis bilen er tilkoblet internettet. I en parkeringsgarasje eller et fjerntliggende område, er alle veddemål ute.

I løpet av de siste årene har videoconferencing blitt en del av vår hverdag. Allerede nå integrerer programvareselskaper former for AI i videoconferencing-løsninger. Kanskje er det for å optimalisere lyd- og video kvalitet på fly, eller for å “plassere” mennesker i samme virtuelle rom. Nå kan generativ AI-drevne videoconferencer automatisk lage møtereferater eller trekke inn relevante opplysninger fra firmaets kilder i sanntid mens ulike emner diskuteres.

Men hvis en smart bil, videoconferencing-system eller enhver annen kant-enhet ikke kan nå tilbake til skyen, kan ikke generativ AI-erfaringen skje. Men hva hvis de ikke trengte det? Det høres ut som en vanskelig oppgave, når man tenker på den enorme prosesseringen av sky-AI, men det blir nå mulig.

Generativ AI på kanten

Allerede nå finnes det generative AI-verktøy, for eksempel, som kan automatisk lage rike, engasjerende PowerPoint-presentasjoner. Men brukeren trenger at systemet fungerer fra hvor som helst, selv uten internettforbindelse.

Liknende ser vi nå en ny klasse av generative AI-baserte “copilot”-assistenter som vil forandre hvordan vi samhandler med våre datamaskiner ved å automatisere mange rutineoppgaver, som å lage rapporter eller visualisere data. Tenk deg å åpne en bærbar datamaskin, datamaskinen gjenkjenner deg gjennom kameraet, og så automatisk genererer en handlingsplan for dagen/uken/månen basert på dine mest brukte verktøy, som Outlook, Teams, Slack, Trello osv. Men for å opprettholde datapersonvern og en god brukeropplevelse, må du ha muligheten til å kjøre generativ AI lokalt.

I tillegg til å møte utfordringene med ustabile forbindelser og datapersonvern, kan kant-AI hjelpe med å redusere båndbreddekrav og forbedre applikasjonsytelse. For eksempel, hvis en generativ AI-applikasjon lager data-rikt innhold, som et virtuelt konferanserom, via skyen, kan prosessen være treg avhengig av tilgjengelig (og kostbar) båndbredde. Og visse typer generative AI-applikasjoner, som sikkerhet, robotikk eller helse, krever høy-ytelses, lav-forsinkelsessvar som sky-tilkoblinger ikke kan håndtere.

I video-sikkerhet kan evnen til å gjenkjenne mennesker når de beveger seg mellom mange kameraer — noen plassert der nettverk ikke kan nå — krever datamodeller og AI-prosessering i kameraene selv. I dette tilfellet kan generativ AI brukes til å automatisere beskrivelser av hva kameraene ser gjennom enkle spørsmål som “Finn 8-åringen med rød T-skjorte og baseball-lue”.

Det er generativ AI på kanten.

Utvikling i kant-AI

Gjennom tilpasningen av en ny klasse av AI-prosessorer og utviklingen av slankere, mer effektive, men likevel kraftfulle generative AI-datamodeller, kan kant-enheter være designet for å fungere intelligent hvor sky-tilkobling er umulig eller uønsket.

Selvfølgelig vil sky-prosessering forbli en kritisk komponent i generativ AI. For eksempel vil trening av AI-modeller forbli i skyen. Men handlingen av å bruke brukerinput til disse modellene, kalt inferens, kan — og i mange tilfeller bør — skje på kanten.

Bransjen utvikler allerede slankere, mindre, mer effektive AI-modeller som kan lastes ned på kant-enheter. Selskaper som Hailo produserer AI-prosessorer som er spesialdesignet for å utføre neuralt nettverksprosessering. Slike neuralt nettverksprosessorer håndterer ikke bare AI-modeller ekstremt raskt, men gjør det også med mindre kraft, noe som gjør dem energieffektive og egnet for en rekke kant-enheter, fra smarttelefoner til kameraer.

Prosessering av generativ AI på kanten kan også effektivt lastbalansere økende arbeidsbyrder, tillate applikasjoner å skalerer mer stabilt, lettet sky-datacenter av kostbar prosessering og hjelpe dem med å redusere sin karbonfotavtrykk.

Generativ AI er på randen av å forandre datamaskinen igjen. I fremtiden kan LLM på din bærbar datamaskin auto-oppdateres på samme måte som operativsystemet ditt gjør i dag — og fungere på samme måte. Men for å komme dit, må vi aktivere generativ AI-prosessering på nettverkskanten. Resultatet lover å bli bedre ytelse, energieffektivitet og personvern og sikkerhet. Alt dette fører til AI-applikasjoner som kan forandre verden like mye som generativ AI selv.