Nye grænser i generativ AI – langt fra skyen

I begyndelsen var der internettet, som ændrede vores liv for altid – måden, vi kommunikerer, handler, driver forretning. Og derefter, af grund af latency, privatliv og omkostningseffektivitet, flyttede internettet til netværkskanten, hvilket gav anledning til “internet of things”.

Nu er der kunstig intelligens, som gør alt, vi gør på internettet, lettere, mere personligt, mere intelligent. For at bruge det er store servere nødvendige, og høj beregningskapacitet, så det er begrænset til skyen. Men de samme motiver – latency, privatliv, omkostningseffektivitet – har drevet virksomheder som Hailo til at udvikle teknologier, der muliggør AI på kanten.

Uden tvivl er den næste store ting generativ AI. Generativ AI har enorm potentiale på tværs af brancher. Den kan bruges til at strømline arbejde og øge effektiviteten for forskellige skabere – advokater, indholdsskribenter, grafiske designere, musikere og mere. Den kan hjælpe med at opdage nye terapeutiske lægemidler eller bistå ved medicinske procedurer. Generativ AI kan forbedre industriautomatisering, udvikle nyt softwarekode og forbedre transportsikkerhed gennem automatiseret syntese af video, lyd, billeder og mere.

Men generativ AI, som den findes i dag, er begrænset af den teknologi, der muliggør den. Det skyldes, at generativ AI sker i skyen – store datacentre med dyre, energiforbrugende computerprocessorer langt væk fra de faktiske brugere. Når nogen udsteder en anmodning til et generativt AI-værktøj som ChatGPT eller en ny AI-baseret videoconferencing-løsning, overføres anmodningen via internettet til skyen, hvor den behandles af servere, før resultaterne returneres over netværket.

Da virksomheder udvikler nye anvendelser for generativ AI og installerer dem på forskellige typer enheder – videokameraer og sikkerhedssystemer, industri- og personrobotter, bærbare computere og endda biler – er skyen en flaskehals i forhold til båndbredde, omkostninger og forbindelse.

Og for anvendelser som kørselshjælp, personlig computersoftware, videoconferencing og sikkerhed kan det at flytte data over et netværk hele tiden være en privatlivsrisk.

Løsningen er at muliggøre, at disse enheder kan behandle generativ AI på kanten. Faktisk kan generativ AI på kanten være til fordel for mange opkommende anvendelser.

Generativ AI på vej op

Overvej, at Mercedes-Benz i juni meddelte, at de ville introducere ChatGPT i deres biler. I en ChatGPT-forbedret Mercedes kunne en chauffør for eksempel bede bilen – uden brug af hænder – om en middagsopskrift baseret på ingredienser, de allerede har hjemme. Det er, hvis bilen er tilsluttet internettet. I en parkeringsgarage eller en fjern beliggenhed er alle chancer ude.

I de sidste par år er videoconferencing blevet anden natur for de fleste af os. Allerede nu integrerer softwarevirksomheder former for AI i videoconferencing-løsninger. Måske er det for at optimere lyd- og video kvalitet på fly, eller for at “anbringe” personer i samme virtuelle rum. Nu kan generativ AI-drevne videoconferencer automatisk oprette mødeprotokoller eller trække relevant information fra virksomhedsressourcer i realtid, mens forskellige emner diskuteres.

Men hvis en smart bil, et videoconferencing-system eller enhver anden kantenhed ikke kan nå tilbage til skyen, kan generativ AI-oplevelsen ikke ske. Men hvad hvis de ikke behøvede at? Det lyder som en overvældende opgave, når man tænker på den enorme beregning af sky-AI, men det er nu muligt.

Generativ AI på kanten

Allerede nu findes der generative AI-værktøjer, som for eksempel kan oprette rige, engagerende PowerPoint-præsentationer automatisk. Men brugeren har brug for, at systemet kan fungere fra hvor som helst, selv uden en internetforbindelse.

Ligeledes ser vi allerede en ny klasse af generative AI-baserede “copilot”-assistenter, som vil ændre, hvordan vi interagerer med vores computereheder ved at automatisere mange rutineopgaver, som oprettelse af rapporter eller visualisering af data. Forestil dig, at du åbner en bærbar computer, computeren genkender dig gennem dens kamera og derefter automatisk genererer en handlingsplan for dagen/ugen/måneden baseret på dine mest brugte værktøjer, som Outlook, Teams, Slack, Trello osv. Men for at opretholde data privatliv og en god brugeroplevelse skal du have mulighed for at køre generativ AI lokalt.

Ud over at imødekomme udfordringerne med upålidelige forbindelser og data privatliv kan kant-AI hjælpe med at reducere båndbreddekrav og forbedre applikationspræstation. For eksempel, hvis en generativ AI-applikation opretter data-rig indhold, som et virtuelt konferencerum, via skyen, kan processen være langsom afhængigt af tilgængelig (og dyrekøbt) båndbredde. Og visse typer af generative AI-applikationer, som sikkerhed, robotteknik eller sundhedspleje, kræver højpræstations-, lavforsinkelsessvar, som skyforbindelser ikke kan håndtere.

Inden for video sikkerhed kræver evnen til at genkende personer, mens de bevæger sig mellem mange kameraer – nogle placeret, hvor netværk ikke kan nå – data modeller og AI-beregning i selv kameraerne. I dette tilfælde kan generativ AI anvendes til automatiserede beskrivelser af, hvad kameraerne ser gennem simple forespørgsler som “Find 8-årige barnet med den røde T-shirt og baseball-kasket”.

Det er generativ AI på kanten.

Udviklinger i kant-AI

Gennem overtagelsen af en ny klasse af AI-processorer og udviklingen af mere strømlinede, effektive, men lige så kraftfulde generative AI-data modeller kan kantenheder være designet til at fungere intelligent, hvor skyforbindelse er umulig eller uønsket.

Selvfølgelig vil skyberegning forblive en kritisk komponent i generativ AI. For eksempel vil træning af AI-modeller forblive i skyen. Men handlingen med at anvende brugerinput til disse modeller, kaldet inferencing, kan – og skal i mange tilfælde – ske på kanten.

Branchen udvikler allerede mere strømlinede, mindre, mere effektive AI-modeller, som kan indlæses på kantenheder. Virksomheder som Hailo fremstiller AI-processorer, der er specialdesignet til at udføre neuralt netværksberegning. Disse neurale netværksprocessorer kan ikke kun håndtere AI-modeller utrolig hurtigt, men de gør det også med mindre strøm, hvilket gør dem energi-effektive og egnede til en række kantenheder, fra smartphones til kameraer.

At behandle generativ AI på kanten kan også effektivt belastningsbalance voksende arbejdsmængder, tillade applikationer at skala mere stabilt, lette skydatacentre for dyrekøbt beregning og hjælpe dem med at reducere deres kulstofaftryk.

Generativ AI er på vej til at ændre computing igen. I fremtiden kan LLM på din bærbar computer automatisk opdatere på samme måde, som din operativsystem gør i dag – og fungere på samme måde. Men for at nå dertil skal vi aktivere generativ AI-beregning på netværkskanten. Resultatet lover at være bedre præstation, energi-effektivitet og privatliv og sikkerhed. Alt dette fører til AI-applikationer, som ændrer verden lige så meget som generativ AI selv.