Nye grenser i generativ AI — Langt fra skyen

I begynnelsen var det internett, som forandret livene våre for alltid - måten vi kommuniserer, handler, driver forretninger på. Og så på grunn av ventetid, personvern og kostnadseffektivitet, flyttet internett seg til nettverkskanten, noe som ga opphav til "tingenes internett."

Nå er det kunstig intelligens, som gjør alt vi gjør på internett enklere, mer personlig, mer intelligent. For å bruke det kreves det imidlertid store servere og høy datakapasitet, så det er begrenset til skyen. Men de samme motivasjonene – ventetid, personvern, kostnadseffektivitet – har drevet selskaper som Hailo til å utvikle teknologier som muliggjør AI på kanten.

Utvilsomt er den neste store tingen generativ AI. Generativ AI gir et enormt potensial på tvers av bransjer. Den kan brukes til å effektivisere arbeidet og øke effektiviteten til ulike skapere – advokater, innholdsforfattere, grafiske designere, musikere og mer. Det kan hjelpe med å oppdage nye terapeutiske legemidler eller hjelpe til med medisinske prosedyrer. Generativ AI kan forbedre industriell automatisering, utvikle ny programvarekode og forbedre transportsikkerheten gjennom automatisert syntese av video, lyd, bilder og mer.

Imidlertid er generativ AI slik den eksisterer i dag begrenset av teknologien som muliggjør det. Det er fordi generativ AI skjer i skyen – store datasentre med kostbare, energikrevende dataprosessorer langt unna faktiske brukere. Når noen sender en melding til et generativt AI-verktøy som ChatGPT eller en ny AI-basert videokonferanseløsning, overføres forespørselen via internett til skyen, hvor den behandles av servere før resultatene returneres over nettverket.

Ettersom selskaper utvikler nye applikasjoner for generativ AI og distribuerer dem på forskjellige typer enheter – videokameraer og sikkerhetssystemer, industrielle og personlige roboter, bærbare datamaskiner og til og med biler – er skyen en flaskehals når det gjelder båndbredde, kostnader og tilkobling.

Og for applikasjoner som førerassistanse, personlig datamaskinprogramvare, videokonferanser og sikkerhet, kan konstant flytting av data over et nettverk være en personvernrisiko.

Løsningen er å gjøre det mulig for disse enhetene å behandle generativ AI på kant. Faktisk vil kantbasert generativ AI være til nytte for mange nye applikasjoner.

Generativ AI på vei opp

Tenk på at i juni, Sa Mercedes-Benz det ville introdusere ChatGPT til sine biler. I en ChatGPT-forbedret Mercedes, for eksempel, kan en sjåfør be bilen – handsfree – om en middagsoppskrift basert på ingredienser de allerede har hjemme. Det vil si hvis bilen er koblet til internett. I et parkeringshus eller avsidesliggende plassering er alle spill avslått.

I løpet av de siste par årene har videokonferanse blitt en annen natur for de fleste av oss. Programvareselskaper integrerer allerede former for kunstig intelligens i videokonferanseløsninger. Kanskje det er for å optimere lyd- og videokvaliteten på farten, eller for å "plassere" folk i samme virtuelle rom. Nå kan generative AI-drevne videokonferanser automatisk lage møtereferater eller hente inn relevant informasjon fra selskapets kilder i sanntid etter hvert som ulike emner diskuteres.

Men hvis en smart bil, videokonferansesystem eller en annen kantenhet ikke kan nå tilbake til skyen, kan den generative AI-opplevelsen ikke skje. Men hva om de ikke måtte? Det høres ut som en skremmende oppgave med tanke på den enorme behandlingen av sky AI, men det begynner nå å bli mulig.

Generativ AI på kanten

Allerede er det generative AI-verktøy, for eksempel, som automatisk kan lage rike, engasjerende PowerPoint-presentasjoner. Men brukeren trenger at systemet fungerer fra hvor som helst, selv uten internettforbindelse.

På samme måte ser vi allerede en ny klasse generative AI-baserte «copilot»-assistenter som fundamentalt vil endre hvordan vi samhandler med dataenhetene våre ved å automatisere mange rutineoppgaver, som å lage rapporter eller visualisere data. Tenk deg at du åpner en bærbar datamaskin, den bærbare datamaskinen gjenkjenner deg gjennom kameraet, og deretter automatisk genererer et handlingsforløp for dagen/uken/måneden basert på de mest brukte verktøyene dine, som Outlook, Teams, Slack, Trello osv. Men for å vedlikeholde data personvern og en god brukeropplevelse, må du ha muligheten til å kjøre generativ AI lokalt.

I tillegg til å møte utfordringene med upålitelige tilkoblinger og datavern, kan edge AI bidra til å redusere båndbreddekrav og forbedre applikasjonsytelsen. For eksempel, hvis en generativ AI-applikasjon lager datarikt innhold, som et virtuelt konferanserom, via skyen, kan prosessen forsinke avhengig av tilgjengelig (og kostbar) båndbredde. Og visse typer generative AI-applikasjoner, som sikkerhet, robotikk eller helsetjenester, krever responser med høy ytelse og lav latens som skyforbindelser ikke kan håndtere.

Innen videosikkerhet krever muligheten til å identifisere personer på nytt når de beveger seg mellom mange kameraer – noen plassert der nettverk ikke kan nå – datamodeller og AI-behandling i selve kameraene. I dette tilfellet kan generativ kunstig intelligens brukes på automatiserte beskrivelser av hva kameraene ser gjennom enkle spørsmål som "Finn det 8 år gamle barnet med den røde t-skjorten og baseballcapen."

Det er generativ AI på kanten.

Utviklingen i Edge AI

Gjennom innføringen av en ny klasse AI-prosessorer og utviklingen av slankere, mer effektive, men ikke mindre kraftige generative AI-datamodeller, kan edge-enheter utformes for å fungere intelligent der skytilkobling er umulig eller uønsket.

Selvfølgelig vil skybehandling forbli en kritisk komponent i generativ AI. For eksempel vil trenings-AI-modeller forbli i skyen. Men handlingen med å bruke brukerinndata på disse modellene, kalt inferencing, kan – og bør i mange tilfeller – skje på kanten.

Industrien utvikler allerede slankere, mindre, mer effektive AI-modeller som kan lastes inn på kantenheter. Bedrifter liker Hailo produsere AI-prosessorer spesialdesignet for å utføre nevrale nettverksbehandlinger. Slike nevrale nettverksprosessorer håndterer ikke bare AI-modeller utrolig raskt, men de gjør det også med mindre kraft, noe som gjør dem energieffektive og tilpasset en rekke avanserte enheter, fra smarttelefoner til kameraer.

Behandling av generativ AI på kanten kan også effektivt belastningsbalansere økende arbeidsbelastninger, tillate applikasjoner å skalere mer stabilt, avlaste skydatasentre for kostbar prosessering og hjelpe dem med å redusere karbonavtrykket.

Generativ AI er klar til å endre databehandling igjen. I fremtiden kan LLM på den bærbare datamaskinen automatisk oppdateres på samme måte som operativsystemet ditt gjør i dag – og fungere omtrent på samme måte. Men for å komme dit, må vi aktivere generativ AI-behandling ved nettverkets kant. Resultatet lover å bli bedre ytelse, energieffektivitet og personvern og sikkerhet. Alt dette fører til AI-applikasjoner som forandrer verden like mye som selve generativ AI.