Nya gränser inom generativ AI — Långt ifrån molnet

I början fanns internet, som förändrade våra liv för alltid — sättet vi kommunicerar, handlar, bedriver verksamhet. Och sedan, av skäl som latens, integritet och kostnadseffektivitet, flyttade internet till nätverkskanten, vilket gav upphov till “sakernas internet”.

Nu finns det artificiell intelligens, som gör allt vi gör på internet lättare, mer personligt, mer intelligent. För att använda den behövs dock stora servrar och hög beräkningskapacitet, så den är begränsad till molnet. Men samma motiv — latens, integritet, kostnadseffektivitet — har drivit företag som Hailo att utveckla teknologier som möjliggör AI på kanten.

Utwithout tvekan är den nästa stora saken generativ AI. Generativ AI har enorm potential över hela branschen. Den kan användas för att effektivisera arbete och öka effektiviteten hos olika skapare — jurister, innehållsförfattare, grafiska formgivare, musiker och många fler. Den kan hjälpa till att upptäcka nya terapeutiska läkemedel eller underlätta medicinska förfaranden. Generativ AI kan förbättra industriell automation, utveckla ny programkod och förbättra transportens säkerhet genom automatisk syntes av video, ljud, bilder och mer.

Men generativ AI, som den finns idag, är begränsad av den teknik som möjliggör den. Det beror på att generativ AI sker i molnet — stora datacenter med dyra, energikrävande datorprocessorer som är långt ifrån de faktiska användarna. När någon skickar en begäran till ett generativt AI-verktyg som ChatGPT eller någon ny AI-baserad videokonferenslösning, skickas begäran via internet till molnet, där den bearbetas av servrar innan resultaten returneras över nätverket.

När företag utvecklar nya tillämpningar för generativ AI och distribuerar dem på olika typer av enheter — videokameror och säkerhetssystem, industri- och personliga robotar, bärbara datorer och till och med bilar — är molnet en flaskhals när det gäller bandbredd, kostnad och anslutning.

Och för tillämpningar som förarstöd, persondatorprogram, videokonferenser och säkerhet kan det vara en integritetsrisk att ständigt flytta data över ett nätverk.

Lösningen är att möjliggöra för dessa enheter att bearbeta generativ AI på kanten. Faktum är att generativ AI på kanten kan gynna många nya tillämpningar.

Generativ AI på uppgång

Tänk på att i juni sa Mercedes-Benz att de skulle införa ChatGPT i sina bilar. I en ChatGPT-förbättrad Mercedes kunde en förare till exempel be bilen — utan att använda händerna — om ett middagsrecept baserat på ingredienser de redan har hemma. Det vill säga, om bilen är ansluten till internet. I en parkeringsgarage eller på en avlägsen plats är allt möjligt.

Under de senaste åren har videokonferenser blivit en vanlig sak för de flesta av oss. Redan nu integrerar programvaruföretag former av AI i videokonferenslösningar. Kanske är det för att optimera ljud- och videoqualitet på flyget, eller för att “placera” människor i samma virtuella utrymme. Nu kan generativ AI-drivna videokonferenser automatiskt skapa mötesanteckningar eller hämta relevant information från företagskällor i realtid medan olika ämnen diskuteras.

Men om en smart bil, videokonferenssystem eller någon annan kant-enhet inte kan nå tillbaka till molnet, kan den generativa AI-upplevelsen inte ske. Men vad om de inte behövde? Det låter som en svår uppgift med tanke på den enorma bearbetningen av moln-AI, men det är nu möjligt.

Generativ AI på kanten

Redan nu finns det generativa AI-verktyg, till exempel, som kan automatiskt skapa rika, engagerande PowerPoint-presentationer. Men användaren behöver systemet för att fungera från valfri plats, även utan internetanslutning.

Likaså ser vi redan en ny klass av generativa AI-baserade “copilot”-assistenter som kommer att förändra hur vi interagerar med våra datorer genom att automatisera många rutinuppgifter, som att skapa rapporter eller visualisera data. Tänk dig att öppna en bärbar dator, datorn känner igen dig genom sin kamera och sedan automatiskt genererar en kurs för dagen/veckan/månaden baserat på dina mest använda verktyg, som Outlook, Teams, Slack, Trello och så vidare. Men för att upprätthålla dataintegritet och en bra användarupplevelse måste du ha möjligheten att köra generativ AI lokalt.

Utöver att möta utmaningarna med opålitliga anslutningar och dataintegritet kan kant-AI hjälpa till att minska bandbreddsbehoven och förbättra applikationsprestanda. Till exempel, om en generativ AI-applikation skapar datarika innehåll, som ett virtuellt konferensrum, via molnet, kan processen försenas beroende på tillgänglig (och dyra) bandbredd. Och vissa typer av generativa AI-applikationer, som säkerhet, robotik eller hälsovård, kräver högpresterande, låglatenssvar som molnanslutningar inte kan hantera.

I videosäkerhet kan möjligheten att återidentifiera människor när de rör sig mellan många kameror — vissa placerade där nätverk inte kan nå — kräva datamodeller och AI-bearbetning i själva kamerorna. I det här fallet kan generativ AI appliceras på automatiserade beskrivningar av vad kamerorna ser genom enkla frågor som “Hitta 8-åringen med den röda t-shiren och basebollkepsen”.

Det är generativ AI på kanten.

Utvecklingar inom kant-AI

Genom antagandet av en ny klass av AI-processorer och utvecklingen av smalare, mer effektiva, men lika kraftfulla generativa AI-datamodeller, kan kantenheter konstrueras för att fungera intelligent där molnanslutning är omöjlig eller önskvärd.

Självklart kommer molnbearbetning att förbli en kritisk komponent i generativ AI. Till exempel kommer utbildning av AI-modeller att förbli i molnet. Men handlingen att applicera användarindata på dessa modeller, som kallas inferens, kan — och i många fall bör — ske på kanten.

Branschen utvecklar redan smalare, mindre, mer effektiva AI-modeller som kan laddas ned på kantenheter. Företag som Hailo tillverkar AI-processorer som är särskilt utformade för att utföra neuronnätsbearbetning. Sådana neuronnätsprocessorer hanterar inte bara AI-modeller otroligt snabbt, utan de gör det också med mindre kraft, vilket gör dem energoeffektiva och lämpliga för en mängd olika kantenheter, från smartphones till kameror.

Att bearbeta generativ AI på kanten kan också effektivt belastningsbalansera växande arbetsbelastningar, tillåta applikationer att skalas mer stabilt, lindra molndatacenter från dyra beräkningar och hjälpa dem att minska sin koldioxidavtryck.

Generativ AI är redo att förändra datoranvändningen igen. I framtiden kan den stora språkmodellen på din bärbara dator auto-uppdateras på samma sätt som ditt operativsystem gör idag — och fungera på samma sätt. Men för att komma dit behöver vi möjliggöra generativ AI-bearbetning på nätverkskanten. Resultatet lovar att bli bättre prestanda, energieffektivitet och integritet och säkerhet. Allt detta leder till AI-applikationer som förändrar världen lika mycket som generativ AI själv.