Nya gränser i generativ AI — långt från molnet

I början fanns det internet, som förändrade våra liv för alltid - hur vi kommunicerar, handlar, gör affärer. Och sedan på grund av latens, integritet och kostnadseffektivitet, flyttade internet till nätverkskanten, vilket gav upphov till "sakernas internet".

Nu finns det artificiell intelligens, som gör allt vi gör på internet enklare, mer personligt, mer intelligent. För att använda det krävs dock stora servrar och hög beräkningskapacitet, så det är begränsat till molnet. Men samma motiv – latens, integritet, kostnadseffektivitet – har drivit företag som Hailo att utveckla teknologier som möjliggör AI på kanten.

Utan tvekan är nästa stora sak generativ AI. Generativ AI ger en enorm potential inom olika branscher. Den kan användas för att effektivisera arbetet och öka effektiviteten för olika kreatörer – advokater, innehållsskribenter, grafiska formgivare, musiker och mer. Det kan hjälpa till att upptäcka nya terapeutiska läkemedel eller hjälpa till vid medicinska procedurer. Generativ AI kan förbättra industriell automation, utveckla ny programvarukod och förbättra transportsäkerheten genom automatiserad syntes av video, ljud, bilder och mer.

Generativ AI som den finns idag är dock begränsad av den teknik som möjliggör den. Det beror på att generativ AI sker i molnet – stora datacenter med dyra, energikrävande datorprocessorer långt borta från faktiska användare. När någon skickar en prompt till ett generativt AI-verktyg som ChatGPT eller någon ny AI-baserad videokonferenslösning, överförs förfrågan via internet till molnet, där den bearbetas av servrar innan resultaten returneras över nätverket.

När företag utvecklar nya applikationer för generativ AI och distribuerar dem på olika typer av enheter – videokameror och säkerhetssystem, industriella och personliga robotar, bärbara datorer och till och med bilar – är molnet en flaskhals när det gäller bandbredd, kostnad och anslutning.

Och för applikationer som förarassistans, persondatorprogramvara, videokonferenser och säkerhet kan det vara en integritetsrisk att ständigt flytta data över ett nätverk.

Lösningen är att göra det möjligt för dessa enheter att bearbeta generativ AI på kanten. Faktum är att kantbaserad generativ AI kommer att gynna många nya applikationer.

Generativ AI på väg upp

Tänk på att i juni, Sa Mercedes-Benz det skulle introducera ChatGPT till sina bilar. I en ChatGPT-förbättrad Mercedes, till exempel, kan en förare be bilen – handsfree – om ett middagsrecept baserat på ingredienser de redan har hemma. Det vill säga om bilen är ansluten till internet. I ett parkeringsgarage eller avlägsen plats är alla spel avstängda.

Under de senaste åren har videokonferenser blivit en självklarhet för de flesta av oss. Redan nu integrerar mjukvaruföretag former av AI i videokonferenslösningar. Kanske är det för att optimera ljud- och videokvalitet i farten, eller för att "placera" människor i samma virtuella utrymme. Nu kan generativa AI-drivna videokonferenser automatiskt skapa mötesprotokoll eller dra in relevant information från företagskällor i realtid när olika ämnen diskuteras.

Men om en smart bil, videokonferenssystem eller någon annan edge-enhet inte kan nå tillbaka till molnet, kan den generativa AI-upplevelsen inte hända. Men tänk om de inte behövde det? Det låter som en skrämmande uppgift med tanke på den enorma bearbetningen av moln AI, men det börjar nu bli möjligt.

Generativ AI vid kanten

Redan finns det generativa AI-verktyg, till exempel, som automatiskt kan skapa rika, engagerande PowerPoint-presentationer. Men användaren behöver att systemet fungerar var som helst, även utan internetuppkoppling.

På samma sätt ser vi redan en ny klass av generativa AI-baserade "copilot"-assistenter som i grunden kommer att förändra hur vi interagerar med våra datorenheter genom att automatisera många rutinuppgifter, som att skapa rapporter eller visualisera data. Föreställ dig att du öppnar en bärbar dator, den bärbara datorn känner igen dig genom sin kamera och sedan automatiskt genererar ett handlingsförlopp för dagen/veckan/månaden baserat på dina mest använda verktyg, som Outlook, Teams, Slack, Trello, etc. Men för att underhålla data integritet och en bra användarupplevelse måste du ha möjlighet att köra generativ AI lokalt.

Förutom att möta utmaningarna med opålitliga anslutningar och datasekretess kan edge AI hjälpa till att minska bandbreddskraven och förbättra applikationsprestanda. Till exempel, om en generativ AI-applikation skapar datarikt innehåll, som ett virtuellt konferensutrymme, via molnet, kan processen släpa beroende på tillgänglig (och kostsam) bandbredd. Och vissa typer av generativa AI-applikationer, som säkerhet, robotteknik eller hälsovård, kräver högpresterande svar med låg latens som molnanslutningar inte kan hantera.

Inom videosäkerhet kräver möjligheten att omidentifiera människor när de rör sig bland många kameror – vissa placerade där nätverk inte kan nå – datamodeller och AI-bearbetning i själva kamerorna. I det här fallet kan generativ AI appliceras på automatiserade beskrivningar av vad kamerorna ser genom enkla frågor som "Hitta det 8-åriga barnet med den röda t-shirten och basebollkepsen."

Det är generativ AI vid kanten.

Utveckling av Edge AI

Genom antagandet av en ny klass av AI-processorer och utvecklingen av smalare, effektivare, men inte mindre kraftfulla generativa AI-datamodeller, kan edge-enheter designas för att fungera intelligent där molnuppkoppling är omöjlig eller oönskad.

Naturligtvis kommer molnbearbetning att förbli en kritisk komponent i generativ AI. Till exempel kommer tränings-AI-modeller att finnas kvar i molnet. Men handlingen att applicera användarindata på dessa modeller, kallad slutledning, kan - och bör i många fall - ske vid kanten.

Branschen utvecklar redan smalare, mindre, mer effektiva AI-modeller som kan laddas på kantenheter. Företag gillar Hailo tillverka AI-processorer specialdesignade för att utföra neurala nätverksbehandlingar. Sådana neurala nätverksprocessorer hanterar inte bara AI-modeller otroligt snabbt, utan de gör det också med mindre kraft, vilket gör dem energieffektiva och lämpar sig för en mängd olika avancerade enheter, från smartphones till kameror.

Bearbetning av generativ AI vid kanten kan också effektivt lastbalansera växande arbetsbelastningar, tillåta applikationer att skala mer stabilt, avlasta molndatacenter från kostsam bearbetning och hjälpa dem att minska sitt koldioxidavtryck.

Generativ AI är redo att ändra datoranvändning igen. I framtiden kan LLM på din bärbara dator automatiskt uppdateras på samma sätt som ditt operativsystem gör idag – och fungera på ungefär samma sätt. Men för att nå dit måste vi aktivera generativ AI-bearbetning i nätverkets kant. Resultatet lovar att bli bättre prestanda, energieffektivitet och integritet och säkerhet. Allt detta leder till AI-applikationer som förändrar världen lika mycket som generativ AI själv.