Nieuwe grenzen in generatieve AI – ver van de cloud

In het begin was er het internet, dat onze levens voor altijd veranderde: de manier waarop we communiceren, winkelen en zaken doen. En vervolgens verplaatste het internet zich om redenen van latentie, privacy en kostenefficiëntie naar de netwerkrand, waardoor het ‘internet der dingen’ ontstond.

Nu is er kunstmatige intelligentie, die alles wat we op internet doen eenvoudiger, persoonlijker en intelligenter maakt. Om het te gebruiken zijn echter grote servers en een hoge rekencapaciteit nodig, dus het is beperkt tot de cloud. Maar dezelfde motivaties – latentie, privacy, kostenefficiëntie – hebben bedrijven als Hailo ertoe aangezet technologieën te ontwikkelen die AI op het randje mogelijk maken.

Het volgende grote ding is ongetwijfeld generatieve AI. Generatieve AI biedt een enorm potentieel in alle sectoren. Het kan worden gebruikt om het werk te stroomlijnen en de efficiëntie van verschillende makers te vergroten: advocaten, inhoudschrijvers, grafisch ontwerpers, muzikanten en meer. Het kan helpen bij het ontdekken van nieuwe therapeutische medicijnen of helpen bij medische procedures. Generatieve AI kan de industriële automatisering verbeteren, nieuwe softwarecode ontwikkelen en de transportbeveiliging verbeteren door de geautomatiseerde synthese van video, audio, beelden en meer.

Generatieve AI zoals die nu bestaat, wordt echter beperkt door de technologie die deze mogelijk maakt. Dat komt omdat generatieve AI in de cloud plaatsvindt: grote datacenters met kostbare, energieverbruikende computerprocessors die ver verwijderd zijn van de daadwerkelijke gebruikers. Wanneer iemand een prompt geeft aan een generatieve AI-tool zoals ChatGPT of een nieuwe AI-gebaseerde videoconferentie-oplossing, wordt het verzoek via internet naar de cloud verzonden, waar het door servers wordt verwerkt voordat de resultaten via het netwerk worden geretourneerd.

Terwijl bedrijven nieuwe toepassingen voor generatieve AI ontwikkelen en deze op verschillende soorten apparaten inzetten – videocamera’s en beveiligingssystemen, industriële en persoonlijke robots, laptops en zelfs auto’s – vormt de cloud een knelpunt in termen van bandbreedte, kosten en connectiviteit.

En voor toepassingen als rijhulp, pc-software, videoconferenties en beveiliging kan het voortdurend verplaatsen van gegevens over een netwerk een privacyrisico vormen.

De oplossing is om deze apparaten in staat te stellen generatieve AI te verwerken rand. In feite kan edge-based generatieve AI veel opkomende toepassingen ten goede komen.

Generatieve AI in opkomst

Bedenk dat in juni Mercedes-Benz zei: het zou ChatGPT in zijn auto's introduceren. In een met ChatGPT verbeterde Mercedes kan een bestuurder de auto bijvoorbeeld handsfree om een ​​dinerrecept vragen op basis van ingrediënten die hij al in huis heeft. Dat wil zeggen, als de auto verbonden is met internet. In een parkeergarage of op een afgelegen locatie zijn alle weddenschappen uitgesloten.

De afgelopen jaren zijn videoconferenties voor de meesten van ons een tweede natuur geworden. Softwarebedrijven integreren al vormen van AI in videoconferentieoplossingen. Misschien is het om de audio- en videokwaliteit direct te optimaliseren, of om mensen in dezelfde virtuele ruimte te 'plaatsen'. Nu kunnen generatieve AI-aangedreven videoconferenties automatisch notulen van vergaderingen maken of in realtime relevante informatie uit bedrijfsbronnen ophalen terwijl verschillende onderwerpen worden besproken.

Als een slimme auto, een videoconferentiesysteem of een ander edge-apparaat echter geen verbinding kan maken met de cloud, kan de generatieve AI-ervaring niet plaatsvinden. Maar wat als dat niet nodig was? Het klinkt als een hele klus gezien de enorme verwerking van cloud-AI, maar het wordt nu mogelijk.

Generatieve AI aan de rand

Er zijn bijvoorbeeld al generatieve AI-tools die automatisch rijke, boeiende PowerPoint-presentaties kunnen maken. Maar de gebruiker heeft het systeem nodig om overal te kunnen werken, zelfs zonder internetverbinding.

Op dezelfde manier zien we al een nieuwe klasse van generatieve, op AI gebaseerde ‘copiloot’-assistenten die de manier waarop we omgaan met onze computerapparatuur fundamenteel zullen veranderen door veel routinetaken te automatiseren, zoals het maken van rapporten of het visualiseren van gegevens. Stel je voor dat je een laptop openklapt, de laptop herkent je via de camera en genereert vervolgens automatisch een actieplan voor de dag/week/maand op basis van je meest gebruikte tools, zoals Outlook, Teams, Slack, Trello, enz. Maar om gegevens bij te houden privacy en een goede gebruikerservaring, moet je de mogelijkheid hebben om generatieve AI lokaal te laten draaien.

Naast het aangaan van de uitdagingen van onbetrouwbare verbindingen en gegevensprivacy, kan edge AI helpen de bandbreedtebehoefte te verminderen en de applicatieprestaties te verbeteren. Als een generatieve AI-toepassing bijvoorbeeld datarijke inhoud creëert, zoals een virtuele conferentieruimte, via de cloud, kan het proces vertragen, afhankelijk van de beschikbare (en dure) bandbreedte. En bepaalde soorten generatieve AI-toepassingen, zoals beveiliging, robotica of gezondheidszorg, vereisen krachtige reacties met lage latentie die cloudverbindingen niet aankunnen.

Op het gebied van videobeveiliging vereist de mogelijkheid om mensen opnieuw te identificeren terwijl ze zich tussen vele camera's bewegen (sommige geplaatst op plaatsen waar netwerken niet kunnen bereiken) datamodellen en AI-verwerking in de daadwerkelijke camera's. In dit geval kan generatieve AI worden toegepast op geautomatiseerde beschrijvingen van wat de camera’s zien door middel van eenvoudige vragen als: “Vind het 8-jarige kind met het rode T-shirt en de baseballpet.”

Dat is generatieve AI aan de rand.

Ontwikkelingen in Edge-AI

Door de adoptie van een nieuwe klasse AI-processors en de ontwikkeling van slankere, efficiëntere, maar niet minder krachtige generatieve AI-datamodellen, kunnen edge-apparaten worden ontworpen om intelligent te werken daar waar cloudconnectiviteit onmogelijk of onwenselijk is.

Uiteraard blijft cloudverwerking een cruciaal onderdeel van generatieve AI. Zo blijft het trainen van AI-modellen in de cloud. Maar de handeling van het toepassen van gebruikersinvoer op die modellen, genaamd inferencing, kan – en zou in veel gevallen ook moeten gebeuren – aan de rand.

De industrie ontwikkelt al slankere, kleinere en efficiëntere AI-modellen die op edge-apparaten kunnen worden geladen. Bedrijven vinden het leuk Hailo AI-processors produceren die speciaal zijn ontworpen om neurale netwerkverwerking uit te voeren. Dergelijke neurale netwerkprocessors verwerken AI-modellen niet alleen ongelooflijk snel, maar doen dat ook met minder stroom, waardoor ze energiezuinig zijn en geschikt zijn voor een verscheidenheid aan randapparaten, van smartphones tot camera's.

Het verwerken van generatieve AI aan de edge kan ook de groeiende werklast effectief verdelen, applicaties stabieler laten schalen, clouddatacenters ontlasten van kostbare verwerking en hen helpen hun COXNUMX-voetafdruk te verkleinen.

Generatieve AI staat klaar om het computergebruik opnieuw te veranderen. In de toekomst kan de LLM op uw laptop automatisch worden bijgewerkt op dezelfde manier als uw besturingssysteem nu doet – en op vrijwel dezelfde manier functioneren. Maar om dat te bereiken moeten we generatieve AI-verwerking aan de rand van het netwerk mogelijk maken. Het resultaat belooft betere prestaties, energie-efficiëntie en privacy en veiligheid. Dit alles leidt tot AI-toepassingen die de wereld net zo veranderen als generatieve AI zelf.