Nieuwe Horizonnen in Generatieve AI — Ver van de Cloud

In het begin was er het internet, dat ons leven voor altijd veranderde — de manier waarop we communiceren, winkelen, zaken doen. En toen, om redenen van latentie, privacy en kostenefficiëntie, verhuisde het internet naar de netwerkrand, waardoor de “internet of things” ontstond.

Nu is er kunstmatige intelligentie, die alles wat we op het internet doen gemakkelijker, persoonlijker en slimmer maakt. Om het te gebruiken, zijn echter grote servers en hoge rekenkracht nodig, dus het is beperkt tot de cloud. Maar dezelfde motivaties — latentie, privacy, kostenefficiëntie — hebben bedrijven zoals Hailo ertoe gebracht technologieën te ontwikkelen die AI op de rand mogelijk maken.

Zonder twijfel is de volgende grote stap generatieve AI. Generatieve AI biedt enorm potentieel in verschillende industrieën. Het kan worden gebruikt om werk te stroomlijnen en de efficiëntie van verschillende creators — juristen, content-schrijvers, grafisch ontwerpers, muzikanten en meer — te verhogen. Het kan helpen bij het ontdekken van nieuwe therapeutische medicijnen of bij medische procedures. Generatieve AI kan industriële automatisering verbeteren, nieuwe software-code ontwikkelen en vervoersbeveiliging verbeteren door middel van geautomatiseerde synthese van video, audio, beelden en meer.

Maar generatieve AI zoals het vandaag bestaat, is beperkt door de technologie die het mogelijk maakt. Dat komt omdat generatieve AI in de cloud plaatsvindt — grote gegevenscentra met dure, energievretende computerprocessors ver van de werkelijke gebruikers. Wanneer iemand een prompt naar een generatieve AI-hulpmiddel zoals ChatGPT of een nieuwe AI-gebaseerde videoconferencing-oplossing verstuurt, wordt het verzoek via het internet naar de cloud gestuurd, waar het wordt verwerkt door servers voordat de resultaten via het netwerk worden geretourneerd.

Terwijl bedrijven nieuwe toepassingen voor generatieve AI ontwikkelen en implementeren op verschillende apparaten — videocamera’s en beveiligingssystemen, industriële en persoonlijke robots, laptops en zelfs auto’s — vormt de cloud een bottleneck in termen van bandbreedte, kosten en connectiviteit.

En voor toepassingen zoals bestuurdersassistentie, persoonlijke computersoftware, videoconferencing en beveiliging kan het constant verplaatsen van gegevens over een netwerk een privacyrisico vormen.

De oplossing is om deze apparaten in staat te stellen generatieve AI op de rand te verwerken. In feite kan generatieve AI op de rand veel opkomende toepassingen ten goede komen.

Generatieve AI in Opkomst

Overweeg dat Mercedes-Benz in juni aankondigde dat het ChatGPT in zijn auto’s zou introduceren. In een ChatGPT-geënhanceerde Mercedes kan een bestuurder bijvoorbeeld handsfree om een recept voor het avondeten vragen op basis van ingrediënten die hij al thuis heeft. Dat is, als de auto verbonden is met het internet. In een parkeergarage of afgelegen locatie is alles mogelijk.

In de afgelopen paar jaar is videoconferencing voor de meesten van ons tweede natuur geworden. Alleen al softwarebedrijven integreren vormen van AI in videoconferencing-oplossingen. Misschien is het om de audio- en videokwaliteit in real-time te optimaliseren, of om “mensen” in dezelfde virtuele ruimte te plaatsen. Nu kunnen generatieve AI-gebaseerde videoconferencingautomatisch vergadernotities maken of relevante informatie uit bedrijfsbronnen in real-time ophalen terwijl verschillende onderwerpen worden besproken.

Maar als een slimme auto, videoconferencing-systeem of elk ander apparaat op de rand geen verbinding kan maken met de cloud, kan de generatieve AI-ervaring niet plaatsvinden. Maar wat als ze dat niet nodig hadden? Het klinkt als een ontmoedigende taak, gezien de enorme verwerking van cloud-AI, maar het wordt nu mogelijk.

Generatieve AI op de Rand

Er zijn al generatieve AI-hulpmiddelen, bijvoorbeeld, die rijke, boeiende PowerPoint-presentaties kunnen maken. Maar de gebruiker heeft het systeem nodig om overal te werken, zelfs zonder internetverbinding.

Evenzo zien we een nieuwe klasse van generatieve AI-gebaseerde “copilot”-assistenten die fundamenteel zullen veranderen hoe we met onze computers omgaan door veel routine-taken te automatiseren, zoals het maken van rapporten of het visualiseren van gegevens. Stel je voor dat je een laptop opent, de laptop je herkent via de camera en vervolgens automatisch een actieplan voor de dag/week/maand genereert op basis van je meest gebruikte tools, zoals Outlook, Teams, Slack, Trello, enz. Maar om gegevensprivacy en een goede gebruikerservaring te behouden, moet je de optie hebben om generatieve AI lokaal uit te voeren.

Naast het aanpakken van de uitdagingen van onbetrouwbare verbindingen en gegevensprivacy, kan AI op de rand helpen bij het verminderen van bandbreedte-eisen en het verbeteren van de prestaties van toepassingen. Als een generatieve AI-toepassing bijvoorbeeld gegevensrijke inhoud maakt, zoals een virtuele conferentieruimte, via de cloud, kan het proces vertragen, afhankelijk van de beschikbare (en dure) bandbreedte. En bepaalde soorten generatieve AI-toepassingen, zoals beveiliging, robotica of gezondheidszorg, vereisen hoge prestaties en lage latentie die cloud-verbindingen niet kunnen bieden.

Bij video-beveiliging is de mogelijkheid om personen te heridentificeren terwijl ze tussen veel camera’s bewegen — sommige geplaatst waar netwerken niet kunnen bereiken — data-modellen en AI-verwerking in de camera’s zelf vereist. In dit geval kan generatieve AI worden toegepast op geautomatiseerde beschrijvingen van wat de camera’s zien via eenvoudige queries zoals “Vind het 8-jarige kind met het rode T-shirt en de honkbalpet.”

Dat is generatieve AI op de rand.

Ontwikkelingen in Edge AI

Door de adoptie van een nieuwe klasse AI-processors en de ontwikkeling van slankere, efficiëntere, maar niet minder krachtige generatieve AI-data-modellen, kunnen rand-apparaten zo worden ontworpen dat ze intelligent kunnen werken waar cloud-connectiviteit onmogelijk of onwenselijk is.

Natuurlijk zal cloud-verwerking een kritische component van generatieve AI blijven. Bijvoorbeeld, het trainen van AI-modellen zal in de cloud blijven. Maar het toepassen van gebruikersinvoer op die modellen, genaamd inferencing, kan — en in veel gevallen moet — op de rand gebeuren.

De industrie ontwikkelt al slankere, kleinere, efficiëntere AI-modellen die op rand-apparaten kunnen worden geladen. Bedrijven zoals Hailo produceren AI-processors die speciaal zijn ontworpen voor neurale netwerk-verwerking. Dergelijke neurale netwerk-processors verwerken niet alleen AI-modellen ongelooflijk snel, maar doen dit ook met minder vermogen, waardoor ze energie-efficiënt zijn en geschikt voor een verscheidenheid aan rand-apparaten, van smartphones tot camera’s.

Het verwerken van generatieve AI op de rand kan ook effectief helpen bij het balanceren van groeiende werklasten, toepassingen schaalbaar maken, cloud-gegevenscentra ontlasten van dure verwerking en hen helpen hun koolstofvoetafdruk te verminderen.

Generatieve AI staat op het punt om de manier waarop we computers gebruiken opnieuw te veranderen. In de toekomst kan de LLM op uw laptop automatisch worden bijgewerkt, net zoals uw besturingssysteem vandaag — en functioneert op dezelfde manier. Maar om daar te komen, moeten we generatieve AI-verwerking op de netwerkrand mogelijk maken. Het resultaat belooft betere prestaties, energoefficiëntie en privacy en beveiliging te bieden. Alles wat leidt tot AI-toepassingen die de wereld evenzeer veranderen als generatieve AI zelf.