Shift naar AI-inferencing brengt real-time intelligentie naar de edge

De AI-industrie – en het resulterende gesprek – verschuift de focus van de inspanningen om AI-modellen te trainen. Dat verhaal, dat centraal in de cloud of datacenters (of beide) plaatsvond, is “oud nieuws”. Nu, met een veelheid aan use cases in de meeste industrieën, worden deze modellen geïmplementeerd en uitgevoerd in gedistribueerde, gedecentraliseerde omgevingen. De industrie maakt de overgang van de trainingsfase naar de inferentiefase, en dit verhaal speelt zich af aan de edge met real-time intelligentie die nodig is voor alles, van slimme camera’s tot apparaten die zijn ingebed in industriële machines. De focus verschuift van gecentraliseerde AI-training naar Edge AI, of hybride implementaties.

In een tijdperk waarin snelheid, precisie en gegevensbescherming belangrijker zijn dan ooit, Edge AI herdefinieert operationele processen op de meest kritieke contactpunten van bedrijven. In tegenstelling tot traditionele AI-modellen die afhankelijk zijn van cloud-infrastructuur, brengt Edge AI besluitvorming dichter bij de plaats van gegevensgeneratie.

De waarde van Edge AI

Het minimaliseren van de afstand tussen gegevensgeneratie en besluitvorming minimaliseert latentie door de vertraging van netwerktransmissie te elimineren, waardoor predictieve inzichten en geautomatiseerde beslissingen sneller worden geleverd. Deze real-time verwerking levert efficiencywinsten op voor organisaties, waardoor alles van klantervaringen tot productkwaliteit, of zelfs de ondersteuning van werknemersveiligheid, verbetert. Ongeacht het gebruiksscenario, verbetert de kortere afstand ook de beveiliging en betrouwbaarheid door de tijd die gevoelige gegevens in beweging zijn te verminderen en de vereiste bandbreedte te verlagen.

Onmiddellijkheid en relevantie zijn van het grootste belang, ongeacht de industrie.

Bijvoorbeeld, in de fabricage kan Edge AI kwaliteitsborgingssystemen aandrijven die productdefecten onmiddellijk markeren. In de gezondheidszorg kan het patiëntmonitoringssystemen ondersteunen die waarschuwingen activeren zodra afwijkingen worden gedetecteerd. Detailhandelaren zullen Edge AI gebruiken om in-store klantervaringen te personaliseren en voorraad dynamisch te beheren. In al deze scenario’s is de vereiste intelligentie aan de edge een belangrijke differentiator. Edge AI is kritiek wanneer milliseconden ertoe doen.

Context maakt uit van het datacenter tot de edge

Terwijl GPUs vaak worden gezien als synoniem met AI, omvat Edge AI meer nuances, omdat de behoeften en aard van workloads voor inferentie fundamenteel anders zijn dan die voor modeltraining. Veel inferentieworkloads – met name visuele toepassingen – kunnen efficiënt worden afgehandeld door CPUs, die kracht- en kostenefficiënter zijn. Zelfs als een edge-implementatie hogere prestaties vereist, is er een nieuwe klasse van low-power GPUs ontstaan, die maatwerkoplossingen voor de edge biedt.

Uiteindelijk is het kiezen van de juiste configuratie een oefening in het balanceren van de specifieke workload, gewenste doorvoer en omgevingsbeperkingen. Edge AI-implementaties vereisen hardware die prestaties in evenwicht brengt met praktische bedrijfszekerheid in het veld.

Succes aan de edge vereist een fundamenteel andere aanpak die rekening houdt met ruimte-, stroom- en koelbeperkingen, terwijl prestaties worden behouden. Hardware en software moeten specifiek worden ontworpen voor edge-eisen, die vaak de mogelijkheid omvatten om betrouwbaar te functioneren in extreme omgevingen zonder compute-capaciteit te compromitteren. Het alternatief is downtime, wat verwoestende downstream-effecten kan hebben.

Het pad naar succes

Het pad naar Edge AI-succes begint met het identificeren van één, hoge-impactuse-case en het richten van een initiële implementatie daarop. Deze focus houdt de reikwijdte beheersbaar voor een organisatie, terwijl het een positieve impuls geeft aan de implementatie, waardoor de organisatie de potentie van deze technologie kan begrijpen, terwijl operationele processen en ondersteuningskaders worden verfijnd.

Echter, dit is gemakkelijker gezegd dan gedaan!

De meeste organisaties die AI-implementaties willen benutten, zijn niet diep verankerd in de onderliggende technologieën. Deze kennislacune laat hen zoeken naar richtlijnen en verbeterde capaciteiten van externe partners. Vooral omdat implementaties zich verspreiden en de industrie overgaat van training in het centrum naar inferentie aan de edge, worden de software- en dienstvereisten die samenhangen met de hardware ook belangrijker. Bovendien zal de complexiteit alleen maar toenemen in de toekomst. Vooral aan de edge, waar downtime enorme – en dure – downstream-gevolgen kan hebben, is het werken met de expertise en diensten die nodig zijn om consistente prestaties te garanderen, onmisbaar.

Een veelvoorkomende valkuil waar organisaties mee te maken krijgen, is te smal gefocust zijn op proof-of-concept-projecten zonder een duidelijk pad naar schaalbaarheid. Organisaties moeten ook rekening houden met operationele complexiteit – vanaf remote beheerbaarheid en fouttolerantie tot levenscyclusondersteuning. Meer redenen om samen te werken met een ervaren partner zijn kritiek. In tegenstelling tot datacenters, waar systemen nauwlettend in de gaten worden gehouden en regelmatig worden vernieuwd, moet edge-infrastructuur worden ontworpen voor langdurigheid, met een typisch doel van vijf tot zeven jaar.

Bovendien zijn organisaties steeds meer geïnteresseerd in het consolideren van edge-computerebronnen om de voetafdruk en de kosten te verlagen. Dit combineert traditionele workloads met AI-toepassingen op geünificeerde, virtualized platforms, waardoor de noodzaak voor afzonderlijke infrastructuur wordt geëlimineerd, maar de noodzaak voor real-time intelligentie toeneemt.

Edge AI in de toekomst

Edge AI evolueert snel, van regelgebaseerde systemen naar meer adaptieve, contextueel bewuste intelligentie. Met de vooruitgang in generatieve AI en foundation-modellen, beginnen edge-systemen steeds meer te ondersteunen van continue leerlopen, die autonoom worden aangepast op basis van gegevensinvoer zonder afhankelijk te zijn van de cloud.

Kubernetes-gebaseerde implementaties en gecontaineriseerde modellen stellen de consistentie vast die nodig is om Edge AI-implementaties efficiënt te houden. Containerisatie maakt het gemakkelijker om snelle updates van de cloud naar de edge te pushen, en Kubernetes orkestreert containers op schaal, waardoor implementaties, updates en gezondheidscontroles automatisch worden beheerd. Deze toegenomen efficiëntie en betrouwbaarheid van updates die worden gepusht over edge-knooppunten, verbetert ook de modelnauwkeurigheid en levert grotere veerkracht en uptime – essentieel voor het behoud van de waarde van elke Edge AI-implementatie. Tegelijkertijd kunnen edge-apparaten nieuwe gegevens verzamelen die helpen bij het trainen van betere modellen in een gesloten AI-systeem.

Edge AI is veel meer dan alleen een buzzword. Het is de tastbare evolutie in de manier waarop industrieën intelligentie zullen benutten op het punt van interactie in de toekomst – en het komt snel. Met een Edge AI-plan in combinatie met de juiste infrastructuur en systeemcapaciteiten, kunnen organisaties krachtige nieuwe efficiënties in AI ontgrendelen – responsiviteit winnen terwijl dure downtime wordt vermeden.