Steve Nemzer, Sr. Directeur, AI Growth & Innovatie, TELUS Digital – Interviewreeks

Steve Nemzer, Sr. Directeur, AI Growth & Innovatie, TELUS Digital, leidt initiatieven gericht op het verbeteren van AI-trainingsdata en -infrastructuur voor next-generation kunstmatige intelligentiesystemen. Zijn werk omvat het ontwikkelen van datasets voor diepe onderzoeksmodellen, versterkingsleeromgevingen, wereldmodelgegevens, soevereine AI-initiatieven en AI-risicobeheerskaders, met een sterke nadruk op verantwoorde AI-praktijken zoals het aanpakken van datasetvooroordeel en het ondersteunen van eerlijke werkomstandigheden voor AI-trainers. Eerder in zijn carrière richtte Nemzer VeriTest Labs op, waarmee hij vroege technologieleiders zoals Microsoft (MSFT ), Intel (INTC ), Oracle (ORCL ) en Sun Microsystems hielp om bloeiende derdepartijsoftware-ecosystemen op te bouwen voordat het bedrijf werd overgenomen door Lionbridge.

TELUS Digital is een wereldwijd technologiebedrijf dat organisaties helpt bij het ontwerpen, bouwen en exploiteren van digitale platforms en AI-gestuurde oplossingen. Het bedrijf biedt diensten aan zoals AI-trainingsdata en -annotatie, digitale productontwikkeling en klantbeheer. De platforms en diensten van het bedrijf ondersteunen ondernemingen in verschillende branches, waaronder technologie, financiën, gezondheidszorg, telecommunicatie en gaming, bij het moderniseren van hun operaties en het implementeren van geavanceerde AI-mogelijkheden.

Gezien uw achtergrond in AI-testen, gegevensvalidatie en verantwoorde implementatie, hoe kijkt u aan tegen de verschuiving van taalgedreven generatieve AI naar wereldmodellen die proberen real-worldsituaties en -resultaten te begrijpen, vooral in uw huidige rol bij TELUS Digital?

Grote taalmodellen (LLM’s) zijn fundamenteel patroonvoorspellingsystemen. Ze genereren antwoorden door de volgende token te voorspellen op basis van patronen die zijn geleerd uit grote, statische corpora. Hoewel dit op redeneren kan lijken, modelleert het model niet daadwerkelijk hoe acties de staat van de wereld veranderen.

Wereldmodellen nemen een andere aanpak. In plaats van de volgende woord of token te voorspellen, proberen ze de volgende staat van een systeem te voorspellen door staatsovergangen te modelleren. Dit stelt systemen in staat om te simuleren hoe omgevingen evolueren als reactie op acties. In de praktijk opent dit de deur naar hypothetische redenering, waarbij een model verschillende mogelijke resultaten kan evalueren voordat het een beslissing neemt. Voor interactieve systemen kan dit leiden tot betrouwbaardere besluitvorming en planning.

Deze verschuiving verandert ook hoe we denken over verantwoorde implementatie. Met traditionele generatieve AI-systemen is de focus vooral gericht op kwesties zoals vooroordeel en hallucinaties. Als modellen zich richten op het begrijpen van omgevingen en acties, worden andere risico’s meer prominent.

Organisaties moeten bijvoorbeeld rekening houden met de “sim-to-real”-kloof, waarbij gedragingen die zijn geleerd in gesimuleerde omgevingen mogelijk niet schoon overdraagbaar zijn naar real-worldomstandigheden. De verdeling van gegevens wordt ook een belangrijke zorg, aangezien de omgevingen waarin modellen worden geïmplementeerd, kunnen afwijken van de gegevens waarop ze zijn getraind.

Dit is waar testen en validatie kritiek worden, wat een grote focus is in mijn rol bij TELUS Digital. Als AI-systemen verder gaan dan taalgeneratie en interactie met omgevingen en beslissingen nemen, hebben organisaties strikte evaluatiekaders nodig om ervoor te zorgen dat modellen betrouwbaar functioneren onder real-worldomstandigheden.

Veel mensen zijn bekend met grote taalmodellen, maar weinig mensen begrijpen wereldmodellen. In eenvoudige termen, welk probleem proberen wereldmodellen op te lossen dat LLM’s fundamenteel worstelt?

Een wereldmodel is een systeem dat “wat er daarna gebeurt” kan voorspellen, gegeven een huidige staat en een actie. De formule is: Staat + Actie → Volgende Staat

Als ik een appel vasthoud en loslaat, voorspelt een wereldmodel dat de appel valt. Het weet niet alleen hoe appels eruitzien of wat mensen over appels zeggen, maar voorspelt de consequentie op basis van een begrip van fysica. Een geavanceerd wereldmodel voorspelt wat er zou gebeuren als ik hetzelfde deed terwijl ik op het Internationaal Ruimtestation ben in plaats van op het aardoppervlak.

Dit verschilt van een LLM. Een LLM voorspelt: “Gegeven deze reeks tokens, welk token komt er daarna?” Het is getraind op tekst – wat mensen over de wereld hebben geschreven, niet de wereld zelf. Het kan je vertellen dat appels vallen omdat het daarover heeft gelezen. Maar het heeft geen interne fysica-engine die de val simuleert.

Anders gezegd, LLM’s zijn goed in het statistisch voorspellen van het volgende woord in een antwoord op een vraag, maar het begrijpen van de echte wereld gaat verder dan taalbeschrijving en -cohesie. Wereldmodellen proberen te begrijpen hoe situaties stap voor stap evolueren, wat de volgende staat is gegeven de huidige staat en de actie die gaat gebeuren, wat de beperkingen zijn.

Wereldmodellen worden vaak beschreven als in staat om AI-systemen in staat te stellen resultaten te simuleren voordat ze actie ondernemen. Hoe ziet dit er in de praktijk uit, en hoe dicht zijn we bij het zien van deze functionaliteit buiten onderzoeksomgevingen?

Een uitdaging bij het beantwoorden van deze vraag is dat de term “wereldmodel” vrij los wordt gebruikt en de betekenis afhankelijk is van de context. Een eenvoudige definitie van wereldmodellen is dat ze een agent in staat stellen om zijn huidige staat en omgeving te simuleren en toekomstige staten te voorspellen, en om over downstream-consequenties te redeneren. Onderzoekers categoriseren wereldmodellen vaak op basis van hun representatie- en verwerkingsmethoden. Er zijn latenteworldmodellen, die de “essentie” van een omgeving distilleren in een compacte, gefocuste ruimte. Er zijn generatieve wereldmodellen die “fysica begrijpen” om frame-by-frame visuele representaties te creëren, en er zijn Joint-Embedding Predictive Architecture (JEPA)-modellen die resultaten voorspellen op basis van eerdere acties.

Latente wereldmodellen zijn al uit het onderzoekslab en ondersteunen toepassingen zoals autonome rijden, magazijnoperaties, industriële operaties en landbouw. Generatieve wereldmodellen verschijnen in synthetische gegevenscreatie voor game-engine-ontwikkeling, voor zelfrijdende use-cases, ingebedde AI-use-cases voor video-simulatie van menselijke bewegingen en om architectonische renderingen te creëren,

De JEPA-benadering, die wordt gefavoreerd door industrie-icoon Yan LeCun, voorspelt resultaten in een abstracte representatieruimte in plaats van pixels te genereren. Robots zijn grotendeels beperkt tot gecontroleerde omgevingen, maar JEPA verandert dit, waardoor robots kunnen verschuiven naar open-eindige, real-worldinstellingen. Autonome voertuigen zijn een goed voorbeeld – sommige gebruiken Genie 3 om hyperrealistische, interactieve simulaties te genereren voor training en om beter om te gaan met zeldzame gebeurtenissen zoals bouwzones.

Er is natuurlijk nog veel meer veiligheids- en betrouwbaarheidstesten nodig om deze modellen op te schalen en ze uit zandbakomgevingen te halen en in de echte wereld te brengen.

Vanuit een ondernemingsperspectief, waar verwacht u dat wereldmodellen eerst waardevolle resultaten zullen opleveren, ofwel in robotica, autonome beslissingsystemen, digitale tweelingen of meer abstracte bedrijfsomgevingen?

Mijn gevoel is dat digitale tweelingen waarschijnlijk eerst praktische waarde zullen opleveren. Het repliceren van de staat van een real-worldsysteem zodat we scenario’s kunnen testen voordat we actie ondernemen. Bijvoorbeeld, in een supply-chain-systeem kan een fabrikant een tweeling van zijn componentenpartner-netwerk bouwen. De simulatie kan worden gevoed met sensordata, logboeken, telemetriegegevens en kan vragen beantwoorden zoals “Wat zou er gebeuren als de Straat van Hormuz werd gesloten?” Zodat we kunnen testen of we onze zendingen moeten omleiden voordat we de logistiek daadwerkelijk veranderen. Dit helpt ons om van het monitoren van een live-systeem naar het simuleren van een live-systeem te gaan.

De waardevolle resultaten van wereldmodellen voor robotica bewegen parallel. Het hebben van robots die fundamentele eigenschappen van fysica begrijpen, zoals wrijving op een oppervlak bij het oppakken van een object, zal de implementatie van geïncorporeerde AI in een hogere versnelling brengen.

Veel van uw carrière is gericht op datasetcollectie, annotatie en validatie. Hoe veranderen de gegevensuitdagingen wanneer u overschakelt van statische teksttraining naar het leren van systemen hoe de wereld zich over tijd gedraagt?

De gegevensverzamelingssituatie voor wereldmodelondersteuning vereist een grote verschuiving van de trainingsmethoden van gisteren. Ten eerste hebben we geen gigantische corpora van pre-trainingsgegevens beschikbaar, petabytes van Common Crawl en miljarden webpagina’s. Sommige robotica-onderzoekers hebben gespeculeerd dat we slechts 1/1000e deel van de benodigde gegevens hebben om fysieke intelligentie en wereldmodellen te trainen om een equivalent prestatieniveau te bereiken van, zeg, GPT2.

Dus het zal even duren voordat we die datasets hebben gebouwd. In het geval van geïncorporeerde AI hebben we miljoenen uren van geannoteerde egocentrische multisensorgegevens nodig. Sommige zijn via teleoperatie, sommige uit synthetische omgevingen zoals Isaac Sim. Bij TELUS Digital hebben we de overstap gemaakt van tekst naar multimodale en multisensorgegevens en simuleringsgegevens. We worden natuurlijk geholpen door onze sterke achtergrond in computerzicht.

Behalve de schaarste aan pre-trainingsgegevens en geannoteerde fine-tuningsgegevens, zullen er veel andere trainingsuitdagingen zijn bij het opschalen van versterkingsleer. Er kunnen nieuwe transformatieve (geen grap bedoeld) paradigma’s zoals GPT en RL-concepten nodig zijn om doorbraken in efficiëntie te versnellen in wereldmodeltrainingsmethoden.

Wereldmodellen beïnvloeden beslissingen in plaats van alleen maar output te genereren. Wat zijn de nieuwe veiligheids- of bestuursrisico’s die dit introduceert in vergelijking met generatieve AI-systemen?

Er zijn veel veiligheids- en bestuursrisico’s, aangezien wereldmodellen inherent bedoeld zijn om agentoperaties te ondersteunen. Alle zorgen die we hebben over de huidige generatie AI-agents zijn nog steeds van toepassing in het wereldmodelscenario. We hebben menselijke toezicht nodig voor alle belangrijke beslissingen, of het nu gaat om transportsveiligheid, beroepsveiligheid, gezondheidszorg, financiën en dagelijkse activiteiten.

Een voorbeeld specifiek voor wereldmodellen is de kloof tussen sim-trainingsgegevens en real-worldomgevingen. Een microscopische oppervlaktevariatie kan de real-world een rommeltje maken voor robots die goed getraind zijn in simulatie.

Een ander risico is gerelateerd aan menselijk gedrag. Naarmate systemen meer en meer autonoom worden, zullen mensen er zwaar op vertrouwen en kan toezicht lax worden, en uiteindelijk zal het systeem geen noodzakelijke herkalibraties krijgen.

Vooroordeel en vertrouwen blijven grote barrières voor AI-adoptie. Hoe evolueren deze zorgen wanneer AI-systemen beginnen te modelleren en te handelen in complexe real-world- of sociale omgevingen?

Van het algemene publiek tot de C-suite, is het vertrouwen in AI-modellen al vrij laag en ik zie het niet snel veranderen.

Zorgen over de macht van AI die geconcentreerd is in te weinig handen, over AI die banen afneemt, vooroordeel in AI dat ondervertegenwoordigde groepen benadeelt, modellen die beslissingen nemen die iemands gezondheid, carrière en financiën beïnvloeden, modellen die IP gebruiken zonder toestemming, evenals zorgen over AI-deepfakes, zijn al hoog. Bestuurders maken zich zorgen over het omgaan met werkgelegenheidstransities, gegevensbescherming en regelgevende compliance, en het verliezen van terrein aan concurrenten in een AI-“wapenwedloop”.

Recente ontwikkelingen in het nieuws over overheidsdruk op AI-grondleggende modelbouwers om de voorwaarden voor gebruik te versoepelen met betrekking tot dingen zoals autonome wapens of massasurveillance versterken deze zorgen alleen maar.

Aan de andere kant zien we pockets van wijdverbreide AI-adoptie en vertrouwen. Een voorbeeld is de manier waarop coding-agents de afgelopen paar maanden zijn opgekomen. Softwareontwikkelingsmanagers hebben een hoog vertrouwen in coding-agents, en er is een fundamentele verandering in de manier waarop softwareontwikkeling wordt gedaan, van PR-ontwikkeling tot en met post-release-regressietests. De softwareontwikkelingswereld evolueert met lichtsnelheid, en veel daarvan is te danken aan vertrouwen in high-performing coding-agents. Naarmate het vertrouwen van gebruikers in andere use-cases groeit, verwacht ik dat de adoptie op een soortgelijke manier zal toenemen.

Oplossingen voor het opbouwen van vertrouwen zijn onder andere diverse datasets en omgevingen in de trainingsfase, en uitgebreide rood team testing en stress-testing als veiligheidsbarrière voordat ze worden geïmplementeerd. Proactief regelgevend toezicht is ook een must. Sommigen hebben gesuggereerd dat grondleggende modelbouwers “Societal Impact Reports” moeten verstrekken, vergelijkbaar met Environmental Impact Reports (EIR’s), voordat nieuwe modellen worden vrijgegeven.

Bij TELUS Digital gaat veel van het werk over het implementeren van AI op grote schaal voor echte ondernemingen en echte gebruikers. Hoe komen ideeën zoals wereldmodellen samen met praktische zorgen zoals transparantie, werkgelegenheidseffecten en het behouden van klantvertrouwen?

Om dit te verduidelijken, werkt TELUS Digital zowel rechtstreeks met grondleggende modelbouwers als met ondernemingen die AI-modellen implementeren. Ons speelveld is end-to-end:

De vraag over praktische zorgen is gerelateerd aan de vorige vraag over vertrouwen. Laten we eens kijken naar werkgelegenheidstrust. Naarmate wereldmodel-geactiveerde AI’s meer gangbaar worden, moeten executives transparant zijn met hun werknemers, contractanten en klanten. Duidelijke communicatie is vereist over wat de modellen goed in zijn, hoe ze zijn getraind, welke gegevens zijn gebruikt om ze te trainen, welke veiligheidsbarrières zijn ingesteld en waar menselijk toezicht binnenkomt. Ondernemingsleiders moeten het huidige personeel de waarde van de nieuwe modellen laten zien, bijvoorbeeld door alle saaie werkzaamheden te doen. En ze moeten overgangspaden laten zien voor getroffen werknemers die mogelijk naar nieuwe opkomende banen gaan als eerder werk meer en meer door wereldmodel-geactiveerde AI’s wordt gedaan. Witteboordenmedewerkers hebben hier in real-time mee te maken, en veel handmatige banen zullen in de komende jaren worden beïnvloed naarmate de wereldmodel-geactiveerde automatisering zich uitbreidt.

Er is een groeiende kloof tussen wat AI-onderzoekers begrijpen en wat het publiek waarneemt. Hoe kunnen organisaties vooruitgang zoals wereldmodellen op een manier communiceren die vertrouwen opbouwt zonder hun capaciteiten te overschatten?

Weer terug naar transparantie over de beperkingen van de modellen en over wat de modellen goed in zijn. Communiceren hoe de modellen zijn getraind om potentieel vooroordeel te mitigeren. Wat is het menselijk toezicht dat is ingesteld. Een paar real-world-demonstraties van de capaciteiten en use-cases van het model, gekoppeld aan longitudinale studies, kunnen een lange weg gaan in het vergroten van het algemene publieke en werkgelegenheidstrust.

Tenslotte, wat is één veelvoorkomende misvatting over AI-wereldmodellen, ofwel te optimistisch of te voorzichtig, die u denkt dat moet worden rechtgezet op dit moment?

Voor zover het algemene publiek op de hoogte is van wereldmodellen, is één misvatting dat wereldmodellen alle fysica en wetenschap moeten begrijpen om effectief te zijn. Wereldmodellen zullen eerder worden geïmplementeerd dan men zou verwachten omdat de individuele use-cases kunnen worden versmald. Een autonoom voertuig hoeft alleen de verkeersdynamica en weggebonden fysica te begrijpen, en hoe de huidige staat (bijv. in de buurt van een basisschool of een prevalentie van nabije SUV’s met hoge silhouetten) hun zicht en beslissingen zal beïnvloeden. Een autonoom voertuig heeft geen fysica nodig die ten grondslag liggen aan het bakken van een soufflé om te functioneren.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten bezoeken TELUS Digital.