Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital – Intervju-serie

Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital, leder initiativ som fokuserar på att förbättra AI-träningsdata och infrastruktur för nästa generations artificiella intelligenssystem. Hans arbete inkluderar att utveckla datamängder för djupgående forskningsmodeller, förstärkt inlärningsmiljöer, världsmodellsdata, suveräna AI-initiativ och ramverk för AI-riskmitigering, med stark betoning på ansvarsfulla AI-praxis som att hantera datamängdsbias och stödja rättvisa arbetsvillkor för AI-tränare. Tidigare i sin karriär grundade Nemzer VeriTest Labs, som hjälpte tidiga teknikledare, inklusive Microsoft (MSFT ), Intel (INTC ), Oracle (ORCL ) och Sun Microsystems, att bygga blomstrande tredjepartsprogramvaruekosystem innan företaget förvärvades av Lionbridge.

TELUS Digital är ett globalt tekniktjänstföretag som hjälper organisationer att designa, bygga och driva digitala plattformar och AI-drivna lösningar. Verksam i dussintals länder tillhandahåller företaget tjänster som AI-träningsdata och annotering, digital produktutveckling och kundupplevelsehantering. Deras plattformar och tjänster stödjer företag över olika branscher, inklusive teknik, finans, hälsovård, telekommunikation och spel, medan de moderniserar verksamheten och distribuerar avancerade AI-kapaciteter.

Med tanke på din bakgrund inom AI-testning, datavalidering och ansvarsfull distribution, hur ser du på övergången från språkdriven generativ AI till världsmodeller som syftar till att resonera om verkliga situationer och resultat, särskilt i din nuvarande roll på TELUS Digital?

Stora språkmodeller (LLM) är i grunden mönsterprediktionsystem. De genererar svar genom att förutsäga nästa token baserat på mönster som lärt sig från stora, statiska korpusar. Medan detta kan se ut som resonemang, modellerar modellen inte faktiskt hur handlingar förändrar världens tillstånd.

Världsmodeller tar en annan approach. Istället för att förutsäga nästa ord eller token, syftar de till att förutsäga nästa tillstånd i ett system genom att modellera tillståndstransitioner. Detta möjliggör för system att simulera hur miljöer utvecklas som svar på handlingar. I praktiken öppnar detta dörren för hypotetiskt resonemang, där en modell kan utvärdera olika möjliga resultat innan den fattar ett beslut. För interaktiva system kan detta stödja mer tillförlitlig beslutsfattning och planering.

Denna övergång förändrar också hur vi tänker på ansvarsfull distribution. Med traditionella generativa AI-system har fokus legat på frågor som bias och hallucinationer. När modellerna flyttar mot att resonera om miljöer och handlingar blir andra risker mer framträdande.

Till exempel måste organisationer överväga “sim-till-verklighet”-gapet, där beteenden som lärt sig i simulerade miljöer kanske inte översätts renligt till verkliga förhållanden. Fördelningsskift blir också en nyckelbekymmer, eftersom miljöerna modellerna möter under distribution kan skilja sig från de data de tränades på.

Detta är där testning och validering blir avgörande, vilket är ett stort fokus i min roll på TELUS Digital. När AI-system flyttar bortom språkgenerering till system som interagerar med miljöer och fattar beslut, behöver organisationer rigorösa utvärderingsramverk för att säkerställa att modellerna beter sig tillförlitligt under verkliga förhållanden.

Många människor är bekanta med stora språkmodeller, men få förstår världsmodeller. I enkla termer, vad är problemet som världsmodeller försöker lösa som LLM fundamentalt kämpar med?

En världsmodell är ett system som kan förutsäga “vad händer nästa” givet ett nuvarande tillstånd och en handling. Formeln är: Tillstånd + Handling → Nästa Tillstånd

Om jag håller i ett äpple och släpper det, förutsäger en världsmodell att äpplet faller. Det vet inte bara hur äpplen “ser ut” eller vad människor “säger om” att släppa äpplen – det förutsäger konsekvensen baserat på en förståelse av fysik. En sofistikerad världsmodell kommer att förutsäga vad som skulle hända om jag gjorde samma sak medan jag var på den internationella rymdstationen jämfört med att vara på jordens yta.

Detta skiljer sig från en LLM. En LLM förutsäger: “Givet denna sekvens av token, vilken token kommer nästa?” Det är tränat på text – vad människor skrev om världen, inte världen själv. Det kan berätta att äpplen faller eftersom det har läst om det. Men det har inte en inbyggd fysikmotor som simulerar fallet.

Om man säger det på ett annat sätt, LLM är bra på att statistiskt förutsäga nästa ord i ett svar på en fråga, men att förstå den verkliga världen går utöver språkbeskrivning och sammanhållning. Världsmodeller syftar till att förstå hur situationer utvecklas steg för steg, vad är nästa tillstånd givet det nuvarande tillståndet och den handling som kommer att hända, vilka begränsningar finns det.

Världsmodeller beskrivs ofta som att möjliggöra AI-system att simulera resultat innan de vidtar åtgärder. Vad ser det ut som i praktiken, och hur nära är vi att se detta fungera tillförlitligt utanför forskningsmiljöer?

En utmaning i att svara på denna fråga är att termen “världsmodell” används ganska löst, och betydelsen tenderar att ändras beroende på sammanhanget. En enkel definition av världsmodeller är att de tillåter en agent att simulera sin nuvarande miljö och förutsäga framtida tillstånd, och resonera om nedströmskonsekvenser. Forskare tenderar att kategorisera världsmodeller mer granulärt, baserat på deras representation och bearbetningsmetoder. Det finns latenta världsmodeller, som destillerar “essensen” av en miljö till ett kompaktt fokuserat utrymme. Det finns generativa världsmodeller som “förstår” fysik för att skapa ram-för-ram-visuella representationer, och det finns Joint-Embedding Predictive Architecture (JEPA)-modeller som förutsäger resultat från tidigare handlingar.

Latenta världsmodeller är redan ute ur forskningslaboratoriet och assisterar i applikationer som autonom körning, lagerdrift, industriell drift och jordbruk. Generativa världsmodeller dyker upp i syntetisk data-skapande för spel-motorsutveckling, för självkörande användningsfall, inkarnerad AI-användningsfall för videosimulering av mänskliga rörelser och för att skapa arkitektoniska renderingar,

JEPA-approachen, som föredras av bransch-luminaries som Yan LeCun, förutsäger resultat i ett abstrakt representation-utrymme snarare än att generera pixlar. Robotar har i huvudsak varit begränsade till kontrollerade miljöer, men JEPA är på väg att ändra på det, och tillåter robotar att flytta mot öppna, verkliga miljöer. Autonoma fordon är ett bra exempel – vissa använder Genie 3 för att generera hyperrealistiska, interaktiva simuleringar för utbildning och för att bättre hantera sällsynta händelser som byggnadszoner.

Det är uppenbart att det finns mycket mer säkerhets- och tillförlitlighetstestning som krävs för att skala upp och flytta dessa modeller ut ur sandlådemiljöer och in i den verkliga världen.

Från ett företagsperspektiv, var förväntar du dig att världsmodeller ska leverera meningsfullt värde först, antingen i robotik, autonoma besluts-system, digitala tvillingar eller mer abstrakta affärsmiljöer?

Min magkänsla är att digitala tvillingar sannolikt kommer att leverera praktiskt värde först. Att replikera tillståndet i ett verkligt system så att vi kan testa scenarier innan vi agerar. Till exempel i ett leverantörssystem kan en tillverkare bygga en tvilling av sin komponentpartner-nätverk. Simuleringen kan matas med sensor-data, loggar, telemetri-data och kan svara på frågor som “Vad skulle hända om Hormuzsundet stängdes?” Så vi kan testa omledning av leveranser innan vi faktiskt ändrar den faktiska logistiken. Detta hjälper oss att flytta från att övervaka ett live-system till att simulera ett live-system.

Meningsfullt värde från världsmodeller för robotik är på väg i samma takt. Att ha robotar som förstår grundläggande fysiska egenskaper, som friktion på en yta när de plockar upp ett föremål, kommer att kicka igång distributionen av inkarnerad AI.

Mycket av din karriär har fokuserat på datamängdssamling, annotering och validering. Hur förändras datautmaningarna när man flyttar från statisk textträning till att lära system hur världen beter sig över tid?

Datainsamlings-situationen för världsmodell-aktivering kräver en stor vändning från gårdagens LLM-träningsmetoder. Först och främst har vi inte en enorm korpus av förträningsdata tillgänglig, petabyte från Common Crawl och miljarder webbsidor. Vissa robotikforskare har spekulerat att vi bara har 1/1000:e den mängd data som behövs för att träna fysisk intelligens och världsmodeller, för att komma till en motsvarande prestandapunkt som till exempel GPT2.

Så det kommer att ta lite tid att bygga upp dessa datamängder. I fallet med inkarnerad AI kommer vi att behöva miljontals timmar av annoterade egocentriska multisensor-datamängder. Vissa är teleopererade, vissa från syntetiska miljöer som Isaac Sim. På TELUS Digital har vi gjort vändningen från text till multimodal till multisensor-datamängder och simuleringsdatamängder. Vi har naturligtvis hjälp av vår starka bakgrund inom datamängdssamling och annotering inom datorseende. Vi har varit i framkanten där under många år.

Förutom bristen på förträningsdata och annoterad finjusteringsdata, kommer det att finnas många andra träningsutmaningar i att skala upp förstärkt inlärning. Det kan finnas nya transformerande (utan att försköna) paradigmer som GPT och RL-koncept som krävs för att accelerera effektivitetsgenombrott i världsmodell-träningsmetoder.

Världsmodeller påverkar beslut snarare än att bara generera utdata. Vilka nya säkerhets- eller styrningsrisker introducerar det jämfört med generativa AI-system?

Det finns många säkerhets- och styrningsrisker, eftersom världsmodeller är avsedda att stödja agensoperationer. Så alla bekymmer vi har om dagens generation av AI-agenter gäller fortfarande i världsmodell-scenariot. Vi behöver mänsklig tillsyn för all viktig beslutsfattning, oavsett om det är relaterat till transport-säkerhet, yrkes-säkerhet, hälsovård, finanser och dagliga aktiviteter.

Ett exempel som är specifikt för världsmodeller är gapet mellan sim-träningsdata och verkliga miljöer. En mikroskopisk ytväxling kan göra den verkliga världen rörig för robotar som är vältränade i simulering.

En annan risk är relaterad till mänskligt beteende. När system blir mer och mer autonoma, kommer människor att börja lita på dem tungt, och tillsyn kan bli slapp, och så småningom kommer systemet inte att få nödvändiga omkalibreringar.

Bias och förtroende kvarstår som stora hinder för AI-antagande. Hur utvecklas dessa bekymmer när AI-system börjar modellera och agera i komplexa verkliga eller sociala miljöer?

Från allmänheten till C-sviten är förtroendet och tilliten till AI-modeller redan ganska låg, och jag ser inte att det kommer att förändras så mycket på kort sikt.

Bekymmer om att AI-kraften koncentreras i för få händer, om AI tar bort jobb, bias i AI som sätter underrepresenterade grupper i en nackdel, modeller som fattar beslut som påverkar en persons hälsa, karriär och ekonomi, modeller som använder IP utan samtycke, samt bekymmer om AI-deepfakes, är redan ganska hög. Chefer oroar sig för att hantera arbetskraftsövergångar, data-säkerhet och regelefterlevnad, och förlorar mark till konkurrenter i en AI-“vapenkapplöpning”.

Senaste utvecklingen i nyheterna om regeringstryck på AI-grundläggande modellbyggare att slappna av villkoren för användning av saker som autonoma vapen eller massövervakning förstärker bara dessa bekymmer. En bredare distribution av smartare och mer autonoma världsmodell-baserade robotar kommer att göra detsamma.

Å andra sidan ser vi pocket av omfattande AI-antagande och förtroende. Ett exempel är sättet som kodningsagenter har tagit av på senaste månader. Programvaruutvecklingschefer har högt förtroende för kodningsagenter, och det finns en grundläggande förändring i sättet som programvaruutveckling görs, från PRD-utveckling hela vägen till post-release-regressions-testning. Programvaruutvecklingsvärlden utvecklas i rasande takt, och mycket av det beror på förtroendet för högpresterande kodningsagenter. När användar-förtroendet växer i andra användningsfall, förväntar jag mig att antagandet kommer att ta av i liknande sätt.

Lösningar för att bygga förtroende inkluderar diversa datamängder och miljöer under träningsfasen, och omfattande “red teaming” och stress-testning som en säkerhetsrel. Proaktiv regleringsövervakning är också ett måste. Vissa har föreslagit att grundläggande modellbyggare bör krävas att tillhandahålla “Societal Impact Reports”, liknande miljöpåverkansbedömningar (EIR), innan nya modeller släpps.

På TELUS Digital, handlar mycket av arbetet om att distribuera AI i stor skala för riktiga företag och riktiga användare. Hur sammanfaller idéer som världsmodeller med praktiska bekymmer som transparens, arbetskraftspåverkan och underhåll av kundförtroende?

För att förtydliga, TELUS Digital arbetar både direkt med grundläggande modellbyggare och med företag som distribuerar AI-modeller. Vår spelplan är slut-till-slut:

Frågan om praktiska bekymmer är relaterad till den tidigare frågan om förtroende. Låt oss titta på arbetskraftsförtroende. När världsmodell-aktiverade AI-system blir mer allmänt förekommande, behöver chefer vara transparenta med sina anställda, entreprenörer och kunder. Klara kommunikationer krävs om vad modellerna är bra på, hur de har tränats, vilka data som användes för att träna dem, vilka säkerhetsåtgärder som har införts och var mänsklig tillsyn kommer in. Företagsledare behöver visa den nuvarande arbetskraften värdet av de nya modellerna, till exempel genom att göra allt tråkigt arbete i en uppgift. Och de behöver visa övergångsvägar för påverkade arbetare som kan flytta till nya framväxande jobb när tidigare jobb blir alltmer gjorda av världsmodell-AI. Vit-kollare-arbetare hanterar detta i realtid, och många manuella jobb kommer att påverkas under de kommande åren när världsmodell-aktiverad automation expanderar.

Det finns en växande klyfta mellan vad AI-forskare förstår och vad allmänheten uppfattar. Hur kan organisationer kommunicera framsteg som världsmodeller på ett sätt som bygger förtroende utan att överskatta deras förmågor?

Igen, detta handlar om transparens om modellernas begränsningar och om vad modellerna är bra på. Kommunikation om hur modellerna har tränats för att mildra potentiell bias. Vilken mänsklig tillsyn som är på plats. Några verkliga demonstrationer av modellernas förmågor och användningsfall, kombinerat med longitudinella studier, kan gå långt för att öka allmänhetens och arbetskraftens förtroende.

Slutligen, vad är en vanlig missuppfattning om AI-världsmodeller, antingen för optimistisk eller för försiktig, som du tror behöver rättas till just nu?

Så långt allmänheten är informerad om världsmodeller, är en missuppfattning att världsmodeller behöver förstå all fysik och vetenskap för att vara effektiva. Världsmodeller kommer att rulla ut tidigare än man kanske förväntar sig, eftersom de enskilda användningsfallen kan begränsas. En autonom fordon behöver bara förstå trafikdynamik och vägrelaterad fysik, och hur nuvarande tillstånd (t.ex. att vara nära en grundskola, eller en förekomst av närliggande SUV:er med höga silhuetter) kommer att påverka deras syn och beslutsfattande. En autonom fordon behöver inte fysiken som ligger till grund för att baka en sufflé för att fungera.

Tack för det underbara intervjun, läsare som vill lära sig mer bör besöka TELUS Digital.