Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital – Intervju-serie

Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital, leder initiativer som fokuserer på å fremme AI-treningdata og -infrastruktur for neste generasjons kunstig intelligenssystemer. Hans arbeid inkluderer å utvikle datasett for dypt forskningsmodeller, forsterkingslæringmiljøer, verden-modelldata, suverene AI-initiativer og AI-risikomildningsrammer, med en sterk vekt på ansvarlig AI-praksis som å håndtere datasettbias og støtte rettferdige arbeidsforhold for AI-trenerne. Tidligere i sin karriere grunnla Nemzer VeriTest Labs, som hjalp tidlige teknologiledere, inkludert Microsoft (MSFT ), Intel (INTC ), Oracle (ORCL ) og Sun Microsystems, å bygge blomstrende tredjepartsprogramvareøkosystemer før selskapet ble kjøpt av Lionbridge.

TELUS Digital er et globalt teknologitjenesteselskap som hjelper organisasjoner med å designe, bygge og drifte digitale plattformer og AI-drevne løsninger. Selskapet opererer i flere dusin land og tilbyr tjenester som AI-treningdata og annotering, digital produktutvikling og kundeopplevelsesforvaltning. Deres plattformer og tjenester støtter bedrifter over flere bransjer, inkludert teknologi, finansi, helse, telekommunikasjon og spill, mens de moderniserer drift og setter i gang avanserte AI-kapasiteter.

Gitt din bakgrunn i AI-testing, data-validering og ansvarlig utrulling, hvordan ser du på skiftet fra språk-drevet generativ AI mot verden-modeller som har som mål å forstå virkelige verdensituasjoner og resultater, særlig i din nåværende rolle i TELUS Digital?

Store språkmodeller (LLM) er grunnleggende mønster-prediksjonsystemer. De genererer svar ved å forutsi neste token basert på mønster lært fra store, statiske korpus. Selv om dette kan se ut som forståelse, modellerer modellen ikke faktisk hvordan handlinger endrer verdens tilstand.

Verden-modeller tar en annen tilnærming. I stedet for å forutsi neste ord eller token, har de som mål å forutsi neste tilstand av et system ved å modellere tilstands-overganger. Dette tillater systemer å simulere hvordan miljøer utvikler seg som svar på handlinger. I praksis åpner dette døren for hypotetisk resonnering, der en modell kan evaluere forskjellige mulige resultater før den tar en beslutning. For interaktive systemer kan dette støtte mer pålitelig beslutningstagning og planlegging.

Dette skiftet endrer også hvordan vi tenker om ansvarlig utrulling. Med tradisjonelle generative AI-systemer har fokusert mye på problemer som bias og hallucinasjoner. Når modellene beveger seg mot å forstå miljøer og handlinger, blir andre risikoer mer fremtredende.

For eksempel må organisasjoner vurdere “sim-til-ekte”-gapet, der oppførsel lært i simuleringsmiljøer kanskje ikke oversetter reneste til ekte verdensbetingelser. Distribusjonsendring blir også en nøkkel bekymring, ettersom miljøene modellene møter under utrulling kan være forskjellige fra data de ble trent på.

Dette er der testing og validering blir kritisk, noe som er et stort fokus i min rolle i TELUS Digital. Når AI-systemer beveger seg beyond språkgenerering til systemer som interagerer med miljøer og tar beslutninger, trenger organisasjoner strenge evalueringssystemer for å sikre at modellene oppfører seg pålitelig under ekte verdensbetingelser.

Mange mennesker er kjent med store språkmodeller, men få forstår verden-modeller. I enkle termer, hva er problemet verden-modeller prøver å løse som LLM fundamentalt sliter med?

En verden-modell er et system som kan forutsi “hva skjer neste” gitt en nåværende tilstand og en handling. Formelen er: Tilstand + Handling → Neste Tilstand

Hvis jeg holder en eple og slipper den, forutsier en verden-modell at eplet faller. Den vet ikke bare hva epler “ser ut som” eller hva mennesker “sier om” å slippe epler – den forutsier konsekvensen basert på en forståelse av fysikk. En sofistikert verden-modell vil forutsi hva som ville skje hvis jeg gjorde det samme mens jeg var på Den internasjonale romstasjonen i stedet for å være på jordens overflate.

Dette er forskjellig fra en LLM. En LLM forutsier: “Gitt denne sekvensen av token, hva token kommer neste?” Den er trent på tekst – hva mennesker skrev om verden, ikke verden selv. Den kan fortelle deg at droppede epler faller fordi den har lest om det. Men den har ikke en intern fysikk-motor som simulerer fallet.

Verden-modeller er gode til å statistisk forutsi neste ord i et svar på et spørsmål, men å forstå den virkelige verden går beyond språkbeskrivelse og kohesjon. Verden-modeller har som mål å forstå hvordan situasjoner utvikler seg trinn for trinn, hva er neste tilstand gitt nåværende tilstand og handlingen som skal skje, hva begrensninger det er.

Verden-modeller beskrives ofte som å muliggjøre AI-systemer å simulere resultater før de tar handling. Hva ser dette ut som i praksis, og hvor nær er vi til å se dette fungere pålitelig utenfor forskningsmiljøer?

En utfordring i å svare på dette spørsmålet er at begrepet “verden-modell” brukes ganske løst, og betydningen tenderer å endre seg avhengig av konteksten. En enkel definisjon av verden-modeller er at de tillater en agent å simulere sin nåværende tilstand og miljø og forutsi fremtidige tilstander, og å resonere om nedstrøms konsekvenser. Forskere tenderer å kategorisere verden-modeller en del mer granulert, basert på deres representasjon og prosessering metoder. Det finnes latente verden-modeller, som destillerer “essensen” av en miljø til en kompakt fokusert rom. Det finnes generative verden-modeller som “forstår” fysikk for å skape ramme-for-ramme visuelle representasjoner, og det finnes Joint-Embedding Predictive Architecture (JEPA) modeller som forutsier resultater fra tidligere handlinger.

Latente verden-modeller er allerede ute av forskningslaboratoriet og hjelper i applikasjoner som autonom kjøring, lagerdrift, industriell drift og landbruk. Generative verden-modeller viser seg i syntetisk dataopprettelse for spillmotordesign, for selv-kjørende brukssaker, inkarnerte AI-bruksområder for videosimulering av menneskelignende bevegelser og for å skape arkitektoniske renderinger,

JEPA-tilnærmingen, favorisert av industri-luminærer som Yan LeCun, forutsier resultater i et abstrakt representasjonsrom i stedet for å generere piksler. Robotene har hovedsakelig vært begrenset til kontrollerte miljøer, men JEPA endrer dette, og lar robotene skifte mot åpne, virkelige verdenssettinger. Autonome kjøretøy er et godt eksempel – noen utnytter Genie 3 for å generere hyper-realistiske, interaktive simuleringer for trening og for å håndtere sjeldne hendelser som byggeområder.

Det er åpenbart at det er mye mer sikkerhets- og pålitelighetstesting nødvendig for å skala opp disse modellene ut av sandkasse-miljøer og inn i den virkelige verden.

Fra et bedriftsperspektiv, hvor forventer du at verden-modeller skal levere meningsfull verdi først, enten i robotikk, autonome beslutningssystemer, digitale tvillinger eller mer abstrakte forretningssettinger?

Min instinkt er at digitale tvillinger sannsynligvis vil levere praktisk verdi først. Reproducere tilstanden til et virkelig system så vi kan teste scenarier før vi handler. For eksempel i et leveringssystem, kan en produsent bygge en tvilling av sin komponent-leverandørnettverk. Simuleringen kan mates med sensor-data, logger, telemetri-data og kan svare på spørsmål som “Hva ville skje hvis Hormuz-stredet ble stengt?” Så vi kan teste omledning av leveranser før vi faktisk endrer den faktiske logistikken. Dette hjelper oss å gå fra å overvåke et live-system til å simulere et live-system.

Meningsfull verdi fra verden-modeller for robotikk er i ferd med å gå fremover i parallell. Å ha roboter som forstår grunnleggende egenskaper ved fysikk, som friksjon på en overflate når de plukker opp et objekt, vil sette utrulling av inkarnert AI i høy gjengang.

Mye av din karriere har fokusert på datasett-samling, annotering og validering. Hvorfor endrer data-utfordringene seg når man går fra statisk tekst-trening til å lære systemer hvordan verden oppfører seg over tid?

Datainnsamlingsituasjonen for verden-modell-aktivering krever en stor vending fra gårsdagens LLM-treningmetoder. Først og fremst har vi ikke en gigantisk korpus av for-trening data tilgjengelig, petabyte fra Common Crawl og milliarder av web-sider. Noen robot-forskere har spekulert om at vi bare har 1/1000-del av dataene nødvendig for å trene fysisk intelligens og verden-modeller, for å nå et ekvivalent prestasjonspunkt som GPT2.

Så det vil ta noen tid å bygge disse datasettene. I tilfelle av inkarnert AI, trenger vi millioner av timer med annoterte egosentriske multi-sensor datasett. Noen er tele-opererte, noen fra syntetiske miljøer som Isaac Sim. Hos TELUS Digital har vi gjort vendingen fra tekst til multimodal til multi-sensor datasett og simuleringsdatasett. Selvfølgelig er vi hjulpet av vår sterke datainnsamling og annoteringsbakgrunn i datavisualisering. Vi har vært i forkant der i mange år.

Utenfor mangel på for-trening data og annotert fin-justering data, vil det være mange andre trening-utfordringer i å skala opp forsterkingslæring. Det kan være nye transformative (ingen spøk til hensikt) paradigmer som GPT og RL-konsepter nødvendig for å akselerere effektivitets-gjennombrudd i verden-modell-treningmetoder.

Verden-modeller påvirker beslutninger i stedet for bare å generere utdata. Hva nye sikkerhets- eller styre-utfordringer introduserer dette sammenlignet med generative AI-systemer?

Det finnes mange sikkerhets- og styre-utfordringer, ettersom verden-modeller er innebygget til å støtte agens-operasjoner. Så alle bekymringene vi har om dagens generasjon av AI-agenter gjelder fortsatt i verden-modell-scenariet. Vi trenger menneskelig tilsyn for all viktig beslutningstagning, enten det er relatert til transport-sikkerhet, arbeidssikkerhet, helse, finansielle eller dag-til-dag-aktiviteter.

Et eksempel spesifikt for verden-modeller er gapet mellom simulerings-treningdata og ekte verdensmiljøer. En mikroskopisk overflate-variasjon kan gjøre den virkelige verden uoversiktlig for roboter som er godt trent i simulering.

En annen risiko er relatert til menneskelig atferd. Når systemer blir mer og mer autonome, vil mennesker begynne å stole sterkt på dem, og tilsyn kan bli lakket, og til slutt vil systemet ikke få nødvendig kalibrering.

Bias og tillit er fortsatt store barrierer for AI-adoptsjon. Hvorfor endrer disse bekymringene seg når AI-systemer begynner å modellere og handle i komplekse virkelige eller sosiale miljøer?

Fra den generelle offentligheten til C-suiten, er tillit og tillit til AI-modeller allerede ganske lav og jeg ser ikke at det endrer seg mye over den korte tid.

Bekymringer om kraften til AI blir konsentrert i for få hender, om AI tar bort jobber, bias i AI setter underrepresenterte grupper i en ulempe, modeller tar beslutninger som påvirker en persons helse, karriere og finansielle, modeller bruker IP uten samtykke, samt bekymringer om AI-djupfalsk og lignende, er allerede ganske høye. Ledere bekymrer seg om å håndtere arbeidskraft-overganger, data-privatliv og regulatorisk overholdelse, og om å tape terreng til konkurrenter i en AI-“våpenkappløp”.

Siste nyheter om regjerings-press på AI-grunnleggende modell-byggere for å løsne bruksvilkår relatert til ting som autonome våpen eller masse-overvåkning, er bare forsterkende disse bekymringene. Videre utrulling av smartere og mer autonome verden-modell-baserte roboter vil gjøre det samme.

På den andre siden ser vi lommer av vidt utbredt AI-adoptsjon og tillit. Et eksempel er måten kode-agenter har tatt av over de siste månedene. Software-utviklingsledere har høy tillit til kode-agenter, og det er en grunnleggende endring i måten software-utvikling gjøres, fra PR-utvikling til post-utgivelses-regresjonstesting. Software-utviklingsverden er i ferd med å utvikle seg i lysskyndighet, og mye av det er takket være tillit til høy-ytende kode-agenter. Når brukertillit vokser i andre bruksområder, forventer jeg at adoptsjonen tar av i en lignende måte.

Løsninger for å bygge tillit inkluderer diverse datasett og miljøer i trening-fasen, og omfattende rød-lag-testing som en sikkerhets-gardin før utrulling. Proaktiv regulatorisk tilsyn er også nødvendig. Noen har foreslått at grunnleggende modell-byggere bør være pålagt å levere “Sosielt-påvirknings-rapporter”, lignende Miljø-påvirknings-rapporter (EIR), før nye modeller utgis.

Hos TELUS Digital, mye av arbeidet handler om å utrulle AI i stor skala for virkelige bedrifter og virkelige brukere. Hvorfor møter ideer som verden-modeller praktiske bekymringer som transparens, arbeidskraft-påvirkning og opprettholdelse av kunde-tillit?

For å klargjøre, TELUS Digital arbeider både oppstrøms direkte med grunnleggende modell-byggere og også lengre nedstrøms med bedrifter som utruller AI-modeller. Vår spill-plass er hel-dekkende:

Spørsmålet om praktiske bekymringer er relatert til det forrige spørsmålet om tillit. La oss se på arbeidskraft-tillit. Når verden-modell-aktiverende AI blir mer utbredt, må ledere være åpne med sine ansatte, kontraktorer og kunder. Klare kommunikasjoner er nødvendige om hva modellene er gode til, hvordan de er blitt trent, hva data som er brukt til å trene dem, hva sikkerhets-gardiner som er satt på plass og hvor menneskelig tilsyn kommer inn. Bedrifts-ledere må vise den nåværende arbeidskraften verdien av de nye modellene, for eksempel gjøre all tungt arbeid i en jobb. Og de må vise overgangs-stier for påvirkede arbeidere som kan være i ferd med å gå til nye, fremvoksende jobber mens tidligere jobber blir stadig mer gjort av verden-modell-AI. Hvit-krag-arbeidere håndterer dette i sanntid, og mange manuelle jobber vil bli påvirket i årene som kommer når verden-modell-aktiverende automatisering utvides.

Det er en voksende gap mellom hva AI-forskere forstår og hva offentligheten oppfatter. Hvorfor kan organisasjoner kommunisere fremskritt som verden-modeller på en måte som bygger tillit uten å overdrive deres evner?

Igjen, dette kommer ned til åpenhet om modellenes begrensninger og hva modellene er gode til. Kommunikasjon om hvordan modellene er blitt trent for å mildne potensiell bias. Hva menneskelig tilsyn er på plass. Noen virkelige demonstrasjoner av modellenes evner og bruksområder, kombinert med longitudinelle studier, kan gå langt i å øke allmenn og arbeidskraft-tillit.

Til slutt, hva er en vanlig misforståelse om AI-verden-modeller, enten over-optimistisk eller over-forsiktig, som du mener må bli rettet opp nå?

Til den begrensede utstrekning som den generelle offentligheten er informert om verden-modeller, er en misforståelse at verden-modeller trenger å forstå all fysikk og vitenskap for å være effektive. Verden-modeller vil rulle ut tidligere enn en kunne forvente fordi de enkelte bruksområdene kan bli snevret. En autonom kjøretøy trenger bare å forstå trafikk-dynamikk og veg-relatert fysikk, og hvordan nåværende tilstand-betingelser (for eksempel å være nær en grunnskole eller en prevalens av nærliggende SUV-er med høye silhuetter) vil påvirke deres syn og beslutningstagning. En autonom kjøretøy trenger ikke fysikken som ligger under hvordan å lage en sufflé for å fungere.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke TELUS Digital.