Steve Nemzer, Sr. Director, AI-vækst & innovation, TELUS Digital – Intervieuserie

Steve Nemzer, Sr. Director, AI-vækst & innovation, TELUS Digital, leder initiativer, der fokuserer på at fremme AI-træningsdata og -infrastruktur for næste generations kunstig intelligenssystemer. Hans arbejde omfatter udvikling af datasæt til dyb forskningsmodeller, forstærkning af læringsmiljøer, verden-modensdata, suveræne AI-initiativer og AI-risikomindskningsrammer, med stærk vægt på ansvarlig AI-praksis, såsom at adresse datasætsforvrængning og støtte retfærdige arbejdsbetingelser for AI-trænere. Tidligere i sin karriere grundlagde Nemzer VeriTest Labs, der hjalp tidlige teknologiledere, herunder Microsoft (MSFT ), Intel (INTC ), Oracle (ORCL ) og Sun Microsystems, med at opbygge blomstrende tredjepartssoftwareøkosystemer, før virksomheden blev opkøbt af Lionbridge.

TELUS Digital er et globalt teknologiselskab, der hjælper organisationer med at designe, opbygge og drive digitale platforme og AI-drevne løsninger. Virksomheden opererer i dusinvis af lande og tilbyder tjenester som AI-træningsdata og annotering, digital produktudvikling og kundeoplevelsesstyring. Dens platforme og tjenester understøtter virksomheder på tværs af brancher, herunder teknologi, finans, sundhedsvesen, telekommunikation og spil, mens de moderniserer deres drift og implementerer avancerede AI-kapaciteter.

Med din baggrund i AI-test, data-validering og ansvarlig implementering, hvordan ser du på skiftet fra sprog-drevet generativ AI til verden-modeller, der sigter mod at forstå virkelige situationer og resultater, især i din nuværende rolle i TELUS Digital?

Store sprogmodeller (LLM’er) er grundlæggende mønsterprædiktions-systemer. De genererer svar ved at forudsige det næste token baseret på mønstre, der er lært fra store, statiske korpora. Selvom dette kan se ud som forståelse, modellerer modellen ikke faktisk, hvordan handlinger ændrer verden.

Verden-modeller tager en anden tilgang. I stedet for at forudsige det næste ord eller token, sigter de mod at forudsige det næste tilstand af et system ved at modellere tilstands-overgange. Dette giver systemer mulighed for at simulere, hvordan miljøer udvikler sig som svar på handlinger. I praksis åbner det døren til hypotetisk forståelse, hvor en model kan evaluere forskellige mulige resultater, før den træffer en beslutning. For interaktive systemer kan dette understøtte mere pålidelig beslutningstagning og planlægning.

Dette skift ændrer også, hvordan vi tænker om ansvarlig implementering. Med traditionelle generative AI-systemer har fokus været på problemer som forvrængning og hallucinationer. Da modellerne bevæger sig mod at forstå miljøer og handlinger, bliver andre risici mere fremtrædende.

For eksempel skal organisationer overveje “sim-til-virkelighed”-gapet, hvor adfærd, der er lært i simulerede miljøer, måske ikke oversætter sig renligt til virkelige verdensbetingelser. Distributionsskift bliver også en nøglebekymring, da miljøerne, modellerne møder under implementering, kan afvige fra de data, de er trænet på.

Dette er, hvor test og validering bliver kritisk, hvilket er et stort fokus i min rolle i TELUS Digital. Da AI-systemer bevæger sig ud over sprog-generering til systemer, der interagerer med miljøer og træffer beslutninger, har organisationer brug for strenge evalueringsskemaer for at sikre, at modeller opfører sig pålideligt under virkelige verdensbetingelser.

Mange mennesker kender til store sprogmodeller, men langt færre forstår verden-modeller. I simple termer, hvilket problem forsøger verden-modeller at løse, som LLM’er grundlæggende kæmper med?

En verden-model er et system, der kan forudsige “hvad sker herefter” givet en nuværende tilstand og en handling. Formlen er: Tilstand + Handling → Næste tilstand

Hvis jeg holder en æble og slipper den, forudsiger en verden-model, at æblet falder. Det kender ikke bare til, hvordan æbler “ser ud” eller hvad mennesker “siger om” at slippe æbler – det forudsiger konsekvensen baseret på en forståelse af fysik. En sofistikeret verden-model vil forudsige, hvad der ville ske, hvis jeg gjorde det samme, mens jeg var på Den Internationale Rumstation i stedet for at være på jordens overflade.

Dette er anderledes end en LLM. En LLM forudsiger: “Givet denne sekvens af tokens, hvilket token kommer herefter?” Det er trænet på tekst – hvad mennesker har skrevet om verden, ikke verden selv. Det kan fortælle dig, at æbler falder, fordi det har læst om det. Men det har ikke en intern fysik-motor, der simulerer faldet.

Verden-modeller er ofte beskrevet som en mulighed for, at AI-systemer kan simulere resultater, før de træffer en beslutning. Hvad ser det ud til i praksis, og hvor tæt er vi på at se dette fungere pålideligt uden for forskningsmiljøer?

En udfordring i at besvare dette spørgsmål er, at begrebet “verden-model” bruges ret løst, og betydningen tenderer til at ændre sig afhængigt af konteksten. En simpel definition af en verden-model er, at den giver en agent mulighed for at simulere sin nuværende tilstand og miljø og forudsige fremtidige tilstande og forstå konsekvenser. Forskere tenderer til at kategorisere verden-modeller lidt mere detaljeret, baseret på deres repræsentation og behandlingsmetoder.

Latente verden-modeller er allerede uden for forskningslaboratoriet og hjælper i anvendelser som selvstændig kørsel, lagerdrift, industrielle operationer og landbrug. Generative verden-modeller viser sig i syntetisk dataoprettelse til spilmotorudvikling, til selvstændige kørselsanvendelser, inkarnerede AI-anvendelser til video-simulation af menneske-lignende bevægelser og til at oprette arkitektoniske renderinger.

JEPA-tilgangen, der er foretrukket af industrieluminaries som Yan LeCun, forudsiger resultater i et abstrakt repræsentationsrum i stedet for at generere pixels. Robotter er generelt blevet begrænset til kontrollerede miljøer, men JEPA ændrer dette og giver mulighed for, at robotter kan flytte sig mod åbne, virkelige miljøer.

Det er tydeligt, at der er meget mere sikkerheds- og pålidelighedstestning nødvendig for at skala disse modeller op og flytte dem ud af sandkasse-miljøer og ind i den virkelige verden.

Set fra et virksomhedssynspunkt, hvor forventer du, at verden-modeller vil levere meningsfuld værdi først, enten i robotteknologi, selvstændige beslutningssystemer, digitale tvillinger eller mere abstrakte forretningsmiljøer?

Min intuition er, at digitale tvillinger sandsynligvis vil levere praktisk værdi først. At replikere tilstanden af et virkeligt system, så vi kan teste scenarier, før vi handler. For eksempel kan en fabrikant i et leveringssystem bygge en tvilling af sin komponent-partner-netværk. Simulationen kan fødes med sensor-data, logfiler, telemetridata og kan besvare spørgsmål som “Hvad ville ske, hvis Hormuz-strædet blev lukket?” Så vi kan teste omdirigering af forsendelser, før vi faktisk ændrer den faktiske logistik.

Meningsfuld værdi fra verden-modeller til robotteknologi bevæger sig fremad i parallel. At have robotter, der forstår grundlæggende fysik-egenskaber, såsom friktion på en overflade, når de samler et objekt op, vil give næring til udrulning af inkarneret AI.

Meget af din karriere har fokuseret på datasætsindsamling, annotering og validering. Hvordan ændrer data-udfordringerne sig, når man bevæger sig fra statisk teksttræning til at lære systemer, hvordan verden opfører sig over tid?

Dataindsamlingssituationen for verden-model-aktivering kræver en stor ændring fra gårsdagens LLM-træningsmetoder. Først og fremmest har vi ikke en enorm mængde af fortræningsdata til rådighed, petabytes fra Common Crawl og milliarder af web-sider. Nogle robot-forskere har spekuleret over, at vi kun har 1/1000-del af den mængde data, der er nødvendig for at træne fysisk intelligens og verden-modeller, for at nå et tilsvarende performance-niveau som GPT2.

Så det vil tage noget tid at bygge disse datasæt. I tilfælde af inkarneret AI har vi brug for millioner af timer med annoterede egocentriske multi-sensor-datasæt. Nogle er tele-opererede, nogle fra syntetiske miljøer som Isaac Sim. I TELUS Digital har vi ændret fokus fra tekst til multimodal til multi-sensor-datasæt og simulations-datasæt.

Ud over manglen på fortræningsdata og annoterede fin-justeringsdata, vil der være mange andre trænings-udfordringer i forbindelse med at skala op forstærket læring.

Verden-modeller påvirker beslutninger i stedet for blot at generere output. Hvilke nye sikkerheds- eller styre-risici introducerer dette i forhold til generative AI-systemer?

Der er mange sikkerheds- og styre-risici, da verden-modeller er grundlæggende designet til at understøtte agente-operationer. Alle bekymringer, vi har om i dagens generation af AI-agenter, gælder stadig i verden-model-scenariet. Vi har brug for menneskelig oversigt over alle vigtige beslutninger, det være sig relateret til transportsikkerhed, arbejdssikkerhed, sundhedsvesen, finanser og daglige aktiviteter.

Et eksempel specifikt for verden-modeller er gapet mellem sim-træningsdata og virkelige verdens-miljøer. En mikroskopisk overflade-variation kan gøre den virkelige verden besværlig for robotter, der er godt trænet i simulation.

En anden risiko relaterer sig til menneskelig adfærd. Da systemer bliver mere og mere selvstændige, vil mennesker begynde at stole stærkt på dem, og oversigt kan blive lax, og til sidst vil systemet ikke få nødvendig kalibrering.

Forvrængning og tillid er stadig store barrierer for AI-adopteringsgrad. Hvordan udvikler disse bekymringer sig, når AI-systemer begynder at modellere og handle i komplekse virkelige eller sociale miljøer?

Fra den generelle offentlighed til C-suite, er tillid og tillid til AI-modeller allerede meget lav, og jeg ser ikke, at det ændrer sig meget på kort sigt.

Bekymringer om AI-magt, der koncentreres i for få hænder, om AI, der tager arbejdspladser, forvrængning i AI, der sætter underrepræsenterede grupper i ulempe, modeller, der træffer beslutninger, der påvirker ens sundhed, karriere og finanser, modeller, der bruger IP uden samtykke, samt bekymringer om AI-deepfakes, er allerede meget høje.

Seneste udviklinger i nyhederne om regeringspres på AI-fundamentale model-byggere for at løsne brugsbetingelser i forhold til ting som selvstændige våben eller masse-overvågning er kun med til at forstærke disse bekymringer.

Derudover ser vi lommer af bred AI-adopteringsgrad og tillid. Et eksempel er måden, hvorpå kodnings-agenter har taget af på sidste måned. Software-udviklingschefer har høj tillid til kodnings-agenter, og der er en grundlæggende ændring i, hvordan software-udvikling udføres, fra PR-udvikling til post-release-regresstest.

Løsninger til at bygge tillid inkluderer diverse datasæt og miljøer i træningsfaserne og omfattende red teaming og stress-test som en sikkerheds-foranstaltning, før implementering. Proaktiv regulatorisk oversigt er også en nødvendighed. Nogle har foreslået, at grundlæggende model-byggere skal være forpligtet til at levere “Societal Impact Reports”, lignende miljøvurderinger, før nye modeller udgives.

I TELUS Digital indebærer meget af arbejdet at implementere AI i stor skala for virkelige virksomheder og virkelige brugere. Hvordan mødes ideer som verden-modeller med praktiske bekymringer som gennemsigtighed, arbejdsplads-påvirkning og opretholdelse af kunde-tillid?

Til at klargøre, TELUS Digital arbejder både direkte med grundlæggende model-byggere og også længere nede i forsyningskæden med virksomheder, der implementerer AI-modeller. Vores spil er end-to-end:

Spørgsmålet om praktiske bekymringer er relateret til det foregående spørgsmål om tillid. Lad os se på arbejdsplads-tillid. Da verden-model-aktiverede AI-systemer bliver mere udbredte, har chefer brug for at være åbne med deres medarbejdere, entreprenører og kunder. Klare kommunikationer er nødvendige om, hvad modellerne er gode til, hvordan de er blevet trænet, hvilke data der er blevet brugt til at træne dem, hvilke sikkerheds-foranstaltninger der er sat i værk, og hvor menneskelig oversigt kommer ind.

Der er en voksende gap mellem, hvad AI-forskere forstår, og hvad offentligheden opfatter. Hvordan kan organisationer kommunikere fremskridt som verden-modeller på en måde, der bygger tillid uden at overdrive deres evner?

Igen kommer det ned til gennemsigtighed om modellernes begrænsninger og om, hvad modellerne er gode til. Kommunikation om, hvordan modellerne er blevet trænet for at mindske potentiel forvrængning. Hvilken menneskelig oversigt er sat i værk. Nogle virkelige demonstrations af modellens evner og anvendelser, kombineret med longitudinelle studier, kan gå langt til at øge almindelig offentlig og arbejdsplads-tillid.

Til sidst, hvad er en almindelig misforståelse om AI-verden-modeller, enten for optimistisk eller for forsigtig, som du mener, der skal rettes op med det samme?

I den begrænsede udstrækning, hvori den generelle offentlighed er informeret om verden-modeller, er en misforståelse, at verden-modeller skal forstå alt om fysik og videnskab for at være effektive. Verden-modeller vil rulle ud tidligere, end man måske forventer, fordi de enkelte anvendelses-tilfælde kan begrænses. En selvstændig bil behøver kun at forstå trafik-dynamik og vej-relateret fysik, og hvordan nuværende tilstands-betingelser (f.eks. at være nær en grundskole eller en forekomst af nærliggende SUV’er med høje silhuetter) vil påvirke deres syn og beslutningstagning. En selvstændig bil har ikke brug for fysikken, der ligger til grund for, hvordan man bager en soufflé, for at fungere.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge TELUS Digital.