Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital – Rozhovorová série

Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital, vede iniciativy zaměřené na rozvoj dat pro školení AI a infrastruktury pro systémy umělé inteligence nové generace. Jeho práce zahrnuje vývoj datových sad pro hluboké výzkumné modely, prostředí pro učení s posilováním, data pro modely světa, iniciativy suverénní AI a rámce pro zmírnění rizik AI, se silným zaměřením na odpovědné postupy AI, jako je řešení biasu v datech a podpora spravedlivých pracovních podmínek pro trenéry AI. Na počátku své kariéry založil Nemzer VeriTest Labs, který pomáhal raným technologickým lídrům, včetně Microsoftu, Intelu, Oracle (ORCL ) a Sun Microsystems, budovat prosperující ekosystémy třetích stran, než byla společnost získaná Lionbridge.

(MSFT ) (INTC )

TELUS Digital je globální technologická společnost, která pomáhá organizacím navrhovat, budovat a provozovat digitální platformy a řešení poháněná umělou inteligencí. Provozující v desítkách zemí, společnost poskytuje služby, jako je školení AI, anotace dat, inženýrství digitálních produktů a správa zákaznických zkušeností. Její platformy a služby podporují podniky napříč odvětvími, včetně technologií, financí, zdravotnictví, telekomunikací a herního průmyslu, při modernizaci operací a nasazování pokročilých schopností AI.

Vzhledem k vaší minulosti v testování AI, validaci dat a odpovědném nasazení, jak vidíte posun od jazykově řízené generativní AI směrem k modelům světa, které se snaží rozumět reálným situacím a výsledkům, zejména ve vaší současné roli v TELUS Digital?

Velké jazykové modely (LLM) jsou fundamentálně systémy pro předpověď vzorců. Generují odpovědi předpovídáním dalšího tokenu na základě vzorců naučených z velkých, statických korpusů. I když to může vypadat jako rozumění, model ve skutečnosti nemodeluje, jak akce mění stav světa.

Modely světa se liší. Místo předpovídání dalšího slova nebo tokenu se snaží předpovědět další stav systému modelováním přechodů stavů. To umožňuje systémům simulovat, jak se prostředí vyvíjí v reakci na akce. V praxi to otevírá dveře hypotetickému uvažování, kde může model vyhodnotit různé možné výsledky, než udělá rozhodnutí. Pro interaktivní systémy to může podporovat spolehlivější rozhodování a plánování.

Tento posun také mění, jak přemýšlíme o odpovědném nasazení. S tradičními generativními systémy AI se většina pozornosti soustředila na problémy, jako je bias a halucinace. Jak se modely posunují směrem k uvažování o prostředích a akcích, stanou se další rizika více prominentními.

Mnozí lidé jsou seznámeni s velkými jazykovými modely, ale mnohem méně lidí rozumí modelům světa. V jednoduchých termínech, jaký problém se modely světa snaží vyřešit, se kterým se LLM fundamentálně potýkají?

Model světa je systém, který může předpovědět “co se stane dál” daný aktuální stav a akci. Formule je: Stav + Akce → Další stav

Jestliže držím jablko a pustím ho, model světa předpovídá, že jablko spadne. Není to jen to, že ví, jak vypadají jablka nebo co lidé říkají o padání jablek – předpovídá důsledky na základě porozumění fyzice. Sophistikovaný model světa předpovídá, co by se stalo, kdybych udělal totéž na Mezinárodní vesmírné stanici ve srovnání se zemí.

To je odlišné od LLM. LLM předpovídá: “Daná tato sekvence tokenů, který token přijde dál?” Je trénován na text – co lidé napsali o světě, ne o světě samotném. Může vám říci, že upuštěná jablka spadají, protože o tom četl. Ale nemá vnitřní fyzikální stroj, který simuluje pád.

Modely světa jsou často popisovány jako umožňující systémům simulovat výsledky, než podniknou akci. Jak vypadá to v praxi a jak blízko jsme k tomu, aby to fungovalo spolehlivě mimo výzkumná prostředí?

Vyzývá to odpověď na otázku, že termín “model světa” je používán bastante volně a jeho význam se mění v závislosti na kontextu. Jednoduchá definice modelu světa je, že umožňují agentovi simulovat jeho aktuální stav prostředí a předpovědět budoucí stavy a uvažovat o důsledcích. Výzkumníci tendenci kategorizovat modely světa trochu jemněji, na základě jejich reprezentace a metod zpracování. Existují latentní modely světa, které destilují “esenci” prostředí do kompaktního prostoru. Existují generativní modely světa, které “rozumějí” fyzice a vytvářejí rámcové vizuální reprezentace, a existují modely Joint-Embedding Predictive Architecture (JEPA), které předpovídají výsledky z předchozích akcí.

Latentní modely světa jsou již mimo výzkumnou laboratoř a pomáhají v aplikacích, jako je autonomní řízení, operace ve skladu, průmyslové operace a zemědělství. Generativní modely světa se objevují v syntetické datové tvorbě pro vývoj herních engine, pro samořídící použití, pro použití vložené AI pro video simulaci lidských pohybů a pro vytváření architektonických renderování,

Přístup JEPA, upřednostňovaný průmyslovými osobnostmi, jako je Yan LeCun, předpovídá výsledky v abstraktním reprezentačním prostoru, spíše než generuje pixely. Roboti byli většinou omezeni na kontrolovaná prostředí, ale JEPA mění to, umožňující robotům posunout se směrem k otevřeným, reálným prostředím. Autonomní vozidla jsou dobrým příkladem – některá z nich využívají Genie 3 k vytváření hyper-realistických, interaktivních simulací pro školení a lepší zvládání vzácných událostí, jako jsou stavební zóny.

Z podnikového hlediska, kde očekáváte, že modely světa přinesou významnou hodnotu nejdříve, ať už v robotice, autonomních rozhodovacích systémech, digitálních dvojčatech nebo abstraktnějších obchodních prostředích?

Můj instinktivní pocit je, že digitální dvojčata jsou pravděpodobně první, kdo přinese praktickou hodnotu. Reprezentace stavu reálného systému, abychom mohli testovat scénáře, než budeme jednat. Například v systému dodavatelského řetězce může výrobce vytvořit dvojče své sítě komponent. Simulace může být krmena daty ze senzorů, logy, telemetrickými daty a může zodpovědět otázky, jako “Co by se stalo, kdyby byl Strait of Hormuz uzavřen?” Takže můžeme testovat přemapování zásilek, než skutečně změníme logistiku. To nám pomáhá posunout se od monitorování živého systému k simulaci živého systému.

Vaše kariéra se hodně soustředila na sběr dat, anotaci a validaci. Jak se mění výzvy s daty, když se přesouváme od statického textového školení k učení systémům, jak se chová svět v čase?

Situace se sběrem dat pro modely světa vyžaduje velkou změnu od včerejších metod školení LLM. Za prvé, nemáme obrovské korpusy předškolních dat k dispozici, petabajty z Common Crawl a miliardy webových stránek. Některé výzkumníci v robotice spekulovali, že máme pouze 1/1000 částku dat potřebných pro školení fyzické inteligence a modelů světa, abychom dosáhli ekvivalentního výkonu bodu, řekněme GPT2.

Bude to trvat nějakou dobu, než postavíme tyto datové sady. V případě vložené AI budeme potřebovat miliony hodin anotovaných egocentrických multisenzorických dat. Některé jsou teleoperované, některé ze syntetických prostředí, jako je Isaac Sim. V TELUS Digital jsme provedli změnu od textu k multimodálním a multisenzorickým datovým sadám a simulačním datovým sadám. Samozřejmě, že jsme pomáháni naší silnou historií sběru dat a anotace v počítačovém vidění. Byli jsme na špici tam po mnoho let.

Modely světa ovlivňují rozhodnutí, spíše než jen generují výstupy. Jaké nové bezpečnostní nebo řídící rizika to zavádí ve srovnání s generativními systémy AI?

Existuje mnoho bezpečnostních a řídících rizik, protože modely světa jsou inherentně určeny k podpoře agenty operací. Takže všechny obavy, které máme o dnešní generaci agentů AI, stále platí ve scénáři modelu světa. Potřebujeme lidský dohled pro všechna důležitá rozhodování, ať se týká dopravní bezpečnosti, bezpečnostních předpisů, zdravotnictví, financí a denních aktivit.

Příklad specifický pro modely světa je mezera mezi simulačními trénovacími daty a reálnými prostředními. Mikroskopická variace povrchu může udělat reálný svět špinavým pro roboty, které jsou dobře trénovány v simulaci.

Předpojatost a důvěra zůstávají velkými bariérami pro přijetí AI. Jak se tyto obavy vyvíjejí, když systémy AI začínají modelovat a jednat v komplexních reálných nebo sociálních prostředích?

Od široké veřejnosti po nejvyšší vedení je důvěra a důvěra v modely AI již bastante nízká a nevidím, že by se to měnilo příliš brzy.

Obavy o koncentraci moci AI do příliš málo rukou, o AI, která bere práci, předpojatost v AI, která dává nedostatečně reprezentovaným skupinám nevýhodu, modely, které dělají rozhodnutí, která ovlivňují zdraví, kariéru a finance, modely, které používají IP bez souhlasu, a obavy o AI deepfakes, jsou již bastante vysoké. Výkonní manažeři se obávají o přechodných pracovních sil, ochranu dat a soulad s předpisy, a o ztrátu terénu před konkurencí v “AI závodě”.

Na TELUS Digital, většina práce spočívá v nasazování AI ve velkém měřítku pro reálné podniky a reálné uživatele. Jak se nápady, jako jsou modely světa, protínají s praktickými obavami, jako je transparentnost, dopad na pracovní sílu a udržení důvěry zákazníků?

Abyste to vysvětlili, TELUS Digital pracuje jak přímo s tvůrci základních modelů, tak i s podniky, které nasazují modely AI. Naše herní pole je koncové:

Otázka praktických obav je související s předchozím dotazem o důvěře. Podívejme se na důvěru pracovníků. Jak se modely světa s AI stanou více všudypřítomnými, manažeři potřebují být transparentní se svými zaměstnanci, dodavateli a zákazníky. Jasná komunikace je vyžadována o tom, co jsou modely dobré, jak byly trénovány, jaká data byla použita pro trénink, jaké bezpečnostní zábrany byly zavedeny a kde je lidský dohled. Vedoucí podniků potřebují ukázat stávající pracovníkům hodnotu nových modelů, například děláním všech nudných prací v zaměstnání. A potřebují ukázat přechodové cesty pro postižené pracovníky, kteří mohou přecházet do nových vznikajících pracovních míst, protože předchozí jsou stále více dělány modely světa s AI. Bílí límečkové pracovníci se potýkají s tím v reálném čase, a mnoho manuálních pracovních míst bude ovlivněno v příštích letech, protože automatizace s modely světa s AI se bude rozšiřovat.

Existuje rostoucí mezera mezi tím, co vědci AI rozumějí, a tím, co veřejnost vnímá. Jak mohou organizace komunikovat pokroky, jako jsou modely světa, způsobem, který buduje důvěru, aniž by přeháněly jejich schopnosti?

Opět to jde o transparentnost omezení modelů a o tom, co jsou modely dobré. Komunikace o tom, jak byly modely trénovány, aby se zmírnily potenciální předpojatosti. Jaký lidský dohled je na místě. Několik reálných demonstrací schopností modelu a použití, spojených s longitudinálními studiemi, může hodně pomoci ke zvýšení důvěry veřejnosti a pracovníků.

Nakonec, jaký je jeden společný omyl o modelech světa AI, ať už přehnaně optimistický nebo přehnaně opatrný, který podle vás potřebuje být napraven hned?

Do omezené míry, ve které je veřejnost informována o modelech světa, jeden omyl je, že modely světa potřebují rozumět všem fyzice a vědě, aby byly efektivní. Modely světa se budou nasazovat dříve, než byste čekali, protože jednotlivé použití mohou být zužována. Autonomní vozidlo potřebuje pouze rozumět dynamice dopravy a silničním fyzikám a tomu, jak aktuální stavy (například být poblíž základní školy nebo prevalence blízkých SUV s vysokými siluety) ovlivní jejich vidění a rozhodování. Autonomní vozidlo nepotřebuje fyziku, která stojí za tím, jak funguje pečení sufle, aby fungovalo.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit TELUS Digital.