Steve Nemzer, Sr. Dyrektor, AI Growth & Innovation, TELUS Digital – Wywiad

Steve Nemzer, Sr. Dyrektor, AI Growth & Innovation, TELUS Digital, kieruje inicjatywami skupionymi na rozwoju danych szkoleniowych i infrastruktury dla systemów sztucznej inteligencji następnej generacji. Jego praca obejmuje tworzenie zbiorów danych dla głębokich modeli badawczych, środowisk uczenia wzmacnianego, danych modelu świata, inicjatyw suwerennej sztucznej inteligencji oraz ram mitigacji ryzyka sztucznej inteligencji, z silnym naciskiem na odpowiedzialne praktyki sztucznej inteligencji, takie jak rozwiązywanie problemu związanych z danymi i wspieranie sprawiedliwych warunków pracy dla trenerów sztucznej inteligencji. Wcześniej w swojej karierze Nemzer założył VeriTest Labs, pomagając wczesnym liderom technologii, w tym Microsoft (MSFT ), Intel (INTC ), Oracle (ORCL ) i Sun Microsystems, w budowaniu prosperujących ekosystemów oprogramowania przed przejęciem przez Lionbridge.

TELUS Digital to globalna firma świadcząca usługi technologiczne, która pomaga organizacjom projektować, budować i eksploatować platformy cyfrowe i rozwiązania oparte na sztucznej inteligencji. Działając w dziesiątkach krajów, firma świadczy usługi takie jak dane szkoleniowe i adnotacja sztucznej inteligencji, inżynieria produktów cyfrowych oraz zarządzanie doświadczeniami klienta. Jej platformy i usługi wspierają przedsiębiorstwa z różnych branż, w tym technologii, finansów, opieki zdrowotnej, telekomunikacji i gier, w modernizacji operacji i wdrożeniu zaawansowanych możliwości sztucznej inteligencji.

Biorąc pod uwagę Twoje doświadczenie w testowaniu sztucznej inteligencji, walidacji danych i odpowiedzialnym wdrożeniu, jak postrzegasz przesunięcie od sztucznej inteligencji opartej na języku w kierunku modeli świata, które mają na celu rozumienie sytuacji i wyników w świecie rzeczywistym, szczególnie w Twojej obecnej roli w TELUS Digital?

Duże modele językowe (LLM) są podstawowo systemami predykcji wzorców. Generują odpowiedzi, przewidując następny token na podstawie wzorców nauczonych z dużych, statycznych korpusów. Chociaż może to wyglądać jak rozumowanie, model nie rzeczywiście modeluje, jak akcje zmieniają stan świata.

Modele świata podejmują odmienny podejście. Zamiast przewidywać następne słowo lub token, mają na celu przewidzieć następny stan systemu, modelując przejścia stanu. To pozwala systemom symulować, jak środowiska ewoluują w odpowiedzi na akcje. W praktyce otwiera to drzwi do hipotetycznego rozumowania, gdzie model może ocenić różne możliwe wyniki przed podjęciem decyzji. Dla interaktywnych systemów może to wspierać bardziej niezawodne podejmowanie decyzji i planowanie.

To przesunięcie również zmienia, jak myślimy o odpowiedzialnym wdrożeniu. Z tradycyjnymi systemami sztucznej inteligencji, wiele uwagi poświęcono problemom takim jak uprzedzenia i halucynacje. Gdy modele przechodzą w kierunku rozumienia środowisk i akcji, inne ryzyka stają się bardziej widoczne.

Na przykład, organizacje muszą brać pod uwagę “przerwę między symulacją a rzeczywistością”, gdzie zachowania nauczone w symulowanych środowiskach mogą nie przenosić się czysto do warunków świata rzeczywistego. Również zmiana dystrybucji staje się kluczową kwestią, ponieważ środowiska, z którymi modele spotykają się podczas wdrożenia, mogą różnić się od danych, na których zostały wyszkolone.

To jest miejsce, w którym testowanie i walidacja stają się krytyczne, co jest dużym naciskiem w mojej roli w TELUS Digital. Gdy systemy sztucznej inteligencji przechodzą poza generowanie języka w kierunku systemów, które interaktywnie oddziałują na środowiska i podejmują decyzje, organizacje potrzebują rygorystycznych ram oceny, aby upewnić się, że modele zachowują się niezawodnie w warunkach świata rzeczywistego.

Wielu ludzi jest zaznajomionych z dużymi modelami językowymi, ale znacznie mniej rozumie modele świata. W prostych słowach, jaki problem starają się rozwiązać modele świata, z którym LLM-y mają fundamentalne trudności?

Model świata to system, który może przewidzieć “co się stanie następnie” danym bieżącym stanem i akcją. Formuła to: Stan + Akcja → Następny Stan

Jeśli trzymam jabłko i puszcza je, model świata przewiduje, że jabłko spadnie. Nie tylko wie, jak wyglądają jabłka lub co ludzie mówią o upuszczaniu jabłek – przewiduje konsekwencje na podstawie zrozumienia fizyki. Zaawansowany model świata przewiduje, co się stanie, gdy zrobię to samo na Międzynarodowej Stacji Kosmicznej w porównaniu z powierzchnią Ziemi.

To różni się od LLM. LLM przewiduje: “Daną tę sekwencję tokenów, jaki token następuje?” Jest wyszkolony na tekście – tym, co ludzie napisali o świecie, a nie o samym świecie. Może powiedzieć, że upuszczone jabłka spadają, bo przeczytał o tym. Ale nie ma wewnętrznego silnika fizycznego, który symuluje upadek.

Inaczej mówiąc, LLM-y są dobre w statystycznym przewidywaniu następnego słowa w odpowiedzi na pytanie, ale zrozumienie świata rzeczywistego wykracza poza opis językowy i spójność. Modele świata mają na celu zrozumienie, jak sytuacje ewoluują krok po kroku, jaki jest następny stan danego stanu i akcji, jakie są ograniczenia.

Modele świata są często opisywane jako umożliwiające systemom sztucznej inteligencji symulowanie wyników przed podjęciem akcji. Jak to wygląda w praktyce, i jak blisko jesteśmy do widzenia tego w sposób niezawodny poza środowiskami badawczymi?

Wyzwaniem w odpowiedzi na to pytanie jest to, że termin “model świata” jest używany dość swobodnie, a jego znaczenie tendencję do zmiany w zależności od kontekstu. Prosta definicja modelu świata brzmi: pozwalają one agentowi symulować jego bieżące środowisko i przewidywać przyszłe stany, oraz rozumieć konsekwencje. Badacze mają tendencję do klasyfikowania modeli świata bardziej szczegółowo, w oparciu o ich reprezentację i metody przetwarzania. Są modele świata latentne, które destylują “istotę” środowiska do zwartej, ukierunkowanej przestrzeni. Są również generatywne modele świata, które “rozumieją” fizykę, aby tworzyć klatki na klatkę wizualne reprezentacje, oraz architektury Joint-Embedding Predictive (JEPA), które przewidują wyniki z przeszłych akcji.

Modele świata latentne są już poza laboratorium badawczym i pomagają w aplikacjach takich jak prowadzenie pojazdów autonomicznych, operacje magazynowe, operacje przemysłowe i rolnictwo. Generatywne modele świata pojawiają się w tworzeniu danych syntetycznych do rozwoju silników gier, przypadków samochodów autonomicznych, przypadków AI wcielonej dla symulacji ruchów ludzkich, oraz tworzeniu wizualizacji architektonicznych,

Podejście JEPA, preferowane przez luminarzy przemysłu takich jak Yan LeCun, przewiduje wyniki w abstrakcyjnej przestrzeni reprezentacji, a nie generuje piksele. Roboty były w dużej mierze ograniczone do kontrolowanych środowisk, ale JEPA zmienia to, pozwalając robotom przechodzić do otwartych, środowisk rzeczywistych. Pojazdy autonomiczne są dobrym przykładem – niektóre wykorzystują Genie 3 do generowania hiperrealistycznych, interaktywnych symulacji do szkolenia i lepszego radzenia sobie z rzadkimi zdarzeniami, takimi jak strefy budowlane.

Oczywiście, jest jeszcze wiele więcej wymogów dotyczących bezpieczeństwa i niezawodności, aby skalować te modele poza środowiska piaskownicowe i do świata rzeczywistego.

Z punktu widzenia przedsiębiorstwa, gdzie oczekujesz, że modele świata dostarczą znaczącą wartość jako pierwsze, czy to w robotyce, systemach autonomicznych, cyfrowych bliźniakach, czy bardziej abstrakcyjnych środowiskach biznesowych?

Mój instynkt podpowiada, że cyfrowe bliźniaki są prawdopodobnie pierwszymi, które dostarczą praktyczną wartość. Replikowanie stanu systemu świata rzeczywistego, aby przetestować scenariusze przed działaniem. Na przykład, w systemie łańcucha dostaw, producent może zbudować bliźniaka swojej sieci partnerów komponentów. Symulacja może być karmiona danymi sensorycznymi, logami, danymi telemetrycznymi i może odpowiadać na pytania takie jak “Co się stanie, gdyby Cieśnina Ormuz została zamknięta?” Tak możemy przetestować przekierowanie dostaw przed rzeczywistą zmianą logistyki. To pomaga nam przechodzić od monitorowania systemu na żywo do symulowania systemu na żywo.

Wartość z modeli świata dla robotyki posuwa się do przodu w parze. Posiadanie robotów, które rozumieją podstawowe właściwości fizyki, takie jak tarcie na powierzchni przy podnoszeniu obiektu, da duży przypływ wdrożeniu AI wcielonej.

Wiele Twojej kariery skupiło się na zbiorze danych, adnotacji i walidacji. Jak wyzwania związane z danymi zmieniają się, gdy przechodzimy od szkolenia statycznego tekstu do nauczania systemów, jak świat się zachowuje w czasie?

Sytuacja ze zbiorami danych do włączenia modeli świata wymaga dużego zwrotu od wczorajszych metod szkolenia LLM. Po pierwsze, nie mamy ogromnych korpusów danych przed szkoleniem dostępnych, petabajtów z Common Crawl i miliardów stron internetowych. Niektórzy badacze robotyki spekulowali, że mamy tylko 1/1000 część danych potrzebnych do szkolenia inteligencji fizycznej i modeli świata, aby osiągnąć punkt wydajności porównywalny z GPT2.

Więc zajmie to trochę czasu, aby zbudować te zbiory danych. W przypadku AI wcielonej będziemy potrzebować milionów godzin adnotowanych, egocentrycznych, wielosensorowych zbiorów danych. Niektóre będą teleoperowane, niektóre pochodzące z symulowanych środowisk, takich jak Isaac Sim. W TELUS Digital, zrobiliśmy zwrot od tekstu do multimodalnych i wielosensorowych zbiorów danych oraz symulowanych zbiorów danych. Oczywiście, pomaga nam nasze silne doświadczenie w zbiorze danych i adnotacji w dziedzinie widzenia komputerowego. Byliśmy na czele tego przez wiele lat.

Poza rzadkością danych przed szkoleniem i adnotowanymi danymi do szkolenia, będą też inne wyzwania szkoleniowe przy skalowaniu w górę uczenia wzmacniania. Mogą pojawić się nowe przełomowe (bez podwójnego znaczenia) paradygmaty, takie jak GPT i pojęcia RL, wymagane do przyspieszenia przełomów w wydajności metod szkolenia modeli świata.

Modele świata wpływają na decyzje, a nie tylko generują dane wyjściowe. Jakie nowe ryzyka bezpieczeństwa lub zarządzania wprowadzają to w porównaniu z systemami generatywnymi sztucznej inteligencji?

Istnieje wiele ryzyk bezpieczeństwa i zarządzania, ponieważ modele świata są z natury przeznaczone do wspierania operacji agentywnych. Wszystkie obawy, które mamy co do dzisiejszej generacji agentów sztucznej inteligencji, nadal mają zastosowanie w scenariuszu modelu świata. Potrzebujemy nadzoru ludzkiego we wszystkich ważnych procesach decyzyjnych, czy to związanych z bezpieczeństwem transportu, bezpieczeństwem zawodowym, opieką zdrowotną, finansom i codziennymi działaniami.

Przykład specyficzny dla modeli świata to przerwa między danymi szkoleniowymi a środowiskami rzeczywistymi. Mikroskopijna zmiana powierzchni może uczynić świat rzeczywisty nieładnym dla robotów, które są dobrze wyszkolone w symulacji.

Inne ryzyko dotyczy zachowania ludzkiego. Gdy systemy stają się coraz bardziej autonomiczne, ludzie zaczną się na nie silnie wspierać, a nadzór może stać się luźny, a ostatecznie system nie otrzyma niezbędnych kalibracji.

Uprzedzenia i zaufanie pozostają głównymi barierami dla przyjęcia sztucznej inteligencji. Jak te obawy ewoluują, gdy systemy sztucznej inteligencji zaczynają modelować i działać w złożonych środowiskach świata rzeczywistego lub społecznego?

Od ogółu społeczeństwa do szczebla kierowniczego, zaufanie i ufność w modele sztucznej inteligencji są już bardzo niskie i nie widzę, aby to się zmieniło w krótkim terminie.

Obawy dotyczące koncentracji mocy sztucznej inteligencji w zbyt wielu rękach, o sztucznej inteligencji odbierającej pracę, uprzedzeń w sztucznej inteligencji stawiających grupy niedoreprezentowane w niekorzystnej sytuacji, modeli podejmujących decyzje, które wpływają na zdrowie, karierę i finanse, modeli wykorzystujących własność intelektualną bez zgody, a także obawy dotyczące sztucznej inteligencji deepfake, są już bardzo wysokie. Dyrektorzy wykonawczy martwią się o obsługę przejść pracowników, prywatność danych i zgodność z przepisami, oraz o utratę przewagi nad konkurencją w “wyścigu zbrojeń” sztucznej inteligencji.

Ostatnie wydarzenia w wiadomościach o naciskach rządowych na twórców podstawowych modeli, aby zrelaksować warunki użytkowania dotyczące rzeczy takich jak broń autonomiczna lub masowa inwigilacja, tylko zwiększają te obawy. Szerokie wdrożenie bardziej inteligentnych i autonomicznych robotów opartych na modelach świata również to zrobi.

Z drugiej strony, widzimy fragmenty powszechnego przyjęcia sztucznej inteligencji i zaufania. Przykładem jest sposób, w jaki agenci kodowania wzięli się w ostatnich miesiącach. Menadżerowie rozwoju oprogramowania mają wysokie zaufanie do agentów kodowania, a jest fundamentalna zmiana w sposobie, w jaki rozwój oprogramowania jest wykonywany, od rozwoju PRD aż do testowania regresyjnego po wydaniu. Świat rozwoju oprogramowania ewoluuje z prędkością światła, a wiele z tego jest wynikiem zaufania do wysoko wydajnych agentów kodowania. Gdy zaufanie użytkowników rośnie w innych przypadkach użycia, oczekuję, że przyjęcie sztucznej inteligencji wzrośnie w podobny sposób.

Rozwiązania budowania zaufania obejmują różnorodne zbiory danych i środowiska w fazach szkoleniowych, a także obszerny czerwony zespół i testy stresowe jako barierę bezpieczeństwa przed wdrożeniem. Aktywny nadzór regulacyjny jest konieczny. Niektórzy sugerowali, że twórcy modeli podstawowych powinni być zobowiązani do dostarczania “Raportów o wpływie społecznym”, podobnych do raportów o wpływie środowiskowym (EIR), przed wydaniem nowych modeli.

W TELUS Digital, wiele pracy polega na wdrożeniu sztucznej inteligencji w skali dla prawdziwych przedsiębiorstw i prawdziwych użytkowników. Jak pomysły takie jak modele świata przecinają się z praktycznymi problemami, takimi jak transparentność, wpływ na pracowników i utrzymanie zaufania klientów?

Aby wyjaśnić, TELUS Digital pracuje zarówno bezpośrednio z twórcami modeli podstawowych, jak i z przedsiębiorstwami wdrażającymi modele sztucznej inteligencji. Nasze pole gry jest całościowe:

Pytanie o praktyczne problemy jest związane z poprzednim zapytaniem o zaufanie. Zobaczmy na przykład zaufanie pracowników. Gdy modele świata stają się bardziej powszechne, dyrektorzy wykonawczy muszą być przejrzystymi wobec swoich pracowników, kontrahentów i klientów. Wymagana jest jasna komunikacja na temat tego, czym są dobre modele, jak zostały wyszkolone, jakie dane zostały użyte do ich szkolenia, jakie barierki bezpieczeństwa zostały wprowadzone, oraz gdzie znajduje się nadzór ludzki. Liderzy przedsiębiorstw muszą pokazać obecnym pracownikom wartość nowych modeli, na przykład robienie wszystkich nudnych prac w pracy. I muszą pokazać ścieżki przejścia dla pracowników, którzy mogą przechodzić do nowych, pojawiających się miejsc pracy, gdy poprzednie są coraz bardziej wykonywane przez modele świata. Pracownicy biurowi mają do czynienia z tym w czasie rzeczywistym, a wiele prac ręcznych będzie dotkniętych w nadchodzących latach, gdy automatyzacja oparta na modelach świata będzie się rozszerzać.

Istnieje rosnąca luka między tym, czego rozumieją badacze sztucznej inteligencji, a tym, jak ją postrzega ogół społeczeństwa. Jak organizacje mogą komunikować postępy takie jak modele świata w sposób, który buduje zaufanie, nie przeceniając ich możliwości?

Znowu, to wszystko sprowadza się do transparentności w odniesieniu do ograniczeń modeli i tego, czym są dobre. Komunikowanie, w jaki sposób modele zostały wyszkolone, aby złagodzić potencjalne uprzedzenia. Jakie nadzory ludzkie są w miejscu. Kilka rzeczywistych demonstracji możliwości modelu i przypadków użycia, połączonych z długoterminowymi badaniami, może znacznie zwiększyć zaufanie ogółu społeczeństwa i pracowników.

Wreszcie, jaki jest jeden powszechny mit na temat modeli świata sztucznej inteligencji, czy to zbyt optymistyczny, czy zbyt ostrożny, który potrzebuje poprawy?

W ograniczonym stopniu, w jakim ogół społeczeństwa jest poinformowany o modelach świata, jeden mit to to, że modele świata potrzebują zrozumienia wszystkiej fizyki i nauki, aby być skuteczne. Modele świata będą wdrażane wcześniej, niż można by się spodziewać, ponieważ poszczególne przypadki użycia mogą być zawężone. Pojazd autonomiczny potrzebuje tylko zrozumienia dynamiki ruchu i fizyki drogowej, oraz jak bieżące warunki (np. znajdowanie się w pobliżu szkoły podstawowej lub dużej liczby SUV-ów z wysokimi sylwetkami) wpłyną na jego widzenie i podejmowanie decyzji. Pojazd autonomiczny nie potrzebuje fizyki, która leży u podstaw pieczenia sufletu, aby funkcjonować.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić TELUS Digital.