Zuzanna Stamirowska, współzałożycielka i CEO Pathway – seria wywiadów

Zuzanna Stamirowska, współzałożycielka i CEO Pathway, jest badaczką, która wcześniej pracowała nad zjawiskami emergentnymi i ewolucją dużych sieci. Jej projekty zostały uznane przez amerykańską Narodową Akademię Nauk, a ona sama posiada tytuł doktora w dziedzinie systemów złożonych. Zuzanna, wraz z CTO Janem Chorowskim i CSO Adrianem Kosowskim, kieruje zespołem, który już zbudował otwarte narzędzia AI z ponad 62 000 gwiazdek na GitHub.

Pathway zmienia sposób, w jaki modele AI myślą, dążąc do stworzenia systemów, które działają w sposób ciągły i adaptacyjny, a nie w partiach. Za kulisami, ich narzędzia i architektura umożliwiają modelom przetwarzanie, uczenie się i ewolucję w czasie rzeczywistym. Firma przyciągnęła wsparcie takich luminarzy, jak Lukasz Kaiser (współwynalazca Transformerów) i prominentnych firm venture capital.

Co skłoniło Cię do założenia Pathway, i jak Twoje doświadczenie w dziedzinie systemów złożonych, teorii gier i zjawisk emergentnych ukształtowało wizję i kierunki techniczne firmy?

Chcieliśmy stworzyć AI, które myśli i adaptuje się jak ludzie. Zrozumieliśmy, że oznacza to, że systemy AI (modele głębokiego uczenia się lub potoki uczenia maszynowego zbudowane z większej liczby elementów) powinny być w stanie uczyć się w sposób ciągły na podstawie danych ze środowiska, poprawiać się z doświadczeniem i czasem “poprawiać” swoje wcześniejsze poglądy na świat. Przeczytaliśmy sporo na temat “oduczenia maszyn”. Ponadto, takie systemy potrzebują warstwy inżynieryjnej, aby przechwytywać dane u źródła i wprowadzać je natychmiast do dynamicznych systemów.

Pracując nad emergencją w sieciach złożonych, opracowałam kilka hipotez, które zastosowaliśmy bezpośrednio lub prawie bezpośrednio w BDH. Ciekawie, postawiłam kilka zakładów z moimi kolegami (Adrianem, CSO, i Janem, CTO) i wygrałam kilka butelek bardzo dobrej koniaku. Po pierwsze, wierzyliśmy, że naturalna inteligencja wynika z emergentnej struktury i działania neuronów w mózgu (to jest oczywiste, nie ma tu zakładu). Po drugie, z moich poprzednich badań wiedziałam, że funkcja kształtuje sieć (wygrałam ten zakład). W poprzednich pracach odkryłam to dla handlu, a neurobiolodzy badali to dla nerwów i zmysłów u myszy itp. Po trzecie, było to tak, że kształtowanie struktury sieci musi następować według bardzo lokalnych reguł bezpośrednio związanych z “sąsiedztwem” każdej lokalizacji sieci (w tym przypadku węzeł jest neuronem) (wygrałam ten zakład). Pozostałe elementy pochodziły z mojej wiedzy na temat systemów oddziaływań cząstek – myśl np. o magnetyzmie – gdzie cząstki dostosowują swoje spin do zewnętrznego pola i tworzą pewnego rodzaju “spontaniczną organizację”. To był rodzaj matematyki, którym posługiwałam się, pracując nad teorią gier na grafach. Łącząc to wszystko, od pierwszego dnia istnienia firmy mieliśmy silne przekonanie, że rzadkość (struktury grafopodobne) będzie kluczowym kamieniem milowym w rozwoju AI.

Uwzględnianie pojęcia czasu było kluczowe i dość charakterystyczne dla mojego doświadczenia, ponieważ emergencja zwykle występuje w czasie.

Gdy założyliście firmę w 2020 roku, jakie były Wasze pierwsze hipotezy na temat tego, co systemy AI powinny robić inaczej, i jak te poglądy ewoluowały?

Mieliśmy silne przekonanie od samego początku, że AI musi być żywy, adaptacyjny i zintegrowany z dużymi procesami. Powinien uczyć się bezpośrednio ze źródła, z możliwie najbardziej surowymi danymi.

Najpierw zrobiliśmy to dla bardziej klasycznych podejść do uczenia maszynowego, a po drodze zbudowaliśmy warstwy inżynieryjne, które pozwalają na takie systemy wdrożeniowe w świecie rzeczywistym. Teraz wprowadziliśmy to podejście do głębokiego uczenia się.

Wiedzieliśmy, że elementy czasu i struktury (sieci) będą kluczowe dla rozwoju w kierunku AGI. Mamy to zapisane w niektórych z naszych dokumentów założycielskich z 2020 roku.

Możesz nas zapoznać z architekturą “post-Transformera”, którą wprowadzacie, i jak różni się ona od obecnych systemów opartych na Transformerach?

Nasza nowa architektura, nazwana Baby Dragon Hatchling (BDH), łączy formalnie, w jaki sposób Transformatory przetwarzają informacje z tym, jak powstaje rozumowanie w mózgu.
BDH zachowuje się jak system fizyczny: model obliczeniowy podobny do mózgu, w którym neurony współpracują, aby odkryć następny, najbardziej istotny fakt. Rozumowanie kontekstowe nie jest ograniczone przez ograniczenia inżynieryjne, takie jak stała długość kontekstu Transformatora, ale raczej skaluje się z liczbą neuronów modelu.

Mówiąc to w bardziej technicznych słowach, w przeciwieństwie do Transformatora, w BDH mamy liniową uwagę, rzadkie wektory kluczowych zapytań i brak ograniczeń co do rozmiaru okna kontekstowego.

To podejście otwiera drzwi do systemów, które uczą się podczas wykonywania, utrzymują długie łańcuchy rozumowania i adaptują się w sposób ciągły w kontekście.

Kluczową cechą systemu jest lokalność: ważne dane są umieszczone tuż obok miejsc, w których są przetwarzane. To minimalizuje komunikację i eliminuje najbardziej bolesne z wszystkich wąskich gardeł dla modeli rozumowania podczas inferencji: przepustowość pamięci do rdzenia.

Jak Wasze podejście czerpie inspirację z ludzkiego rozumowania, szczególnie w umożliwianiu adaptacji i ciągłego uczenia się bez ponownego szkolenia?

BDH przybliża naturalną inteligencję i naturalne rozumowanie.

Ta architektura jest inspirowana tym, jak neurony i synapsy działają w mózgu. Mapuje biologiczne mechanizmy uwagi na pojęcie obliczeniowe uwagi w uczeniu maszynowym, tworząc skalowalny mostek między Transformerami a mózgiem.

BDH przybliża uwagę do parametrów modelu, prezentując je jako dwa odbicia tej samej dynamiki systemu podobnego do mózgu, z uwagą zmieniającą się w szybkim tempie, gdy nowe fakty stają się znane podczas rozumowania, i parametry modelu zmieniającymi się wolniej, gdy system zmienia swoje długoterminowe nawyki. To jest bliższe temu, jak uważamy, że rozumowanie działa w mózgu.

Widzimy BDH jako kamień milowy w kierunku projektowania systemów AI, które rozumują w trakcie wykonywania, poprawiają się z doświadczeniem i adaptują się bez ponownego szkolenia – właściwości, które kojarzymy z ludzkim rozumowaniem.

Jednym z wyzwań w AI jest równowaga między stabilnością a adaptacją — jak zapewnić, aby systemy mogły uczyć się w czasie rzeczywistym, nie tracąc wiedzy z przeszłości?

BDH opiera się na swojej strukturze bez skal i lokalnych stanach neuronów, aby utrzymać rozumowanie na długich horyzontach czasowych, równoważąc stabilność i zdolność do integracji nowej wiedzy i obserwacji. Ten naturalny stan zdrowia jest łatwy do wyodrębnienia i śledzenia na przestrzeni życia modelu.

Z BDH umieszczamy rozumowanie jako kamień węgielny inteligencji. Z bieżącą pracą robimy postępy w hipotezie dotyczącej roli wiedzy w dużych modelach językowych: nie chodzi tak mycket o to, co jest “prawdziwe”, ale co jest “użyteczne” w danym kontekście, aby postępować w łańcuchu rozumowania. Na przykład, jeśli wiedza jest kontekstualizowana, nie ma sprzeczności między naszym światem, który podąża za prawami natury, a faktem, że znamy ludową opowieść, która dopuszcza istnienie wróżek i magii. Podobnie, nie ma sprzeczności dla modelu, który rozważa kilka różnych hipotez prognozowania, z bardziej i mniej optymistycznymi założeniami, w jednym łańcuchu myśli.

Modele oparte na BDH nabywają nowe fakty w trakcie swojego życia w sposób kontekstualizowany. Mogą samokorygować się, dzięki temu. Poprzez udostępnianie łatwych do śledzenia statystyk aktywności neuronów i drobiazgową kontrolę nad przeniesieniem wiedzy z kontekstu do parametrów modelu, architektura pomaga ograniczyć ryzyko “przestarzałych” kontekstów, które pojawiają się w nieodpowiednim momencie.

Jakie są inżynieryjne kompromisy w budowaniu silnika przetwarzania danych w czasie rzeczywistym, który może utrzymać te możliwości w skali?

Oferta przedsiębiorstw Pathway opiera się na najszybszym silniku przetwarzania danych na rynku. Ten silnik jest podstawą naszej zdolności do obsługi danych wejściowych w czasie rzeczywistym i reagowania na nowe informacje z niską latencją. Z bieżącym przełomem BDH, zapewniamy, że ta adaptacja w czasie rzeczywistym sięga aż do podstawowych modeli AI używanych w wdrożeniach. Naszym głównym celem w dużych wdrożeniach jest odejście od optymalizacji statycznej w kierunku budowy infrastruktury, która może obsłużyć długoterminowe rozumowanie.

Jakie są najbardziej przekonywujące przypadki użycia, które wymagają tego następnego etapu AI, i gdzie obecne systemy oparte na Transformerach zawodzą?

Wiele innowacji rozszerzyło funkcjonalność AI generatywnej, aby szybko adaptować się do nowych informacji i głęboko polegać na “czasie na zadanie”. Jednak nic dotąd nie było w stanie zastąpić zatrudnienie bardzo utalentowanej osoby.

Bardzo szybka i prosta odpowiedź brzmi: mówimy o każdym zadaniu, które wymaga obecnie więcej niż 2 godziny i 17 minut spójnej pracy eksperta. To jest obecny limit GPT5 według METER.

Mieliśmy wspaniałe dyskusje z partnerami projektowymi w przedsiębiorstwach, które wymagają głębokiej personalizacji, modeli, które uczą się na miejscu z rzadkimi danymi, i bezpieczeństwa wdrożenia.

BDH sprawia, że jest dość proste dla przedsiębiorstwa, aby podejmować bardzo złożone procesy, takie jak:

• Zamknięcie kwartału dla spółki giełdowej
• Dynamiczna generacja następnych najlepszych działań w środowiskach o wysokim ryzyku jest bardzo istotna zarówno w sprzedaży, jak i obronie.
• Zarządzanie inwestycjami

NATO już korzysta z technologii Pathway do przetwarzania danych wojskowych i społecznych w czasie rzeczywistym, umożliwiając systemom planistycznym adaptację w miarę ewolucji sytuacji. La Poste wykorzystuje Live AI Pathway do dynamicznego zarządzania swoimi operacjami w czasie rzeczywistym. Branże takie jak finanse i opieka zdrowotna, gdzie dane są rzadkie lub wrażliwe, mogą skorzystać z modeli, które wymagają mniej danych, ale dostarczają głębsze spojrzenia i bardziej niezawodne osądy.

Możesz podzielić się przykładami, jak organizacje takie jak NATO, La Poste czy Formula 1 zastosowały Waszą technologię i jaki wpływ ona wywarła?

NATO, La Poste i zespoły Formuły 1 są już wczesnymi użytkownikami technologii Pathway.

Pathway oferuje NATO solidną i innowacyjną technologię przetwarzania danych, aby odblokować nowe możliwości dla krytycznych zastosowań w skali. Z naszym funkcjonalnym demonstratorem, Reinforcement Enablement Simulation Tool (REST), opracowaliśmy kamień węgielny dalszego rozwoju rozwiązań AI wspieranych przez NATO. Używając Pathway do połączenia otwartych danych, przyspieszyliśmy świadomość sytuacyjną i doprowadziliśmy ją do poziomu, jaki NATO wymagał, aby pomyślnie działać w latach 2020.

La Poste wykorzystuje Pathway do usprawnienia procesów związanych z ich jednostkami transportowymi. Z Pathway Framework, La Poste automatycznie przewiduje swoje operacje w czasie rzeczywistym i generuje żywe analizy jakościowe swoich operacji transportowych. Z Pathway, firma była w stanie dynamicznie zoptymalizować swoją logistykę, zmniejszając czas oczekiwania, czas przetwarzania / czas oczekiwania i zwiększając niezawodność. Ponadto, osiągnęli znaczne redukcje kosztów operacyjnych (50% redukcja w niektórych przypadkach).

Zespół Formuły 1 wykorzystuje Pathway, aby dostosować strategię w warunkach rzeczywistych i pod presją. Firma chciała platformę, na której użytkownicy końcowi mogliby tworzyć funkcje zdefiniowane przez użytkownika (UDF) niezależnie i zaspokajać różne potrzeby biznesowe, od e-sportu / symulacji wyścigów do samochodów i wyścigów Formuły 1. Pathway Live Data Framework umożliwia zaawansowane transformacje danych w zespole Formuły 1 z najniższą latencją (90-krotnie szybsze prędkości przetwarzania niż wcześniej).

Jakie są największe przeszkody w wdrożeniu systemów adaptacyjnych w branżach takich jak opieka zdrowotna czy obrona, i jak je rozwiązuje?

Z racji swojej konstrukcji, bieżące LLM generują treści, które są “nowe” bez prawdziwej oceny – nazwijmy to “gen” w gen AI. Wiele wysoko uregulowanych branż potrzebuje zarządzania przez definicję i niechętnie wdraża procesy biznesowe AI bez powtarzalności, zaufania i obserwowalności. Ironicznie, aby wdrożyć AI, te przedsiębiorstwa często “upraszczają” funkcjonalność i wprowadzają dodatkową złożoność, aby zapewnić zgodność z przepisami.

Z racji swojej konstrukcji, BDH umożliwia przedsiębiorstwu obserwować i adaptować się do tego, co dzieje się wewnątrz modelu. Ta obserwowalność na długich okresach “rozumowania” daje przedsiębiorstwu zaufanie do podejmowania dłuższych, bardziej złożonych procesów biznesowych. BDH jest, z racji swojej konstrukcji, zarówno obserwowalny, jak i świadomy osi czasu procesów biznesowych. Nie ma potrzeby idealnych, ogromnych zbiorów danych do uczenia, nie ma potrzeby niezwykle długich kontekstów okien, ani logiki klejącej do obserwowalności.

Jakie są kluczowe rozważania etyczne lub środki bezpieczeństwa, które są niezbędne, gdy systemy AI zaczynają uczyć się i adaptować w czasie rzeczywistym?

Systemy, które uczą się z doświadczeniem, mają w rzeczywistości lepsze szanse na to, aby być bezpieczne niż obecne systemy oparte na Transformerach. Jednym z elementów jest to, że z ciągłym uczeniem się mają szansę samokorygować i zaktualizować swoje wcześniejsze założenia, jeśli były one błędne.

Aby zapewnić bezpieczeństwo takich systemów, muszą one otrzymywać informacje zwrotne w czasie. Co oznacza, że musimy je stale zaopatrywać w nowe dane i potencjalnie zapewnić pętle informacji zwrotnej, aby zrozumieć skutki ich własnego działania. To jest bliskie uczeniu się wzmocnionemu.

Po drugie, model oparty na BDH oferuje interpretowalność, co ułatwia zrozumienie, jak działa, dając ludziom lepszą kontrolę nad nimi.

Co byłoby niezbędne, aby “post-Transformers” paradigma stała się dominująca w społeczności AI?

Model na rynku, który jest niezwykle użyteczny i ma znacznie niższe koszty inferencji, przy jednoczesnym zwiększeniu szybkości. Wierzymy, że jest to wygrana na rynku, szczególnie w przedsiębiorstwach.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Pathway.