Zuzanna Stamirowska, medgrunnlegger og CEO av Pathway – Intervju-serie

Zuzanna Stamirowska, medgrunnlegger og CEO av Pathway, er en forsker som har blitt bygger, og har tidligere arbeidet med emergente fenomener og stor-skala nettverksutvikling. Hennes prosjekter har blitt anerkjent av den amerikanske nasjonale vitenskapsakademiet, og hun har en PhD i komplekse systemer. Zuzanna, sammen med CTO Jan Chorowski og CSO Adrian Kosowski, leder et team som allerede har bygget åpne AI-verktøy med over 62 000 stjerner på GitHub.

Pathway gjenoppretter hvordan AI-modeller tenker, med mål om å skape systemer som opererer kontinuerlig og adaptivt, i stedet for i batcher. Bak kulissene muliggjør verktøyene og arkitekturen at modellene kan prosessere, lære og utvikle seg i sanntid. Selskapet har tiltrukket seg støtte fra kjente personer som Lukasz Kaiser (med-oppretter av Transformers) og fremtredende venture-selskaper.

Hva motiverte deg til å lansere Pathway, og hvordan har din bakgrunn i komplekse systemer, spillteori og emergente fenomener formet selskapets visjon og tekniske retning?

Vi ville lage AI som tenker og tilpasser seg som mennesker. Vi innsett at dette betyr AI-systemer (dyp læring-modeller eller maskinlærings-pipelines bygget av en større mengde byggestener) som ville være i stand til å lære kontinuerlig basert på data fra miljøet, bli bedre med erfaring, og noen ganger “korrigere” sine tidligere syn på verden. Vi fikk faktisk en del dekning på temaet “maskinlæring”. Ovenfor modellene trengte slike systemer en hel lag med ingeniørarbeid for å fange data ved kilde og mata det umiddelbart inn i dynamiske systemer.

Da jeg har arbeidet med emergering i komplekse nettverk, utviklet jeg en rekke hypoteser som vi endte opp med å anvende direkte eller nesten direkte i BDH. Fornøyelig nok gjorde jeg et par veddemål med mine kolleger (Adrian, CSO, og Jan, CTO) og jeg vant et par flasker med svært god konjakk. Først trodde vi at naturlig intelligens resulterer fra en emergent struktur og handling av nevroner i hjernen (dette er åpenbart, ingen veddemål her). Andre, fra min tidligere forskning, visste jeg at funksjonen former nettverket (vant dette veddemålet). Tidligere arbeid hadde jeg oppdaget dette for handel, og nevroforskere hadde studert dette for nerver og sanser hos mus og lignende. Tredje, var det faktum at denne formingen av nettverksstruktur må følge noen svært lokale regler direkte koblet til den såkalte “nabolaget” til hver nettverkslokasjon (i dette tilfelle er en node en nevron) (vant dette veddemålet). De andre delene kom fra min kunnskap om partikkelinteraksjonssystemer – tenk for eksempel magnetisme – hvor partikler justerer sine spinn til et eksternt felt og skaper en slags “spontan orden”. Dette var den type matematikk jeg brukte mens jeg arbeidet med spillteori på grafiske modeller. Ved å sette alt dette sammen, fra selskapets første dag, hadde vi en sterk overbevisning om at sparsomhet (graf-lignende strukturer) ville være en nøkkel til å framskaffe fremgang i AI.

Å ta hensyn til en forestilling om tid var kritisk og ganske karakteristisk for min bakgrunn, fordi emergering vanligvis skjer over tid.

Når du lanserte selskapet i 2020, hva var dine tidligste hypoteser om hva fremtidige AI-systemer skulle gjøre annerledes, og hvordan har disse synene utviklet seg?

Vi hadde en sterk overbevisning fra starten av at AI måtte være levende, adaptiv og integrert i store prosesser. Det måtte lære direkte fra kilde, med de råeste dataene mulig.

Først gjorde vi dette for mer klassiske maskinlærings-tilnærminger, og underveis bygget vi lag med ingeniørarbeid som tillot slike systemer å bli deployet enkelt i den virkelige verden. Nå har vi bragt denne tilnærmingen til dyp læring.

Vi visste at elementene tid og struktur (nettverk) ville være nøkkel til å fremme fremgang mot AGI. Vi har dette skrevet i noen av våre grunnleggende dokumenter fra 2020.

Kan du gå gjennom den “post-Transformer”-arkitekturen du introduserer og hvordan den skiller seg fra nåværende Transformer-baserte systemer?

Vår nye arkitektur, kalt Baby Dragon Hatchling (BDH), kobler formelt hvordan Transformers prosesserer informasjon med hvordan resonnering oppstår i hjernen.
BDH oppfører seg som et fysisk system: en hjernelignende datamodell hvor nevroner samarbeider for å oppdage den neste, mest relevante fakta. Kontekstuell resonnering er ikke begrenset av ingeniør-begrensninger, som den faste kontekstlengden til Transformer, men skalerer med antallet nevroner i modellen.

Ved å sette alt dette i mer tekniske termer, til forskjell fra i Transformer, har vi i BDH lineær oppmerksomhet, sparsomme nøkkel-spørgsmålsvektorer og ingen begrensninger på kontekstvinduet.

Dette åpner døren for systemer som lærer mens de utfører, holder lange kjeder av resonnering og tilpasser seg kontinuerlig i kontekst.

En kjernefunksjon i systemet er lokalitet: viktig data er plassert rett ved siden av stedene hvor det blir prosessert. Dette minimerer kommunikasjon og eliminerer den mest smertefulle av alle flaskehalsene for resonneringsmodeller under inferens: minne-til-kjerne-båndbredde.

Hvordan trekker din tilnærming inspirasjon fra menneskelig resonnering, spesielt i å muliggjøre tilpasning og kontinuerlig læring uten om-trening?

BDH bringer naturlig intelligens og naturlig intelligens nærmere hverandre.

Denne arkitekturen er inspirert av måten nevroner og synapser fungerer i hjernen. Den kartlegger biologiske oppmerksomhetsmekanismer til den komputasjonelle forestillingen om oppmerksomhet i maskinlæring, og skaper en skalerbar bro mellom Transformers og hjernen.

BDH bringer oppmerksomhet nært modell-parametere, og presenterer dem som to refleksjoner av samme hjernelignende system-dynamikk, med oppmerksomhet som endrer seg raskt når nye fakta blir kjent under resonnering, og modell-parametere som endrer seg saktere når systemet endrer sine langevanlige vaner. Dette er nærmere hvordan vi tror resonnering fungerer i hjernen.

Vi ser på BDH som en milepæl mot utformingen av AI-systemer som resonerer midt i oppgaven, forbedrer seg med erfaring og tilpasser seg uten om-trening – egenskaper vi assosierer med menneskelig resonnering.

En av utfordringene i AI er å balansere stabilitet med tilpasning — hvordan sikrer du at systemer kan lære i sanntid uten å miste tidligere kunnskap?

BDH baserer seg på sin skala-frie struktur og lokaliserende nevron-tilstander for å opprettholde resonnering over lange tidsperioder, og balanserer stabilitet og evnen til å integrere ny kunnskap og observasjoner. Denne naturlige helsebalansen er enkel å trekke ut og følge over livsløpet til en modell.

Med BDH plasserer vi resonnering som hjørnestenen til intelligens. Med det nåværende arbeidet gjør vi fremgang på en hypotese om rollen til kunnskap i store språkmodeller: det er ikke så mye om hva som er “sant”, men hva som er “nyttig” i en gitt kontekst for å fremme i en gitt kjede av resonnering. For eksempel, hvis kunnskap er kontekstualisert, er det plutselig ingen motsigelse mellom vår verden som følger naturlovene, og det faktum at vi kjenner en folkefortelling som tillater eksistensen av feer og magi. På samme måte er det ingen motsigelse for en modell som vurdere flere forskjellige prognose-hypoteser, med mer og mindre optimistiske antagelser, i en enkelt tankegang.

Modeller basert på BDH tilegner seg nye fakta under deres livsløp på en kontekstualisert måte. De kan selv-korrigeres på grunn av dette. Ved å eksponere enkelt å følge statistikk over nevronaktivitet og granulert kontroll over kunnskaps-overføring fra kontekst til modell-parametere, hjelper arkitekturen med å begrense risikoen for “foreldet” kontekster som dukker opp på et uheldig øyeblikk.

Hva er de største ingeniør-utfordringene ved å bygge en live data-prosesseringsmotor som kan opprettholde disse evnene i skala?

Pathways bedriftstilbud baserer seg på den raskeste data-prosesseringsmotoren på markedet. Den motoren utgjør vår evne til å håndtere sanntids-innganger og å reagere på ny informasjon med lav forsinkelse. Med den nåværende BDH-gjennombruddet sikrer vi at denne sanntids-tilpasningen utvides så langt som de grunnleggende AI-modellene som brukes i deployeringer. Vårt overordnede mål for store deployeringer er å gå bort fra statisk optimalisering mot å bygge infrastruktur som kan håndtere lang-horisont-resonnering.

Hva er de mest overbevisende bruksområdene som virkelig krever denne neste fasen av AI, og hvor faller nåværende Transformer-baserte systemer kort?

Mange innovasjoner har utvidet funksjonaliteten til generativ AI til å tilpasse seg raskt til ny informasjon og å stole dypt på “tid på oppgaven”. Men ingenting har ennå vært i stand til å erstatte å ansette en svært talentfull person.

Det svært enkle og raskt svar er at vi snakker om enhver oppgave som for tiden krever mer enn 2 timer og 17 minutter med sammenhengende arbeid fra en menneskelig ekspert. Dette er den nåværende grensen for GPT5 ifølge METER.

Vi har hatt flotte diskusjoner med design-partnere i bedriften som krever dyp personalisering, modeller som lærer på jobben fra sjeldne data, og sikkerheten ved deployering.

BDH gjør det relativt enkelt for en bedrift å takle svært komplekse prosesser som:

• Å lukke en kvartal for et børsnotert selskap
• Dynamisk generering av den neste beste handlingen i høyrisk-miljøer er svært relevant både i salg og forsvar.
• Investeringshåndtering

NATO bruker allerede Pathways teknologi til å prosessere live militær- og sosial data, og muliggjør planleggings-systemer som tilpasser seg når situasjonen utvikler seg. La Poste utnytter Pathways Live AI til å dynamisk håndtere sine operasjoner i sanntid. Bransjer som finansielle tjenester og helsevesen, hvor data er sjeldne eller sensitive, kan dra nytte av modeller som krever mindre data, men gir dypere innsikt og mer pålitelige avgjørelser.

Kan du dele eksempler på hvordan organisasjoner som NATO, La Poste eller Formula 1 har anvendt din teknologi og hvilken innvirkning det har hatt?

NATO, La Poste og Formula 1-lag er allerede tidlige brukere av Pathway-teknologi.

Pathway tilbyr NATO robust og innovativ data-prosesserings-teknologi for å låse opp nye muligheter for kritisk bruk i skala. Med vår funksjonell demonstrator, Reinforcement Enablement Simulation Tool (REST), utviklet vi hjørnestenen for videre utvikling av AI-støttede løsninger til NATO. Ved å bruke Pathway til å koble åpne kilde-data, har vi akselerert situasjonsbevissthet og bringt det til det nødvendige nivået som NATO krevde for å operere suksessfullt i 2020-årene.

La Poste utnytter Pathway til å forbedre prosesser relatert til deres transportenheter. Med Pathway-rammeverket forutser La Poste sine operasjoner automatisk i sanntid og genererer live kvalitativ analyse av deres transport-operasjoner. Med Pathway har selskapet kunnet optimalisere sine logistiske prosesser dynamisk, redusere ventetider, prosesseringstider og øke påliteligheten. Videre har de oppnådd betydelige reduksjoner i driftskostnader (50% reduksjon i TCO i noen tilfeller).

Formula 1-racing-laget utnytter Pathway til å tilpasse strategi under høyt-trykk, sanntids-forhold. Selskapet ønsket en plattform for slut-brukere til å opprette brukerdefinerte funksjoner (UDFs) uavhengig, og mata forskjellige forretningsbehov fra e-sport/sim-racing til biler og formel-racing. Pathways Live Data-rammeverk muliggjør avanserte data-transformasjoner på F1-racing-laget med den laveste forsinkelsen (90 ganger raskere prosesseringshastighet enn før).

Hva er de største hindringene for å deployere adaptive systemer i bransjer som helsevesen eller forsvar, og hvordan adresserer du dem?

Ved design, genererer nåværende LLMs innhold som er “nytt” uten virkelig dømmekraft – kall det “gen” i gen AI. Mange høyt regulerte bransjer trenger styring ved definisjon, og er motvillige til å deployere AI-drevne forretningsprosesser uten gjentakelighet, tillit og observasjon. Ironisk nok, for å deployere AI, introduserer disse bedriftene ofte “dumme” funksjoner og introduserer ekstra kompleksitet for å muliggjøre overholdelse av reguleringer.

Ved design, muliggjør BDH at en bedrift kan observere og tilpasse seg hva som skjer inne i modellen. Denne observasjonen over lange tidsperioder av “resonnering” gir bedriften tillit til å takle lengre, mer komplekse forretningsprosesser. BDH er, ved design, både observasjonell og tid-akse-forretnings-prosess-bevisst. Ingen behov for det perfekte, enorme datamengder for læring, ingen behov for ekstremt lange kontekst-vinduer eller lim-logikk for observasjon.

Hva er de etiske overveielser eller sikkerhetstiltak som er essensielle når AI-systemer begynner å lære og tilpasse seg i sanntid?

Systemer som lærer med erfaring har faktisk bedre sjanser til å være trygge enn nåværende Transformer-baserte systemer. Et element av dette er det faktum at de, med kontinuerlig læring, har en sjansen til å selv-korrigeres og oppdatere sine forhåndsgjorte antagelser hvis de var feil.

For å sikre tryggheten til slike systemer, må de få tilbakemelding over tid. Dette betyr at vi må fortsette å mata dem med ferske data, og potensielt sikre tilbakemeldings-løkker for at de skal forstå effektene av deres egen funksjon. Dette er nært beslektet med Forsterkingslæring.

For det andre, tilbyr en modell basert på BDH tolkbarhet, som gjør det enklere å forstå hvordan den fungerer, og gir mennesker bedre kontroll over dem.

Hva ville det ta for en “post-Transformer”-paradigme til å bli mainstream over hele AI-samfunnet?

En modell ute på markedet som er ekstremt nyttig og har betydelig lavere kostnader ved inferens, samtidig som den er raskere. Vi tror det er en markedssuksess å oppnå, spesielt i bedriftsverdenen.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke Pathway.