Zuzanna Stamirowska, Co-Founder og CEO af Pathway – Interview Serie

Zuzanna Stamirowska, Co-Founder og CEO af Pathway, er en forsker, der er blevet bygger, og som tidligere har arbejdet med emergente fænomener og storstilets netværksudvikling. Hendes projekter er blevet anerkendt af den amerikanske National Academy of Sciences, og hun har en ph.d. i komplekse systemer. Zuzanna, sammen med CTO Jan Chorowski og CSO Adrian Kosowski, leder et hold, der allerede har bygget åbne AI-værktøjer med over 62.000 stjerner på GitHub.

Pathway genopfinder, hvordan AI-modeller tænker, med det mål at skabe systemer, der opererer kontinuerligt og adaptivt i stedet for i batcher. Bag kulisserne muliggør deres værktøjer og arkitektur, at modeller kan behandle, lære og udvikle sig i realtid. Selskabet har tiltrukket støtte fra kendte personer som Lukasz Kaiser (medopfinder af Transformers) og prominente venturefirmaer.

Hvad motiverede dig til at lancere Pathway, og hvordan har din baggrund i komplekse systemer, spilteori og emergente fænomener formet selskabets vision og tekniske retning?

Vi ville gerne lave AI, der tænker og tilpasser sig som mennesker. Vi indså, at dette indebærer AI-systemer (dybe læringmodeller eller maskinlæringsrørledninger bygget af en større mængde byggesten), der ville være i stand til at lære kontinuerligt på basis af data fra omgivelserne, blive bedre med erfaring og undertiden “korrigere” deres tidligere syn på verden. Vi fik faktisk en del dækning af emnet “maskinlæring af unlearning”. Oven på modellerne havde sådanne systemer brug for et helt lag af ingeniørarbejde for at fange data ved kilden og føde det straks ind i dynamiske systemer.

Da jeg havde arbejdet med fremkomst i komplekse netværk, udviklede jeg en række hypoteser, som vi endte med at anvende direkte eller næsten direkte i BDH. Faktisk gjorde jeg et par væddemål med mine kolleger (Adrian, CSO, og Jan, CTO), og jeg vandt et par flasker rigtig god cognac. Først troede vi, at naturlig intelligens skyldes en emergent struktur og handling af neuroner i hjernen (det er åbenlyst, ingen væddemål her). Anden, fra min tidligere forskning, vidste jeg, at funktionen former netværket (vandt dette væddemål). I tidligere arbejde opdagede jeg dette for handel, og neuroforskere havde studeret dette for nerver og sanser hos mus og lignende. Tredje var, at denne formning af netværksstruktur må følge nogle meget lokale regler direkte forbundet med det såkaldte “nabolag” af hver netværksplacering (i dette tilfælde er en node en neuron) (vandt dette væddemål). De andre dele kom fra min viden om partikelsystemer – tænk på f.eks. magnetisme – hvor partiklerler justerer deres spin til et ydre felt og skaber en slags “spontan orden”. Dette var den slags matematik, jeg brugte, mens jeg arbejdede med spilteori på grafer. Ved at kombinere alt dette havde vi fra selskabets første dag en stærk overbevisning om, at sparsomhed (graf-lignende strukturer) ville være en nøglesten i udviklingen af AI.

At tage højde for en forestilling om tid var kritisk og også ret karakteristisk for min baggrund, fordi fremkomst normalt sker over tid.

Når du lancerede selskabet i 2020, hvilke var dine tidligste hypoteser om, hvad fremtidige AI-systemer skulle gøre anderledes, og hvordan er disse synspunkter udviklet?

Vi havde en stærk overbevisning fra starten af, at AI skulle være levende, adaptiv og integreret i store processer. Det skulle lære direkte fra kilden med de råeste data muligt.

Først gjorde vi det for mere klassiske maskinlæringsmetoder, og på vej, byggede vi lag af ingeniørarbejde, der muliggør, at sådanne systemer kan deployes let i den virkelige verden. Nu har vi bragt denne tilgang til dybe læring.

Vi vidste, at elementerne tid og struktur (netværk) ville være nøglefaktorer for fremgangen mod AGI. Vi har dette skrevet i nogle af vores grundlæggende dokumenter fra 2020.

Kan du føre os igennem den “post-Transformer”-arkitektur, du introducerer, og hvordan den adskiller sig fra nuværende Transformer-baserede systemer?

Vores nye arkitektur, kaldet Baby Dragon Hatchling (BDH), forbinder formelt, hvordan Transformers behandler information med, hvordan resonans opstår i hjernen.
BDH opfører sig som et fysisk system: en hjerne-lignende beregningsmodel, hvor neuroner samarbejder om at opdage den næste, mest relevante faktum. Kontekstuel resonans er ikke begrænset af ingeniør-mæssige begrænsninger, såsom den faste kontekstlængde af Transformer, men skalerer med antallet af neuroner i modellen.

Når vi sætter alt dette i mere tekniske vendinger, har vi i BDH lineær opmærksomhed, sparsomme nøgle-søgevektorer og ingen begrænsninger på kontekstvinduets størrelse.

Dette åbner døren for systemer, der kan lære, mens de udfører, opretholde lange kæder af resonans og tilpasse sig kontinuerligt i kontekst.

En kernefunktion i systemet er lokalitet: vigtige data er placeret lige ved siden af de steder, hvor de behandles. Dette minimiserer kommunikation og eliminerer den mest smertefulde af alle flaskehalse for resonansmodeller under inferens: hukommelse-til-kerne-båndbredde.

Hvordan får din tilgang inspiration fra menneskelig resonans, især i at aktivere tilpasning og kontinuerlig læring uden genoptræning?

BDH bringer naturlig intelligens og naturlig intelligens tættere på hinanden.

Denne arkitektur er inspireret af, hvordan neuroner og synapser fungerer i hjernen. Den kartografiserer biologiske opmærksomheds-mekanismer over på den beregningsmæssige opfattelse af opmærksomhed i maskinlæring, og skaber en skalerbar bro mellem Transformers og hjernen.

BDH bringer opmærksomhed tæt på modellens parametre, og præsenterer dem som to refleksioner af samme hjerne-lignende system-dynamik, hvor opmærksomhed ændrer sig hurtigt, når nye fakta bliver kendt under resonans, og modellens parametre ændrer sig langsommere, når systemet ændrer sine lange habits. Dette er tættere på, hvordan vi tror, resonans fungerer i hjernen.

Vi ser BDH som en milepæl på vej mod design af AI-systemer, der resonrerer midt i en opgave, forbedrer sig med erfaring og tilpasser sig uden genoptræning – egenskaber, vi associerer med menneskelig resonans.

En af udfordringerne i AI er at balancere stabilitet med tilpasning – hvordan sikrer du, at systemer kan lære i realtid uden at miste tidligere viden?

BDH afhænger af sin skala-frie struktur og lokale neuron-tilstande for at opretholde resonans over lange tidsperioder, og balancerer stabilitet og evnen til at integrere ny viden og observationer. Denne naturlige sundhedsbalance er let at udtrække og følge over modellens livstid.

Med BDH placerer vi resonans som hjørnestenen i intelligens. Med det nuværende arbejde gør vi fremskridt på en hypotese om rollen af viden i store sprogmodeller: det er ikke så meget om, hvad der er “sandt”, men hvad der er “nyttigt” i en given kontekst for at fremme i en given kæde af resonans. For eksempel, hvis viden er kontekstualiseret, er der pludselig ingen modsætning mellem vores verden, der følger love, og det faktum, at vi kender en folkeeventyr, der tillader eksistensen af feer og magi. På samme måde er der ingen modsætning for en model, der overvejer flere forskellige prognosehypoteser med mere og mindre optimistiske antagelser i en enkelt tankegang.

Modeller baseret på BDH erhverver nye fakta under deres livstid på en kontekstualiseret måde. De kan selvkorrigere på grund af det. Ved at eksponere lette at følge statistik over neuronaktivitet og granuleret kontrol over overførsel af viden fra kontekst til modellens parametre, hjælper arkitekturen med at dæmpe risikoen for “forældede” kontekster, der dukker op på et uheldigt tidspunkt.

Hvad er de tekniske kompromiser i at bygge en live data-behandlingssmotor, der kan opretholde disse kapaciteter i stor skala?

Pathways enterprise-tilbud afhænger af den hurtigste data-behandlingssmotor på markedet. Den motor danner grundlag for vores evne til at håndtere realtidsindgange og reagere på ny information med lav ventetid. Med den nuværende BDH-gennembrud sikrer vi, at denne realtids-tilpasning strækker sig så langt som de grundlæggende AI-modeller, der bruges i installationer. Vores overordnede mål for store installationer er at bevæge sig væk fra statisk optimering og mod at bygge infrastruktur, der kan håndtere langsigtede resonans.

Hvad er de mest overbevisende brugstilfælde, der virkelig kræver dette næste trin i AI, og hvor falder nuværende Transformer-baserede systemer kort?

Mange innovationer har udvidet funktionaliteten af generativ AI til at tilpasse sig hurtigt til ny information og til at afhænge dybt af “tid på opgaven”. Men intet har endnu kunnet erstatte ansættelse af en højt talentfuld person.

Det meget hurtige og direkte svar er, at vi taler om enhver opgave, der kræver mere end 2 timer og 17 minutters koherent arbejde af en menneskelig ekspert. Dette er den nuværende grænse for GPT5 ifølge METER.

Vi har haft gode diskussioner med designpartnere i enterprise, der kræver dyb personliggørelse, modeller, der lærer på arbejdet fra sjældne data, og sikkerheden ved installation.

BDH gør det relativt let for en enterprise at tackle meget komplekse processer såsom:

• At lukke et kvartal for et offentligt selskab
• Dynamisk generering af den næste bedste handlingsplan i højrisiko-miljøer er højst relevant i både salg og forsvar.
• Investeringssammenhæng

NATO bruger allerede Pathways teknologi til at behandle live militær- og socialdata, og muliggør planlægnings-systemer, der tilpasser sig, mens situationer udvikler sig. La Poste udnytter Pathways Live AI til at dynamisk styre deres operationer i realtid. Brancher som finans og sundhed, hvor data er sjældne eller følsomme, kan drage fordel af modeller, der kræver mindre data, men leverer dybere indsigt og mere pålidelige domme.

Kan du dele eksempler på, hvordan organisationer som NATO, La Poste eller Formula 1 har anvendt din teknologi og den indvirkning, det har haft?

NATO, La Poste og Formula 1-hold er allerede tidlige brugere af Pathway-teknologi.

Pathway tilbyder NATO robust og innovativ data-behandlingsteknologi til at låse op for nye kapaciteter til kritisk brug i stor skala. Med vores funktions-demonstrator, Reinforcement Enablement Simulation Tool (REST), udviklede vi hjørnestenen for yderligere udvikling af AI-understøttede løsninger til NATO. Ved at bruge Pathway til at tilslutte åbent kilde-data har vi accelereret situationsbevidsthed og bragt den op på det niveau, som NATO krævede for at operere succesfuldt i 2020’erne.

La Poste udnytter Pathway til at forbedre processer relateret til deres transportenheder. Med Pathway Framework kan La Poste forudse deres operationer automatisk i realtid og generere live kvalitativ analyse af deres transportoperationer. Med Pathway har selskabet kunnet optimere deres logistik dynamisk, reducere ventetider, behandlingstider / ledtider og øge pålideligheden. Derudover har de opnået betydelige reduceringer i operationsomkostninger (50% reduktion i TCO i visse tilfælde).

Formula 1-racingshold udnytter Pathway til at tilpasse strategi under højtryks-, realtidsbetingelser. Selskabet ønskede en platform, hvor slutbrugere kan oprette brugerdefinerede funktioner (UDF’er) uafhængigt og føde forskellige forretningsbehov fra e-sport/sim-racing til biler og formel-racing. Pathways Live Data Framework muliggør avanceret data-transformation på F1-racingshold med den laveste ventetid (90 gange hurtigere behandling end før).

Hvad er de største hindringer for at deployere adaptive systemer i brancher som sundhed eller forsvar, og hvordan adresserer du dem?

Af design genererer nuværende LLM’er indhold, der er “nyt” uden rigtig dømmekraft – kalder det “gen” i gen AI. Mange højt regulerede brancher har brug for styre og reguleringskrav, og er tilbageholdende med at deployere AI-drevne forretningsprocesser uden gentagenhed, tillid og overvågning. Ironisk nok deployer disse virksomheder ofte “dummere” funktionalitet og introducerer ekstra kompleksitet for at sikre overholdelse af regler.

Af design muliggør BDH, at en virksomhed kan overvåge og tilpasse, hvad der sker inden for modellen. Denne overvågning over lange tidsperioder af “resonans” giver virksomheden tilliden til at tackle længere, mere komplekse forretningsprocesser. BDH er, af design, både overvågelig og tidsakse-forretningsproces-bevidst. Ingen behov for det perfekte, enorme datasæt for læring, ingen behov for ekstremt lange kontekstvinduer eller lim-logik til overvågning.

Hvad er de etiske overvejelser eller sikkerhedsforanstaltninger, der er essentielle, når AI-systemer begynder at lære og tilpasse sig i realtid?

Systemer, der lærer med erfaring, har faktisk bedre chancer for at være sikre end nuværende Transformer-baserede systemer. Et element heri er, at de med kontinuerlig læring har en chance for at selvkorrigere og opdatere deres forudfattede forestillinger, hvis de var forkerte.

For at sikre sikkerheden af sådanne systemer, har de brug for feedback over tid. Det betyder, at vi skal fortsætte med at føde dem med frisk data og muligvis sikre feedback-løkker, så de kan forstå effekterne af deres egen funktionsmåde. Dette er tæt på Forstærkninglæring.

Anden, en model baseret på BDH tilbyder fortolkning, der gør det lettere at forstå, hvordan den fungerer, og giver mennesker bedre kontrol over dem.

Hvad ville det kræve for en “post-Transformer”-paradigme at blive mainstream over hele AI-fællesskabet?

En model ude på markedet, der er ekstremt nyttig og har betydeligt lavere omkostninger ved inferens, samtidig med at den er hurtigere. Vi tror, der er en markedsvind at opnå, især i enterprise.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Pathway.