Zuzanna Stamirowska, mede-oprichter en CEO van Pathway – Interviewreeks

Zuzanna Stamirowska, mede-oprichter en CEO van Pathway, is een onderzoeker die eerder werkte aan emergente fenomenen en de evolutie van grote netwerken. Haar projecten werden erkend door de Amerikaanse Nationale Academie van Wetenschappen, en ze heeft een PhD in Complex Systems. Zuzanna, samen met CTO Jan Chorowski en CSO Adrian Kosowski, leidt een team dat al open AI-tools heeft gebouwd met meer dan 62.000 sterren op GitHub.

Pathway herbeeldt hoe AI-modellen denken, met als doel systemen te creëren die continu en adaptief werken in plaats van in batches. Achter de schermen maken hun tooling en architectuur het mogelijk voor modellen om in real-time te verwerken, te leren en te evolueren. Het bedrijf heeft de steun van vooraanstaande figuren zoals Lukasz Kaiser (co-uitvinder van Transformers) en prominente venturebedrijven.

Wat was uw motivatie om Pathway te lanceren, en hoe heeft uw achtergrond in complexe systemen, speltheorie en emergente fenomenen de visie en technische richting van het bedrijf gevormd?

We wilden AI creëren die denkt en zich aanpast zoals mensen. We realiseerden ons dat dit betekent dat AI-systemen (diepe leermodellen of machine learning-pijpleidingen opgebouwd uit een groter aantal bouwstenen) in staat moeten zijn om continu te leren op basis van gegevens uit de omgeving, beter te worden met ervaring en soms hun eerdere visie op de wereld te “corrigeren”. We hebben veel aandacht gekregen voor het onderwerp “machine unlearning”. Bovenop modellen was een hele laag aan engineering nodig om gegevens bij de bron te verzamelen en deze onmiddellijk in dynamische systemen te voeden.

Door mijn werk aan emergentie in complexe netwerken, heb ik een aantal hypothesen ontwikkeld die we rechtstreeks of bijna rechtstreeks in BDH hebben toegepast. Grappig genoeg heb ik een paar weddenschappen met mijn collega’s (Adrian, CSO, en Jan, CTO) gesloten en heb ik een paar flessen heel goede cognac gewonnen. Ten eerste geloofden we dat natuurlijke intelligentie het resultaat is van een emergente structuur en actie van neuronen in de hersenen (dit is overduidelijk, geen weddenschap hier). Ten tweede wist ik uit mijn eerdere onderzoek dat, in het algemeen, de functie de netwerktopologie vormt (won deze weddenschap). In mijn vorige werk ontdekte ik dit voor handel, en neurologen hadden dit bestudeerd voor zenuwen en zintuigen bij muizen enz. Ten derde was het feit dat deze vorming van netwerktopologie moet volgen uit een aantal zeer lokale regels die rechtstreeks verbonden zijn met de zogenaamde “buurt” van elke netwerksite (in dit geval een knooppunt is een neuron) (won deze weddenschap). De andere onderdelen kwamen uit mijn kennis van deeltjesinteractiesystemen – denk bijvoorbeeld aan magnetisme – waar deeltjes hun spins aanpassen aan een extern veld en een soort “spontane orde” creëren. Dit was de soort wiskunde die ik gebruikte toen ik werkte aan speltheorie op grafieken. Door al dit samen te voegen, hadden we vanaf de eerste dag van het bestaan van het bedrijf een sterke overtuiging dat sparse (grafachtige structuren) een cruciale stap zouden zijn in de vooruitgang van AI.

Het meenemen van een notie van tijd was kritiek en ook vrij karakteristiek voor mijn achtergrond, omdat emergentie meestal plaatsvindt in de loop van de tijd.

Toen u het bedrijf in 2020 lanceerde, wat waren uw vroegste hypothesen over wat toekomstige AI-systemen anders zouden moeten doen, en hoe zijn die opvattingen geëvolueerd?

We hadden vanaf het begin een sterke overtuiging dat AI live, adaptief en geïntegreerd moest zijn in grote processen. Het moest rechtstreeks leren van de bron, met de rauwste gegevens mogelijk.

Eerst deden we dit voor meer klassieke machine learning-benaderingen, en onderweg bouwden we lagen van engineering die het mogelijk maken om dergelijke systemen gemakkelijk in de echte wereld te deployen. Nu hebben we deze benadering doorgevoerd naar diepe leermodellen.

We wisten dat de elementen van tijd en structuur (netwerken) cruciaal zouden zijn voor de vooruitgang naar AGI. We hebben dit opgeschreven in sommige van onze oprichtingsdocumenten uit 2020.

Kunt u ons door de “post-Transformer”-architectuur leiden die u introduceert en hoe deze zich onderscheidt van de huidige Transformer-gebaseerde systemen?

Onze nieuwe architectuur, genaamd Baby Dragon Hatchling (BDH), verbindt formeel hoe Transformers informatie verwerken met hoe redenering in de hersenen ontstaat.
BDH gedraagt zich als een fysiek systeem: een hersen-achtig computermodel waarin neuronen een gezamenlijke inspanning leveren om de volgende, meest relevante feiten te ontdekken. Contextuele redenering is niet beperkt door technische beperkingen, zoals de vaste contextlengte van de Transformer, maar schaalt met het aantal neuronen van het model.

Als we dit in meer technische termen uitleggen, hebben we in BDH, in tegenstelling tot de Transformer, lineaire aandacht, spaarzame sleutel-vraagvectoren en geen limiet op de contextwindowgrootte.

Deze benadering opent de deur naar systemen die leren terwijl ze presteren, langdurige redeneringsketens onderhouden en continu aanpassen in context.

Een kernfunctie van het systeem is lokaliteit: belangrijke gegevens zijn gelegen direct naast de sites waarop ze worden verwerkt. Dit minimaliseert communicatie en elimineert de meest pijnlijke bottleneck voor redeneringsmodellen tijdens inferentie: geheugen-naar-kernbandbreedte.

Hoe trekt uw benadering inspiratie uit menselijke redenering, met name bij het mogelijk maken van aanpasbaarheid en continu leren zonder opnieuw te trainen?

BDH brengt natuurlijke intelligentie en natuurlijke intelligentie dichter bij elkaar.

Deze architectuur is geïnspireerd door de manier waarop neuronen en synapsen in de hersenen werken. Het kaart biologische aandachtsmechanismen naar het computationele begrip van aandacht in machine learning, waarmee een schaalbare brug tussen Transformers en de hersenen wordt gecreëerd.

BDH brengt aandacht dicht bij modelparameters, waarbij deze worden gepresenteerd als twee reflecties van dezelfde hersen-achtige systeemdynamica, met aandacht die snel verandert als nieuwe feiten bekend worden tijdens redenering, en modelparameters die langzamer veranderen als het systeem zijn langetermijn gewoonten verandert. Dit is dichter bij hoe we denken dat redenering in de hersenen werkt.

We zien BDH als een mijlpaal in de richting van het ontwerp van AI-systemen die redeneren tijdens taken, verbeteren met ervaring en aanpassen zonder opnieuw te trainen – eigenschappen die we associëren met menselijke redenering.

Een van de uitdagingen in AI is het vinden van een balans tussen stabiliteit en aanpasbaarheid – hoe zorgt u ervoor dat systemen in real-time kunnen leren zonder hun eerdere kennis te verliezen?

BDH vertrouwt op zijn schaalvrije structuur en gelokaliseerde neuronstaten om redenering over lange tijdshorizon te onderhouden, waarbij stabiliteit en de mogelijkheid om nieuwe kennis en observaties te integreren in evenwicht worden gehouden. Deze natuurlijke gezondheidsbalans is eenvoudig te extraheren en te volgen over de levensduur van een model.

Met BDH plaatsen we redenering als de hoeksteen van intelligentie. Met het huidige werk maken we vorderingen op een hypothese over de rol van kennis in Large Language Models: het gaat niet zozeer om wat “waar” is, maar wat “nutig” is in een bepaalde context om vooruitgang te boeken in een bepaalde redeneringsketen. Als kennis bijvoorbeeld wordt gecontextualiseerd, is er plotseling geen contradictie tussen onze wereld die natuurwetten volgt en het feit dat we een volksverhaal kennen dat het bestaan van feeën en magie toelaat. Op dezelfde manier is er geen contradictie voor een model dat meerdere verschillende prognosehypotheken overweegt, met meer en minder optimistische aannamen, in één keten van gedachten.

Modellen op basis van BDH verwerven nieuwe feiten tijdens hun levensduur op een gecontextualiseerde manier. Ze kunnen zichzelf corrigeren vanwege dit. Door statistieken van neuronactiviteit te bieden en granulaire controle over de overdracht van kennis van context naar modelparameters, helpt de architectuur om het risico van “verouderde” contexten die op een ongelegen moment opduiken te verminderen.

Wat zijn de technische compromissen bij het bouwen van een live dataprocessor die deze mogelijkheden op schaal kan ondersteunen?

Pathway’s enterprise-aanbod vertrouwt op de snelste dataprocessor op de markt. Deze motor ondersteunt onze mogelijkheid om real-time inputs te verwerken en te reageren op nieuwe informatie met lage latentie. Met de huidige doorbraak van BDH, waarborgen we dat deze real-time aanpasbaarheid zich uitstrekt tot de fundamentale AI-modellen die in implementaties worden gebruikt. Ons overkoepelende doel voor grote implementaties is het verlaten van statische optimalisatie en het bouwen van infrastructuur die lange redeneringshorizon kan aan.

Wat zijn de meest overtuigende use cases die echt deze volgende fase van AI vereisen, en waar falen de huidige Transformer-gebaseerde systemen?

Veel innovaties hebben de functionaliteit van generatieve AI uitgebreid om snel aan te passen aan nieuwe informatie en diep te vertrouwen op ‘tijd op taak’. Maar niets heeft nog de mogelijkheid gehad om de inhuur van een zeer getalenteerde persoon te vervangen.

Het zeer snelle en eenvoudige antwoord is dat we het hebben over elke taak die momenteel meer dan 2 uur en 17 minuten van coherente werk van een menselijke expert vereist. Dit is de huidige limiet van GPT5 volgens METER.

We hebben geweldige discussies gehad met ontwerp partners in het bedrijfsleven die diepe personalisatie, modellen die leren op het werk van schaarse gegevens en de beveiliging van implementatie vereisen.

BDH maakt het relatief eenvoudig voor een onderneming om complexe processen aan te pakken, zoals:

• Het afsluiten van een kwartaal voor een beursgenoteerd bedrijf
• Dynamische generatie van de volgende beste actieplannen in high-stakes-omgevingen is zeer relevant in zowel verkoop als verdediging.
• Beleggingsbeheer

NATO gebruikt al Pathway’s technologie om live militaire en sociale gegevens te verwerken, waardoor planningsystemen kunnen worden gemaakt die zich aanpassen aan de evolutie van situaties. La Poste gebruikt Pathway’s Live AI om zijn operaties dynamisch te beheren in real-time. Industrieën zoals financiën en gezondheidszorg, waar gegevens schaars of gevoelig zijn, kunnen profiteren van modellen die minder gegevens nodig hebben maar diepere inzichten en betrouwbaardere oordelen leveren.

Kunt u voorbeelden delen van hoe organisaties zoals NATO, La Poste of Formula 1 uw technologie hebben toegepast en welke impact dit heeft gehad?

NATO, La Poste en Formula 1-teams zijn al vroeg aan de slag gegaan met Pathway-technologie.

Pathway biedt NATO robuuste en innovatieve dataprocessortechnologie om nieuwe capaciteiten te ontgrendelen voor kritieke toepassingen op grote schaal. Met onze functionele demonstrator, het Reinforcement Enablement Simulation Tool (REST), hebben we de hoeksteen ontwikkeld voor verdere ontwikkeling van AI-ondersteunde oplossingen voor NATO. Door open source-gegevens met Pathway te verbinden, hebben we de situatiebewustzijn versneld en op het niveau gebracht dat NATO nodig had om succesvol te opereren in de jaren 2020.

La Poste gebruikt Pathway om processen te verbeteren die verband houden met hun transporteenheden. Met Pathway Framework voorspelt La Poste zijn operaties automatisch in real-time en genereert het live kwalitatieve analyses van zijn transportoperaties. Met Pathway is het bedrijf in staat geweest om zijn logistiek dynamisch te optimaliseren, ETAs, verwerkingstijden / levertijden te verminderen en de betrouwbaarheid te verhogen. Bovendien heeft het bedrijf aanzienlijke verminderingen van operationele kosten behaald (50% vermindering van TCO in sommige gevallen).

Het Formula 1-racingteam gebruikt Pathway om strategie aan te passen onder high-pressure, real-time omstandigheden. Het bedrijf wilde een platform voor eindgebruikers om User-Defined Functions (UDFs) onafhankelijk te creëren en verschillende bedrijfsbehoeften te voeden, van e-sports/sim-racing tot auto’s en Formule 1-racing. Pathway’s Live Data Framework maakt geavanceerde gegevenstransformaties mogelijk bij het Formula 1-racingteam met de laagste latentie (90x snellere verwerkingssnelheden dan voorheen).

Wat zijn de grootste obstakels voor het implementeren van adaptieve systemen in industrieën zoals gezondheidszorg of defensie, en hoe gaat u hiermee om?

Door ontwerp genereren huidige LLMs inhoud die “nieuw” is zonder echte oordeel – noem het de ‘gen’ in gen AI. Veel hoog gereguleerde industrieën hebben governance nodig bij definitie en zijn terughoudend om AI-gedreven bedrijfsprocessen te implementeren zonder herhaalbaarheid, vertrouwen en observeerbaarheid. Irontisch genoeg implementeren deze ondernemingen vaak ‘domme’ functionaliteit en introduceren ze extra complexiteit om te voldoen aan regelgeving.

Door ontwerp maakt BDH het een onderneming mogelijk om te observeren en aan te passen aan wat er gebeurt binnen het model. Deze observeerbaarheid over lange tijdshorizon van ‘redenering’ geeft de onderneming het vertrouwen om langere, complexere bedrijfsprocessen aan te pakken. BDH is, door ontwerp, zowel observeerbaar als tijd-asbedrijfsprocesbewust. Geen behoefte aan perfecte, enorme datasets voor leren, geen behoefte aan extreem lange contextvensters of lijmlogica voor observeerbaarheid.

Wat zijn de ethische overwegingen of waarborgen die essentieel zijn als AI-systemen in real-time leren en aanpassen?

Systemen die leren met ervaring hebben in feite betere kansen om veilig te zijn dan de huidige, Transformer-gebaseerde systemen. Een element hiervan is het feit dat ze met continu leren een kans hebben om zichzelf te corrigeren en hun vooroordelen bij te werken als ze onjuist waren.

Om de veiligheid van dergelijke systemen te garanderen, moeten ze feedback ontvangen over tijd. Wat betekent dat we ze moeten blijven voeden met verse gegevens en potentieel feedbacklussen moeten waarborgen zodat ze de effecten van hun eigen functioneren kunnen begrijpen. Dit is dicht bij Versterkte Leren.

Ten tweede biedt een model op basis van BDH interpreteerbaarheid, waardoor het voor mensen gemakkelijker wordt om te begrijpen hoe het werkt, waardoor mensen beter de controle hebben over hen.

Wat zou het kosten voor een “post-Transformer”-paradigma om mainstream te worden in de AI-gemeenschap?

Een model op de markt dat extreem nuttig is en aanzienlijk lagere inferentiekosten heeft en sneller is. We geloven dat er een marktwinning te behalen valt, vooral in het bedrijfsleven.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Pathway bezoeken.