Zuzanna Stamirowska, medgrundare och VD för Pathway – Intervjuer

Zuzanna Stamirowska, medgrundare och VD för Pathway, är en forskare som tidigare arbetade med emergenta fenomen och storskalig nätverksutveckling. Hennes projekt har erkänts av den amerikanska nationella vetenskapsakademien, och hon har en doktorsexamen i komplexa system. Zuzanna, tillsammans med CTO Jan Chorowski och CSO Adrian Kosowski, leder ett team som redan har byggt öppna AI-verktyg med över 62 000 stjärnor på GitHub.

Pathway omdefinierar hur AI-modeller tänker, med målet att skapa system som fungerar kontinuerligt och anpassningsbart snarare än i batcher. Bakom kulisserna möjliggör verktygen och arkitekturen att modellerna kan bearbeta, lära och utvecklas i realtid. Företaget har lockat till sig stöd från framstående personer som Lukasz Kaiser (meduppfinnare av Transformers) och framstående ventureföretag.

Vad motiverade dig att starta Pathway, och hur har din bakgrund inom komplexa system, spelteori och emergenta fenomen format företagets vision och tekniska riktning?

Vi ville skapa AI som tänker och anpassar sig som människor. Vi insåg att detta innebär AI-system (djupinlärningsmodeller eller maskinlärningspipeliner byggda av ett stort antal byggstenar) som kan lära sig kontinuerligt baserat på data från miljön, bli bättre med erfarenhet och ibland “korrigera” sina tidigare vyer av världen. Vi har faktiskt fått en hel del uppmärksamhet kring ämnet “maskinell glömska”. Utöver modellerna behövdes ett helt lager av ingenjörskap för att fånga data vid källan och mata in den direkt i dynamiska system.

Eftersom jag har arbetat med framväxt i komplexa nätverk, utvecklade jag ett antal hypoteser som vi tillämpade direkt eller nästan direkt i BDH. Det är faktiskt ganska roligt att jag gjorde ett par vad med mina kollegor (Adrian, CSO, och Jan, CTO) och vann ett par flaskor riktigt bra konjak. Först trodde vi att naturlig intelligens resulterar från en emergent struktur och handling av neuroner i hjärnan (detta är uppenbart, inget vad här). Andra, från min tidigare forskning, visste jag att funktionen formar nätverket (vann detta vad). I tidigare arbeten upptäckte jag detta för handel, och neurovetenskapsmän hade studerat detta för nerver och sinnen i möss etc. Tredje, var det faktum att denna formning av nätverksstruktur måste följa vissa mycket lokala regler direkt länkade till den så kallade “grannskapet” för varje nätverksplats (i detta fall är en nod en neuron) (vann detta vad). De andra bitarna kom från min kunskap om partikelsystem – tänk till exempel magnetism – där partiklarna justerar sina spinn för att matcha ett externt fält och skapa någon form av “spontan ordning”. Detta var den sortens matematik som jag använde medan jag arbetade med spelteori på grafer. Genom att kombinera allt detta, från företagets allra första dag, hade vi en stark övertygelse om att sparsitet (grafliknande strukturer) skulle vara en viktig sten i AI:s framsteg.

Att ta hänsyn till tiden var avgörande och ganska karakteristiskt för min bakgrund, eftersom framväxt vanligtvis sker över tid.

När du startade företaget 2020, vad var dina tidigaste hypoteser om vad framtida AI-system borde göra annorlunda, och hur har dessa åsikter utvecklats?

Vi hade en stark övertygelse från början att AI behövde vara levande, anpassningsbar och integrerad i stora processer. Den borde lära sig direkt från källan, med den råaste data som möjligt.

Först gjorde vi detta för mer klassiska maskinlärningsmetoder, och på vägen byggde vi lager av ingenjörskap som möjliggör att sådana system kan distribueras lätt i den verkliga världen. Nu har vi tagit denna approach till djupinlärning.

Vi visste att elementen tid och struktur (nätverk) skulle vara nyckeln för att främja AGI. Vi har detta skrivet i några av våra grundläggande dokument från 2020.

Kan du gå igenom den “post-Transformer”-arkitektur du introducerar och hur den skiljer sig från nuvarande Transformer-baserade system?

Vår nya arkitektur, kallad Baby Dragon Hatchling (BDH), kopplar formellt hur Transformers bearbetar information med hur resonemang uppstår i hjärnan.
BDH beter sig som ett fysiskt system: en hjärnliknande datormodell där neuroner gör ett samarbetsinsats för att upptäcka nästa, mest relevanta faktum. Kontextuellt resonemang är inte begränsat av ingenjörsmässiga begränsningar, såsom den fasta kontextlängden för Transformer, utan snarare skalar med antalet neuroner i modellen.

Om vi sätter allt detta i mer tekniska termer, till skillnad från i Transformer, har vi i BDH linjär uppmärksamhet, sparsa nyckel-frågevektorer och inga begränsningar för kontextfönstrets storlek.

Denna approach öppnar dörren för system som lär sig medan de utför, upprätthåller långa kedjor av resonemang och anpassar sig kontinuerligt i kontext.

En kärnfunktion i systemet är lokalitet: viktig data är belagd precis intill de platser där den bearbetas. Detta minimerar kommunikation och eliminerar den mest smärtsamma flaskhalsen för resonemangsmodeller under inferens: minnes-till-kärn-bandbredd.

Hur inspireras din approach av mänskligt resonemang, särskilt i att möjliggöra anpassningsförmåga och kontinuerligt lärande utan omträning?

BDH bringar naturlig intelligens och naturlig intelligens närmare varandra.

Denna arkitektur är inspirerad av hur neuroner och synapser fungerar i hjärnan. Den kartlägger biologiska uppmärksamhetsmekanismer till den beräkningsmässiga uppfattningen av uppmärksamhet i maskinlärning, och skapar en skalbar bro mellan Transformers och hjärnan.

BDH bringar uppmärksamhet nära modellparametrar, och presenterar dem som två reflektioner av samma hjärnliknande systemdynamik, med uppmärksamhet som ändras i en snabb takt när nya fakta blir kända under resonemang, och modellparametrar som ändras långsammare när systemet ändrar sina långsiktiga vanor. Detta är närmare hur vi tror att resonemang fungerar i hjärnan.

Vi ser BDH som en milstolpe mot utformningen av AI-system som resonemang mitt i uppgiften, förbättras med erfarenhet och anpassar sig utan omträning – egenskaper vi associerar med mänskligt resonemang.

En av utmaningarna inom AI är att balansera stabilitet med anpassningsförmåga – hur säkerställer du att system kan lära sig i realtid utan att förlora tidigare kunskap?

BDH förlitar sig på sin skalfria struktur och lokaliserade neuron-tillstånd för att upprätthålla resonemang under långa tidsperioder, och balanserar stabilitet och förmågan att integrera ny kunskap och observationer. Denna naturliga hälsobalans är lätt att extrahera och följa under en modells livstid.

Med BDH placerar vi resonemang som hörnstenen i intelligens. Med det aktuella arbetet gör vi framsteg på en hypotes om rollen av kunskap i stora språkmodeller: det handlar inte så mycket om vad som är “sant”, utan vad som är “användbart” i en given kontext för att främja en given kedja av resonemang. Till exempel, om kunskap är kontextualiserad, finns det plötsligt ingen motsättning mellan vår värld som följer naturlagarna och det faktum att vi känner till en folktale som tillåter existensen av feer och magi. På samma sätt finns det ingen motsättning för en modell som överväger flera olika prognoshypoteser, med mer och mindre optimistiska antaganden, i en enda kedja av tankar.

Modeller baserade på BDH förvärvar nya fakta under sin livstid på ett kontextualiserat sätt. De kan självkorrigera på grund av detta. Genom att exponera lätta att följa statistik över neuronaktivitet och granulär kontroll över kunskapsöverföring från kontext till modellparametrar, hjälper arkitekturen till att minska risken för “föråldrade” kontexter som dyker upp vid en olämplig tidpunkt.

Vilka är de största tekniska kompromisserna när man bygger en live dataprocessormotor som kan upprätthålla dessa funktioner i skala?

Pathways företagserbjudande förlitar sig på den snabbaste dataprocessormotorn på marknaden. Den motorn utgör grunden för vår förmåga att hantera realtidsinmatningar och reagera på ny information med låg latens. Med den aktuella BDH-genombrottet säkerställer vi att denna realtidsanpassning sträcker sig så långt som de grundläggande AI-modellerna som används i distributioner. Vårt övergripande mål för storskaliga distributioner är att gå bort från statisk optimering mot att bygga infrastruktur som kan hantera långsiktigt resonemang.

Vilka är de mest övertygande användningsfallen som verkligen kräver denna nästa fas av AI, och var brister nuvarande Transformer-baserade system?

Många innovationer har utvidgat funktionaliteten hos generativ AI för att anpassa sig snabbt till ny information och förlita sig djupt på “tid på uppgift”. Men ingenting har ännu kunnat ersätta anställning av en mycket begåvad person.

Det mycket snabba och raka svaret är att vi pratar om vilken uppgift som helst som för närvarande kräver mer än 2 timmar och 17 minuters sammanhängande arbete av en mänsklig expert. Detta är den aktuella gränsen för GPT5 enligt METER.

Vi har haft utmärkta diskussioner med designpartners i företaget som kräver djup personalisering, modeller som lär sig på jobbet från sällsynta data och säkerheten i distributionen.

BDH gör det relativt enkelt för ett företag att tackla mycket komplexa processer som:

• Att stänga ett kvartal för ett publikt företag
• Dynamisk generering av nästa bästa handlingsalternativ i högriskmiljöer är mycket relevant i både försäljning och försvar.
• Investeringshantering

NATO använder redan Pathways teknologi för att bearbeta live militär och social data, och möjliggör planeringssystem som anpassar sig allteftersom situationen utvecklas. La Poste använder Pathways Live AI för att dynamiskt hantera sin verksamhet i realtid. Branscher som finans och hälsovård, där data är sällsynt eller känslig, kan dra nytta av modeller som kräver mindre data men ger djupare insikter och mer tillförlitliga bedömningar.

Kan du dela exempel på hur organisationer som NATO, La Poste eller Formula 1 har tillämpat din teknologi och den påverkan det har haft?

NATO, La Poste och Formula 1-lag är redan tidiga användare av Pathways teknologi.

Pathway erbjuder NATO robust och innovativ dataprocessorteknologi för att låsa upp nya förmågor för kritiska användningsområden i skala. Med vår funktionsdemonstrator, Reinforcement Enablement Simulation Tool (REST), utvecklade vi hörnstenen för ytterligare utveckling av AI-stödda lösningar till NATO. Genom att använda Pathway för att ansluta öppen källkod har vi påskyndat situationsmedvetenhet och tagit den till den nivå som NATO krävde för att framgångsrikt verka i 2020-talet.

La Poste använder Pathway för att förbättra processer relaterade till deras transportenheter. Med Pathway Framework förutser La Poste automatiskt sin verksamhet i realtid och genererar live kvalitativ analys av deras transportverksamhet. Med Pathway har företaget kunnat optimera sin logistik dynamiskt, minska ETAs, bearbetningstider / ledtider och öka tillförlitligheten. Dessutom har de uppnått betydande minskningar av driftskostnader (50% minskning av TCO i vissa fall).

Formula 1-racingteam använder Pathway för att anpassa sin strategi under högt tryck, realtidsförhållanden. Företaget ville ha en plattform för användardefinierade funktioner (UDF) som kunde skapas oberoende av olika affärsbehov, från e-sport/sim-racing till bilar och formelracing. Pathways Live Data Framework möjliggör avancerade dataomvandlingar i F1-racingteam med den lägsta latensen (90 gånger snabbare bearbetningshastigheter än tidigare).

Vilka är de största hindren för att distribuera anpassningsbara system i branscher som hälsovård eller försvar, och hur hanterar du dem?

Genom design genererar nuvarande LLM innehåll som är “nytt” utan verklig bedömning – kalla det “gen” i gen AI. Många starkt reglerade branscher behöver styrning per definition och är ovilliga att distribuera AI-drivna affärsprocesser utan återupprepningsbarhet, tillförlitlighet och observerbarhet. Ironiskt nog “dummar” dessa företag ofta ner funktionaliteten och introducerar ytterligare komplexitet för att underlätta regelefterlevnad.

Genom design möjliggör BDH att ett företag kan observera och anpassa sig till vad som händer inom modellen. Denna observerbarhet under långa tidsperioder av “resonemang” ger företaget förtroendet att tackla längre, mer komplexa affärsprocesser. BDH är, genom design, både observerbar och tidaxelaffärsprocessmedveten. Inga perfekta, enorma datamängder för lärande behövs, inga extremt långa kontextfönster eller limlogik för observerbarhet behövs.

Vilka etiska överväganden eller skyddsåtgärder är avgörande när AI-system börjar lära sig och anpassa sig i realtid?

System som lär sig med erfarenhet har faktiskt bättre chanser att vara säkra än de nuvarande, Transformer-baserade systemen. En del av detta är det faktum att de med kontinuerligt lärande har en chans att självkorrigera och uppdatera sina förutfattade meningar om de var fel.

För att säkerställa säkerheten för sådana system behöver de feedback över tid. Vilket innebär att vi måste fortsätta mata dem med färsk data och potentiellt säkerställa feedbackloopar för att de ska förstå effekterna av sin egen funktion. Detta är nära Relativ Lärande.

Andra, en modell baserad på BDH erbjuder tolkbarhet som gör det lättare att förstå hur den fungerar, vilket ger människor bättre kontroll över dem.

Vad skulle det ta för en “post-Transformer”-paradigm att bli mainstream inom AI-gemenskapen?

En modell ute på marknaden som är extremt användbar och har betydligt lägre kostnader för inferens samtidigt som den är snabbare. Vi tror att det finns en marknadsseger att uppnå, särskilt inom företaget.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Pathway.