Zuzanna Stamirowska, spoluzakladatelka a CEO společnosti Pathway – rozhovor

Zuzanna Stamirowska, spoluzakladatelka a CEO společnosti Pathway, je výzkumnice, která se dříve zabývala vznikajícími jevy a evolucí velkých sítí. Její projekty byly uznány americkou Národní akademií věd a má doktorát v oboru komplexních systémů. Zuzanna, spolu s technickým ředitelem Janem Chorowskim a obchodním ředitelem Adrianem Kosowskim, vede tým, který již vytvořil otevřené nástroje pro umělou inteligenci s více než 62 000 hvězdičkami na GitHubu.

Pathway představuje novou cestu, jak umělá inteligence myslí, s cílem vytvořit systémy, které fungují kontinuálně a adaptivně, spíše než v dávkách. V pozadí umožňuje nástrojová a architektonická řešení modelům zpracovávat, učit se a evolucovat v reálném čase. Společnost získala podporu od významných osobností, jako je Lukasz Kaiser (spoluautor Transformerů), a předních venture firem.

Co vás motivovalo k založení Pathway a jak vaše zkušenosti s komplexními systémy, teorií her a vznikajícími jevy ovlivnily vizi a technický směr společnosti?

Chtěli jsme vytvořit umělou inteligenci, která myslí a adaptuje se jako lidé. Došli jsme k závěru, že to znamená, že systémy umělé inteligence (hluboké učení nebo strojové učení postavené z většího počtu stavebních bloků) by měly být schopny učit se kontinuálně na základě dat z prostředí, zlepšovat se s časem a někdy “opravovat” své předchozí názory na svět. Ve skutečnosti jsme dostali značnou publicitu na téma “machine unlearning”. Kromě modelů potřebovaly takové systémy celou vrstvu inženýrství, aby zachytila data na místě a okamžitě je zpracovala do dynamických systémů.

Pracovala jsem na vzniku v komplexních sítích a vyvinula jsem řadu hypotéz, které jsme nakonec aplikovali přímo nebo téměř přímo v BDH. Zajímavé je, že jsem s kolegy (Adrianem, CSO, a Janem, CTO) uzavřela pár sázek a vyhrála pár lahví velmi dobrého koňaku. První hypotéza zněla, že přirozená inteligence je výsledkem vzniku struktury a činnosti neuronů v mozku (to je zřejmé, žádná sázka). Druhá hypotéza, kterou jsem získala ze své předchozí výzkumu, zněla, že funkce formuje síť (vyhrála jsem tuto sázku). V předchozí práci jsem objevila, že to platí pro obchod, a neurovědci to studovali u nervů a smyslů u myší atd. Třetí hypotéza zněla, že tato formace sítě musí následovat velmi lokální pravidla přímo spojená s “sousedstvím” každé sítě (v tomto případě je uzlem neuron). Vyhrála jsem i tuto sázku. Ostatní věci pocházely z mé znalosti systémů interakce částic – například magnetismus – kde částice upravují své spin podle vnějšího pole a vytvářejí某 druh “spontánního pořádku”. Tato matematika jsem použila, když jsem pracovala na teorii her na grafech. Spojujeme-li to všechno, od prvního dne existence společnosti jsme měli silné přesvědčení, že řídkost (struktury podobné grafu) bude klíčovým krokem ve vývoji umělé inteligence.

Zohlednění času bylo kritické a také bastante charakteristické pro mou pozadí, protože vznik obvykle nastává v čase.

Když jste v roce 2020 založili společnost, jaké byly vaše první hypotézy o tom, co by měly budoucí systémy umělé inteligence dělat jinak, a jak se tyto názory vyvinuly?

Měli jsme silné přesvědčení od začátku, že umělá inteligence potřebuje být živá, adaptivní a integrovaná do velkých procesů. Měla by se učit přímo ze zdroje, s nejčistějšími daty možné.

Nejprve jsme to udělali pro více klasické přístupy strojového učení a během cesty jsme vytvořili vrstvy inženýrství, které umožňují takovým systémům být nasazeny snadno do reálného světa. Nyní jsme tuto metodu aplikovali na hluboké učení.

Věděli jsme, že prvky času a struktury (sítě) budou klíčové pro pokrok směrem k obecné umělé inteligenci. To máme zaznamenané v některých našich zakládajících dokumentech z roku 2020.

Můžete nás provést “post-Transformer” architekturou, kterou představujete, a jak se liší od současných systémů založených na Transformeru?

Naše nová architektura, nazvaná Baby Dragon Hatchling (BDH), formálně spojuje, jak Transformery zpracovávají informace, s tím, jak se rozumění vyvíjí v mozku.

BDH se chová jako fyzický systém: mozek-podobný výpočetní model, ve kterém neurony spolupracují, aby objevily další, nejrelevantnější fakt. Kontextové rozumění není omezeno inženýrskými omezeními, jako je pevná délka kontextu Transformeru, ale spíše se škáluje s počtem neuronů modelu.

Řekneme-li to více technickými termíny, na rozdíl od Transformeru máme v BDH lineární pozornost, řídké vektory klíče-dotazu a žádná omezení velikosti kontextového okna.

Tento přístup otevírá dveře systémům, které se učí, zatímco fungují, udržují dlouhé řetězce rozumění a adaptují se kontinuálně v kontextu.

Jedním z klíčových rysů systému je lokalita: důležitá data jsou umístěna přímo vedle míst, kde jsou zpracovávána. To minimalizuje komunikaci a eliminuje nejbolestivější z všech úzkých míst pro modely rozumění během inferencing: šířku pásma mezi pamětí a jádrem.

Jak váš přístup čerpá inspiraci z lidského rozumění, zejména při umožnění adaptability a kontinuálního učení bez opětovného trénování?

BDH přibližuje přirozenou inteligenci a umělou inteligenci.

Tato architektura je inspirována způsobem, jakým neurony a synapse fungují v mozku. Mapuje biologické mechanismy pozornosti na výpočetní pojem pozornosti v strojovém učení, vytváří škálovatelný most mezi Transformery a mozkem.

BDH přibližuje pozornost k parametrům modelu, prezentuje je jako dva odrazy stejné dynamiky mozek-podobného systému, s pozorností, která se mění rychlou rychlostí, jakmile jsou během rozumění známy nové skutečnosti, a parametry modelu, které se mění pomaleji, jak se systém mění své dlouhodobé návyky. To je blíže tomu, jak věříme, že rozumění funguje v mozku.

Vidíme BDH jako milník na cestě k návrhu systémů umělé inteligence, které rozumí uprostřed úkolu, zlepšují se s časem a adaptují se bez opětovného trénování – vlastnosti, které spojujeme s lidským rozuměním.

Jednou z výzev v oblasti umělé inteligence je vyvážení stability s adaptabilitou – jak zajišťujete, aby systémy mohly učit se v reálném čase bez ztráty předchozích znalostí?

BDH spoléhá na svou bezškálovou strukturu a lokalizované stavy neuronů, aby udržoval rozumění po dlouhou dobu, vyvažuje stabilitu a schopnost integrovat nové znalosti a pozorování. Tento přirozený zdravotní rovnováha je snadné extrahovat a sledovat po celou dobu života modelu.

S BDH umístíme rozumění jako základní kámen inteligence. S aktuální prací děláme pokrok v hypotéze o roli znalostí ve velkých jazycích modelech: nejde tolik o to, co je “pravdivé”, ale co je “užitečné” v daném kontextu pro pokrok v daném řetězci rozumění. Například, pokud je znalost kontextualizována, najednou není žádný rozpor mezi naším světem, který následuje zákony přírody, a skutečností, že víme lidovou pověst, která připouští existenci skřítků a magie. Stejně tak není žádný rozpor pro model, který zvažuje několik různých hypotéz pro předpověď, s více a méně optimistickými předpoklady, v jednom řetězci myšlenek.

Modely založené na BDH získávají nové skutečnosti během svého života kontextualizovaným způsobem. Mohou se samy opravovat kvůli tomu. Díky tomu, že expozice snadno sledovatelné statistiky aktivity neuronů a jemné kontrole nad přenosem znalostí z kontextu do parametrů modelu, architektura pomáhá omezit riziko “zastaralých” kontextů, které se objevují v nevhodnou chvíli.

Co jsou inženýrské kompromisy při budování živého motoru zpracování dat, který může udržet tyto schopnosti v měřítku?

Nabídka Pathway pro podniky spoléhá na nejrychlejší motor zpracování dat na trhu. Tento motor je základem naší schopnosti zpracovávat vstupy v reálném čase a reagovat na novou informaci s nízkou latencí. S aktuální průlomovou technologií BDH zajišťujeme, aby tato reálná adaptabilita sahala až k základním modelům umělé inteligence používaným v nasazeních. Naším hlavním cílem pro nasazení v velkém měřítku je přechod od statické optimalizace k budování infrastruktury, která může zvládnout dlouhodobé rozumění.

Co jsou nejvíce přesvědčivé použití, které skutečně vyžadují tuto další fázi umělé inteligence, a kde současné systémy založené na Transformeru selhávají?

Mnohé inovace prodloužily funkčnost generativní umělé inteligence, aby se rychle adaptovala na novou informaci a hluboce spoléhala na “čas na úkolu”. Nicméně dosud nic nemůže nahradit najmutí velmi talentovaného člověka.

Velmi rychlá a přímá odpověď je, že mluvíme o jakékoli úloze, která目前 vyžaduje více než 2 hodiny a 17 minut koherentní práce odborníka. To je aktuální limit GPT5 podle METER.

Měli jsme skvělé diskuse s designovými partnery v podniku, kteří vyžadují hlubokou personalizaci, modely, které se učí na pracovišti z řídkých dat, a bezpečnost nasazení.

BDH činí relativně přímočarým pro podnik, aby zvládl velmi komplexní procesy, jako jsou:

• Uzavření čtvrtletí pro veřejnou společnost
• Dynamická generace dalších nejlepších akcí v prostředí s vysokými zárukami je velmi relevantní v prodeji i obraně.
• Správa investic

NATO již používá technologii Pathway ke zpracování živých vojenských a sociálních dat, umožňující plánovacím systémům, aby se adaptovaly, jak se situace vyvíjí. La Poste využívá technologii Live AI od Pathway k dynamickému řízení svých operací v reálném čase. Průmysly, jako je finance a zdravotnictví, kde jsou data řídká nebo citlivá, mohou těžit z modelů, které vyžadují méně dat, ale poskytují hlubší přehledy a spolehlivější úsudky.

Můžete sdílet příklady toho, jak organizace, jako je NATO, La Poste nebo Formula 1, aplikovaly vaši technologii a jaký dopad to mělo?

NATO, La Poste a týmy Formule 1 jsou již ranými uživateli technologie Pathway.

Pathway nabízí NATO robustní a inovativní technologii zpracování dat, aby odemkla nové schopnosti pro kritické použití v měřítku. S naší funkční demonstrací, nástrojem pro podporu posilování (REST), jsme vytvořili základní kámen pro další vývoj řešení umělé inteligence pro NATO. Používání Pathway pro připojení otevřených zdrojů urychlovala povědomí o situaci a přinesla ji na požadovanou úroveň, kterou NATO potřebovalo k úspěšnému provozu ve 20. letech.

La Poste využívá Pathway ke zlepšení procesů souvisejících s jejich dopravními jednotkami. S rámcem Pathway anticipuje La Poste automaticky své operace v reálném čase a generuje živou kvalitativní analýzu svých dopravních operací. S Pathway společnost mohla dynamicky optimalizovat své logistické procesy, snižovat časy doručování, doby zpracování / doby dodání a zvyšovat spolehlivost. Kromě toho dosáhla významných snížení provozních nákladů (50% snížení TCO v některých případech).

Tým Formule 1 využívá Pathway k adaptaci strategie v reálném čase pod vysokým tlakem. Společnost chtěla platformu pro uživatele, aby mohli nezávisle vytvářet uživatelsky definované funkce (UDF) a krmit různé obchodní potřeby, od e-sportu/sim-racingu po automobily a závodní vozy Formule. Rámec Live Data od Pathway umožňuje pokročilé transformace dat v týmu Formule 1 s nejnižší latencí (90x rychlejší zpracování než předtím).

Co jsou největší překážky při nasazení adaptivních systémů v odvětvích, jako je zdravotnictví nebo obrana, a jak je řešíte?

Podle návrhu současné LLM generují obsah, který je “nový” bez skutečného úsudku – nazvěme to “gen” v gen AI. Mnohé vysoce regulované odvětví potřebují governance podle definice a jsou neochotné nasazovat AI-poháněné obchodní procesy bez opakovatelnosti, důvěry a sledovatelnosti. Ironicky, aby nasadili AI, tyto podniky často “zjednodušují” funkčnost a zavádějí další složitost, aby vyhověly předpisům.

Podle návrhu BDH umožňuje podniku pozorovat a adaptovat se na to, co se děje uvnitř modelu. Tato sledovatelnost po dlouhou dobu “rozumění” dává podniku důvěru, aby zvládl delší a složitější obchodní procesy. BDH je podle návrhu jak sledovatelný, tak i časově osvětlující. Žádné potřeba dokonalých, enormních datových sad pro učení, žádná potřeba extrémně dlouhých kontextových oken, ani logiky pro sledovatelnost.

Jaké etické úvahy nebo bezpečnostní opatření jsou nezbytná, když systémy umělé inteligence začínají učit se a adaptovat se v reálném čase?

Systémy, které se učí s časem, mají ve skutečnosti lepší šance být bezpečné než současné systémy založené na Transformeru. Jedním z prvků je skutečnost, že s kontinuálním učením mají šanci samy se opravovat a aktualizovat své předchozí představy, pokud byly špatné.

Abyste zajistili bezpečnost takových systémů, musíte jim poskytnout zpětnou vazbu po dlouhou dobu. To znamená, že musíte je krmit čerstvými daty a zajistit, aby měly zpětnou vazbu, aby pochopily účinky své vlastní funkčnosti. To je blízké učení s posilováním.

Druhým je, že model založený na BDH nabízí interpretovatelnost, která usnadňuje pochopení, jak funguje, a dává lidem lepší kontrolu nad nimi.

Co by bylo potřeba, aby se “post-Transformer” paradigma stalo mainstreamem napříč komunitou umělé inteligence?

Model na trhu, který je extrémně užitečný a má výrazně nižší náklady na inferenci, zatímco je rychlejší. Věříme, že existuje trh, který lze vyhrát, zejména v podnikovém prostředí.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Pathway.