Zuzanna Stamirowska, spoluzakladatelka a CEO společnosti Pathway – rozhovorová série

Zuzanna Stamirowska, spoluzakladatelka a CEO společnosti Pathway, je výzkumnice, která se dříve věnovala výzkumu emergentních jevů a evoluce velkých sítí. Její projekty byly uznány americkou Národní akademií věd a má doktorát z komplexních systémů. Zuzanna, společně s technickým ředitelem Janem Chorowskim a ředitelem pro vědu Adrianem Kosowskim, vede tým, který již vytvořil otevřené nástroje pro umělou inteligenci s více než 62 000 hvězdičkami na GitHubu.

Pathway představuje novou cestu, jak umělá inteligence myslí, s cílem vytvořit systémy, které fungují kontinuálně a adaptivně, nikoli v dávkách. V pozadí umožňuje její nástrojářství a architektura modelům zpracovávat, učit se a vyvíjet se v reálném čase. Společnost získala podporu od osobností, jako je Lukasz Kaiser (spoluobjevitel Transformerů), a prominentních rizikových firem.

Co vás motivovalo k založení společnosti Pathway, a jak vaše pozadí v komplexních systémech, teorie her a emergentních jevech ovlivnilo vizi a technický směr společnosti?

Chtěli jsme vytvořit umělou inteligenci, která myslí a přizpůsobuje se jako lidé. Došli jsme k závěru, že to znamená, že systémy umělé inteligence (hluboké učící modely nebo strojové učící se potrubí postavené z většího počtu stavebních bloků) by měly být schopny učit se kontinuálně na základě dat z prostředí, zlepšovat se s expériencemi a někdy „opravovat“ své předchozí názory na svět. Ve skutečnosti jsme dostali bastante pokrytí na téma „machine unlearning“. Kromě modelů tyto systémy potřebovaly celou vrstvu inženýrství, aby zachytili data na místě a okamžitě je zavedli do dynamických systémů.

Pracovala jsem na vzniku komplexních sítí a vyvinula jsem několik hypotéz, které jsme nakonec aplikovali přímo nebo téměř přímo v BDH. Zajímavé je, že jsem s kolegy (Adrianem, CSO, a Janem, CTO) uzavřela pár sázek a vyhrála jsem pár lahví velmi dobrého koňaku. První, jsme věřili, že přirozená inteligence vyplývá z emergentní struktury a činnosti neuronů v mozku (to je zřejmé, žádná sázka zde). Druhé, z mé předchozí výzkum, jsem věděla, že obecně funkce formuje síť (vyhrála jsem tuto sázku). V předchozí práci jsem objevil to pro obchod a neurovědci studovali to pro nervy a smysly u myší atd. Třetí, byla skutečnost, že tato formace sítě musí následovat některé velmi lokální pravidla přímo spojená s takzvanou „sousedstvím“ každé sítě (v tomto případě je uzel neuronem) (vyhrála jsem tuto sázku). Ostatní části přišly z mé znalosti interakce částic – například magnetismus – kde částice upravují své spin podle vnějšího pole a vytvářejí nějaký druh „spontánního pořádku“. To byla matematika, kterou jsem používala při práci na teorii her na grafech. Spojujeme to všechno, od prvního dne existence společnosti, jsme měli silné přesvědčení, že řídkost (grafické struktury) bude klíčovým kamenem ve vývoji umělé inteligence.

Když jste spustila společnost v roce 2020, jaké byly vaše první hypotézy o tom, co by měly budoucí systémy umělé inteligence dělat jinak, a jak se tyto názory vyvinuly?

Měli jsme silné přesvědčení od začátku, že umělá inteligence potřebuje být živá, adaptivní a integrovaná do velkých procesů. Měla by se učit přímo ze zdroje, s nejrawějšími daty možnými.

Nejprve jsme to udělali pro více klasické přístupy strojového učení a během cesty jsme postavili vrstvy inženýrství, které umožňují takovým systémům být nasazeny snadno do reálného světa. Nyní jsme tuto metodu aplikovali na hluboké učení.

Věděli jsme, že prvky času a struktury (sítí) budou klíčové pro pokrok směrem k AGI. Máme to napsáno v některých našich zakládajících dokumentech z roku 2020.

Můžete nás provést „post-Transformer“ architekturou, kterou představujete, a jak se liší od současných systémů založených na Transformerech?

Naše nová architektura, nazvaná Baby Dragon Hatchling (BDH), formálně spojuje, jak Transformery zpracovávají informace s tím, jak se rozumění objevuje v mozku.

BDH se chová jako fyzický systém: mozkový model výpočtu, ve kterém neurony spolupracují, aby objevily další, nejrelevantnější fakt. Kontextuální rozumění není omezeno inženýrskými omezeními, jako je pevná délka kontextu Transformera, ale spíše se měří s počtem neuronů modelu.

Umístění všeho do více technických termínů, na rozdíl od Transformera, v BDH máme lineární pozornost, řídké klíčové dotazovací vektory a žádné limity na velikost kontextového okna.

Tento přístup otevírá dveře systémům, které se učí, zatímco fungují, udržují dlouhé řetězce rozumění a přizpůsobují se kontinuálně v kontextu.

Jak váš přístup čerpá inspiraci z lidského rozumění, zejména při umožnění adaptability a kontinuálního učení bez opětovného školení?

BDH přibližuje přirozenou inteligenci a přirozenou inteligenci.

Tato architektura je inspirována způsobem, jakým neurony a synapsie fungují v mozku. Mapuje biologické mechanismy pozornosti na výpočetní pojem pozornosti v strojovém učení, vytváří měřitelný most mezi Transformery a mozkem.

BDH přibližuje pozornost k modelovým parametrům, prezentuje je jako dvě reflexe stejné mozkové systémové dynamiky, s pozorností, která se mění rychlou rychlostí, jakmile jsou známy nové skutečnosti během rozumění, a modelovými parametry, které se mění pomaleji, jakmile se systém mění své dlouhodobé návyky. To je blíže tomu, jak věříme, že rozumění funguje v mozku.

Vidíme BDH jako milník směrem k navrhování systémů umělé inteligence, které rozumí během úkolu, zlepšují se s expériencemi a přizpůsobují se bez opětovného školení – vlastnosti, které spojujeme s lidským rozuměním.

Jednou z výzev v oblasti umělé inteligence je vyvážení stability s adaptabilitou – jak zajišťujete, aby systémy mohly učit se v reálném čase bez ztráty předchozích znalostí?

BDH spoléhá na svou bezškálovou strukturu a lokalizované stavy neuronů, aby udrželo rozumění po dlouhou dobu, vyvážilo stabilitu a schopnost integrovat nové znalosti a pozorování. Tento přirozený zdravotní rovnováha je snadné extrahovat a sledovat po celou dobu životnosti modelu.

S BDH umístíme rozumění jako základní kámen inteligence. S aktuální prací děláme pokrok v hypotéze o roli znalostí ve velkých jazykových modelech: není to tak důležité, co je „pravdivé“, ale co je „užitečné“ v daném kontextu pro pokrok v daném řetězci rozumění. Například, pokud je znalost kontextualizována, najednou není žádný rozpor mezi naším světem, který následuje zákony přírody, a skutečností, že víme lidovou pověst, která připouští existenci víl a magie. Stejně tak není žádný rozpor pro model, který zvažuje několik různých hypotéz pro předpověď, s více a méně optimistickými předpoklady, v jednom řetězci myšlenek.

Modely založené na BDH získávají nové skutečnosti během své životnosti kontextualizovaným způsobem. Mohou se samoopravit kvůli tomu. Díky snadnému sledování statistik aktivity neuronů a jemné kontrole přenosu znalostí z kontextu do modelových parametrů, architektura pomáhá snížit riziko „zastaralých“ kontextů, které se objevují v nevhodnou chvíli.

Jaké jsou inženýrské kompromisy při budování živého motoru zpracování dat, který může udržit tyto schopnosti v měřítku?

Nabídka Pathway pro podniky spoléhá na nejrychlejší motor zpracování dat na trhu. Tento motor umožňuje naší schopnosti zpracovávat vstup v reálném čase a reagovat na novou informaci s nízkou latencí. S aktuální průlomovou BDH zajišťujeme, aby tato reálná adaptabilita sahala až k základním modelům umělé inteligence používaným v nasazeních. Naším hlavním cílem pro velké nasazení je přesunout se od statického optimalizace směrem k budování infrastruktury, která může zvládnout dlouhodobé rozumění.

Jaké jsou nejvíce přesvědčivé použití, které skutečně vyžadují tuto další fázi umělé inteligence, a kde současné systémy založené na Transformerech selhávají?

Mnohé inovace prodloužily funkčnost generativní umělé inteligence, aby se přizpůsobila novým informacím a spoléhala se hluboce na „čas na úkolu“. Nicméně, nic dosud nebylo schopno nahradit najmutí velmi talentované osoby.

Velmi rychlá a přímá odpověď je, že mluvíme o jakémkoli úkolu, který目前 vyžaduje více než 2 hodiny a 17 minut koherentní práce lidského odborníka. To je aktuální limit GPT5 podle METER.

Měli jsme skvělé diskuse s designovými partnery v podniku, kteří vyžadují hlubokou personalizaci, modely, které se učí na pracovišti z řídkých dat, a bezpečnost nasazení.

BDH činí to relativně přímočarým pro podnik, aby zvládl velmi komplexní procesy, jako jsou:

• Uzavření čtvrtletí pro veřejnou společnost
• Dynamická generace dalšího nejlepšího průběhu akcí v prostředí s vysokými zárukami je velmi relevantní v prodeji i obraně.
• Správa investic

NATO již používá technologii Pathway ke zpracování živých vojenských a sociálních dat, umožňující plánovací systémy, které se přizpůsobují, jak se situace vyvíjí. La Poste využívá technologii Pathway Live AI k dynamickému řízení svých operací v reálném čase. Odvětví, jako je finance a zdravotnictví, kde jsou data řídká nebo citlivá, mohou těžit z modelů, které vyžadují méně dat, ale poskytují hlubší přehledy a spolehlivější úsudky.

Můžete sdílet příklady toho, jak organizace, jako je NATO, La Poste nebo Formula 1, uplatnily vaši technologii a jaký dopad to mělo?

NATO, La Poste a týmy Formule 1 jsou již ranými uživateli technologie Pathway.

Pathway nabízí NATO robustní a inovativní technologii zpracování dat, aby odemkla nové schopnosti pro kritické použití v měřítku. S naším funkčním demonstrátorem, nástrojem pro podporu posilování (REST), jsme vytvořili základní kámen pro další vývoj řešení umělé inteligence pro NATO. Používání Pathway ke spojení otevřených zdrojů dat urychlovala situační povědomí a přinesla je na nezbytnou úroveň, kterou NATO potřebovalo k úspěšnému provozu v roce 2020.

La Poste využívá Pathway ke zlepšení procesů souvisejících s jejich dopravními jednotkami. S rámcem Pathway předpovídá La Poste automaticky své operace v reálném čase a generuje živou kvalitativní analýzu svých dopravních operací. S Pathway společnost snížila ETAs, doby zpracování / doby vedení, a zvýšila spolehlivost. Kromě toho dosáhli významného snížení provozních nákladů (50% snížení TCO v některých případech).

Tým Formule 1 využívá Pathway ke přizpůsobení strategie v podmínkách s vysokým tlakem a v reálném čase. Společnost chtěla platformu pro koncové uživatele, aby mohli vytvářet uživatelsky definované funkce (UDF) nezávisle a krmit různé obchodní potřeby od e-sportu / simulovaného závodění až po automobily a závodění Formule 1. Rámec Pathway Live Data umožňuje pokročilé transformace dat u týmu Formule 1 s nejnižší latencí (90x rychlejší zpracování než dříve).

Jaké jsou největší překážky při nasazení adaptivních systémů v odvětvích, jako je zdravotnictví nebo obrana, a jak je řešíte?

Podle designu současné LLM generují obsah, který je „nový“ bez skutečného úsudku – nazvěme to „gen“ v genetické AI. Mnohé vysoce regulované odvětví potřebují governance podle definice a jsou neochotné nasazovat AI-poháněné obchodní procesy bez opakovatelnosti, důvěry a pozorovatelnosti. Ironicky, aby nasadili AI, tyto podniky často „zjednodušují“ funkčnost a zavádějí další složitost, aby usnadnily soulad s předpisy.

Podle designu BDH umožňuje podniku pozorovat a přizpůsobit se tomu, co se děje uvnitř modelu. Tato pozorovatelnost po dlouhou dobu „rozumění“ dává podniku důvěru, aby zvládl delší a složitější obchodní procesy. BDH je podle designu pozorovatelný a časově-osvětlující obchodní procesy. Žádná potřeba pro dokonalá, obrovská data sada pro učení, žádná potřeba pro velmi dlouhá kontextová okna, nebo lepidla logiky pro pozorovatelnost.

Jaké etické úvahy nebo bezpečnostní opatření jsou nezbytná, když systémy umělé inteligence začínají učit se a přizpůsobovat se v reálném čase?

Systémy, které se učí s expériencemi, ve skutečnosti mají lepší šance být bezpečné než současné systémy založené na Transformerech. Jedním z prvků je fakt, že s kontinuálním učením mají šanci samoopravit a aktualizovat své předchozí názory, pokud byly špatné.

Abyste zajistili bezpečnost takových systémů, potřebují získat zpětnou vazbu po dobu času. To znamená, že musíme je dále krmit čerstvými daty a zajistit zpětné vazby, aby pochopili účinky svého vlastního fungování. To je blízko učení posilování.

Druhé, model založený na BDH nabízí interpretovatelnost, která usnadňuje pochopení, jak funguje, poskytující lidem lepší kontrolu nad nimi.

Co by bylo potřeba, aby se „post-Transformer“ paradigma stalo mainstreamem napříč komunitou umělé inteligence?

Model na trhu, který je extrémně užitečný a má významně nižší náklady na inferenci, zatímco je rychlejší. Věříme, že existuje trh, který lze získat, zejména v podniku.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Pathway.