Zuzanna Stamirowska, Pathway:n perustaja ja toimitusjohtaja – Haastattelusarja

Zuzanna Stamirowska, Pathway:n perustaja ja toimitusjohtaja, on tutkija, josta tuli rakentaja, joka aiemmin työskenteli emergenttisten ilmiöiden ja suurten verkkorakenteiden kehityksen parissa. Hänen projektejaan on tunnustettu Yhdysvaltain kansallisen tiedeakatemian toimesta, ja hänellä on tohtorin tutkinto monimutkaisten järjestelmien alalta. Zuzanna johtaa tiimiä, johon kuuluvat myös CTO Jan Chorowski ja CSO Adrian Kosowski, ja he ovat jo kehittäneet avoimia AI-työkaluja, joilla on yli 62 000 tähteä GitHubissa.

Pathway on uudelleenmäärittelemässä, miten AI-mallit ajattelevat, ja pyrkii luomaan järjestelmiä, jotka toimivat jatkuvasti ja sopeutuvat, sen sijaan että ne toimisivat erissä. Taustalla sen työkalut ja arkkitehtuuri mahdollistavat mallien prosessoinnin, oppimisen ja evoluution reaaliajassa. Yritykselle on saatu tunnettuja sijoittajia, kuten Lukasz Kaiser (Transformerin keksijä) ja merkittäviä venture-rahastoja.

Mikä motivoi sinua perustamaan Pathway:n, ja miten taustasi monimutkaisten järjestelmien, peliteorian ja emergenttisten ilmiöiden parissa on vaikuttanut yrityksen visioon ja tekniseen suuntaan?

Halusimme luoda AI:ta, joka ajattelee ja sopeutuu kuin ihmiset. Tajusimme, että tämä tarkoittaa AI-järjestelmiä (syväoppimismalleja tai koneoppimisputkistoja, jotka on rakennettu useammasta osasta), jotka pystyvät oppimaan jatkuvasti ympäristön tietojen perusteella, parantamaan suorituskykyään kokemukseen perustuen ja joskus “korjaamaan” aiempia maailmankuviaan. Olemme saaneet jonkin verran julkisuutta “konemaisen unohdus”-aiheesta. Mallien lisäksi näille järjestelmille tarvitaan koko insinöörien kerros, jotta voidaan kaapata dataa lähteestä ja syöttää se välittömästi dynaamisiin järjestelmiin.

Kun olen työskennellyt emergenssissä monimutkaisissa verkostoissa, olen kehittänyt useita hypoteeseja, joita olemme soveltaneet suoraan tai lähes suoraan BDH:hen. Hämmästyttävästi olen voittanut muutamia pullonkorkkeja hyvää konjakkia kollegoideni (Adrian, CSO, ja Jan, CTO) kanssa. Ensinnäkin uskoimme, että luonnollinen älymystä johtuu emergentistä rakenteen ja toiminnan aivokuorissa (tämä on ilmeistä, ei vetoa). Toiseksi tiedän aiemmasta tutkimuksestani, että yleensä funktio muotoilee verkon (voitin tämän vedon). Aiempaa tutkimustyötäni varten olen tutkinut tätä kauppaa, ja neurotieteilijät ovat tutkineet sitä hermoissa ja aistimuodoissa hiirillä jne. Kolmanneksi se, että tämä verkkorakenteen muotoilu on seuraus paikallisia sääntöjä, jotka liittyvät niin kutsuttuun “naapuruuteen” jokaisessa verkon kohdassa (tässä tapauksessa solmu on hermosolu) (voitin tämän vedon). Muut osat tulivat tietämyksestäni hiukkaspohjaisista järjestelmistä – esimerkiksi magnetismista, jossa hiukkaset sovittavat spiniinsä ulkoiseen kenttään ja luovat jonkinlaista “spontaania järjestystä”. Tämä on sellaista matematiikkaa, jota käytin peliteoreettisessa työssäni graafeilla.
Kokoamalla kaiken, Pathway:n olemassaolon ensimmäisestä päivästä lähtien, meillä on ollut vankka vakuutus, että harvautus (verkkomaiset rakenteet) on avainasemassa AI:n edistymisessä.

Ajan huomioon ottaminen oli kriittistä ja myös melko ominaista taustastani, koska emergenssi yleensä tapahtuu ajan kuluessa.

Kun perustit yrityksen vuonna 2020, mitkä olivat ensimmäiset hypoteesisi siitä, miten tulevaisuuden AI-järjestelmiä tulisi tehdä toisin, ja miten nämä näkemyksesi ovat kehittyneet?

Meillä oli vankka vakuutus alusta lähtien, että AI:n on oltava elävää, sopeutuvaa ja integroitua suurten prosessien kanssa. Se on oppiva suoraan lähteestä, mahdollisimman raaoista tiedoista.

Ensinnäkin teimme tämän perinteisemmille koneoppimismenetelmille, ja matkan varrella rakensimme insinöörien kerroksia, jotka mahdollistavat näiden järjestelmien helpon käytön todellisessa maailmassa. Nyt olemme tuoneet tämän lähestymistavan syväoppimiseen.

Tiemme, että ajan ja rakenteen (verkkojen) elementit olisivat avainasemassa AGI:n kehityksessä. Meillä on tämä kirjoitettu joissakin perustamisasiakirjoissamme vuodelta 2020.

Voitko kuljettaa meidät “post-Transformer” -arkkitehtuuriin, jonka esittelet, ja miten se eroaa nykyisistä Transformer-pohjaisista järjestelmistä?

Uusi arkkitehtuurimme, jota kutsutaan Baby Dragon Hatchlingiksi (BDH), yhdistää muodollisesti, miten Transformerit prosessoi tietoa ja miten päättely kehittyy aivoissa.
BDH käyttäytyy kuin fyysinen järjestelmä: aivomaisen laskentamallin, jossa hermosolut tekevät yhteistyötä löytääkseen seuraavan, merkittävimmän tosiasian. Kontekstuaalinen päättely ei ole rajoitettu insinöörien rajoituksilla, kuten Transformerin kiinteä kontekstipituus, vaan se skaalautuu mallin hermosolmujen määrän mukaan.

Asettamalla kaiken tämän teknisiin termeihin, toisin kuin Transformerissa, BDH: ssä meillä on lineaarinen huomio, harva avain-kyselyvektori ja ei ole rajoituksia kontekstiuksen koosta.

Tämä lähestymistapa avaa oven järjestelmille, jotka oppivat suorittamisen aikana, ylläpitävät pitkiä päättelyketjuja ja sopeutuvat jatkuvasti kontekstissa.

Järjestelmän ydinominaisuus on paikallisuus: tärkeä data sijaitsee vain siellä, missä sitä prosessoidaan. Tämä minimoi viestinnän ja poistaa tärkeimmän pullonkaulan päättelymallien inference-ajassa: muisti-ydin kaistanleveys.

Miten lähestymistapanne ammentaa inhimillisen päättelyn vaikutusta, erityisesti mahdollistaen sopeutumisen ja jatkuvan oppimisen uudelleenkoulutusta vaativasti?

BDH lähentää luonnollista älymystä ja luonnollista älymystä.

Tämä arkkitehtuuri on inspiroitu hermosolmujen ja synapsien toiminnasta aivoissa. Se kartoittaa biologisia huomioimekanismeja laskennalliseen huomioon koneoppimisessa, luoden skaalautuvan sillan Transformerin ja aivojen välille.

BDH lähentää huomioita malliparametreihin, esittäen ne kahdena heijastuksena samasta aivomaisen järjestelmädynamiikasta, huomion muuttuessa nopeasti, kun uusia tosiasioita tulee esiin päättelyn aikana, ja malliparametrit muuttuvat hitaammin, kun järjestelmä muuttaa pitkäaikaisia tottumuksiaan. Tämä on lähempänä siitä, miten uskomme päättelyn toimivan aivoissa.

Näemme BDH: n merkittävänä merkkipaaluna suunniteltaessa AI-järjestelmiä, jotka päättävät tehtävien aikana, paranevat kokemuksen myötä ja sopeutuvat ilman uudelleenkoulutusta – ominaisuuksia, joita yhdistämme inhimilliseen päättelyyn.

Yksi haaste AI:ssa on tasapainottaa vakautta ja sopeutumista — miten varmistat, että järjestelmät voivat oppia reaaliajassa ilman menettämättä aiempaa tietoa?

BDH riippuu skaalautumattomasta rakenteesta ja paikallisista hermosolutiloista, jotta se voi ylläpitää päättelyä pitkien aikahorisonttien yli, tasapainottaen vakauden ja kyvyn integroida uutta tietoa ja havaintoja. Tämä luonnollinen terveyden tasapaino on helppo erottaa ja seurata mallin eliniän aikana.

BDH: llä olemme asettamassa päättelyä älymystön kulmakiveksi. Nykyisellä työllä teemme edistystä hypoteesista tietämisestä suurissa kielimalleissa: se ei niinkään ole sitä, mikä on “totta”, vaan mikä on “hyödyllistä” tietyssä kontekstissa etenemiseksi tietyssä päättelyketjussa. Esimerkiksi, jos tietäminen on kontekstualisoitu, kaikki yhtäkkiä ei ole ristiriidassa siitä, että maailmamme noudattaa luonnon lakeja, ja siitä, että tiedämme kansanperinteen, joka myöntää keijujen ja magian olemassaolon. Samalla tavalla ei ole ristiriidassa mallille, joka harkitsee useita eri ennustehypoteeseja, joissa on optimistisempia ja vähemmän optimistisia oletuksia, yhdessä ajatusketjussa.

BDH: hen mallit hankkivat uusia tosiasioita eliniänsä aikana kontekstualisoituneella tavalla. Ne voivat itsekorjata sen ansiosta. Esittämällä helppotajuiset tilastot hermosolutoiminnasta ja hienorakeisen valvonnan tietämysiirrosta kontekstista malliparametreihin, arkkitehtuuri auttaa hillitsemään “vanhentuneiden” kontekstien uudelleenilmestymisen riskiä epäsuotuisaan hetkeen.

Mitkä ovat insinöörien kompromissit rakennettaessa live-tietojen prosessointimoottoria, joka voi ylläpitää näitä kykyjä suurten mittakaavoissa?

Pathway:n yritysversio perustuu markkinoiden nopeimpaan tietojen prosessointimoottoriin. Tämä moottori on perusta kykyymme käsitellä reaaliaikaisia syötteitä ja reagoida uuteen tietoon matalalla viiveellä. Nykyisellä BDH: n läpimurrolla varmistamme, että tämä reaaliaikainen sopeutuvuus ulottuu perus-AI-malleihin, joita käytetään käyttöönotoissa. Yleisesti ottaen suurten käyttöönottojen tavoitteena on siirtyä staattisesta optimoinnista dynaamiseen infrastruktuuriin, joka pystyy käsittelemään pitkän aikahorisontin päättelyä.

Mitkä ovat kaikkein vakuuttavimmat käyttötarkoitukset, jotka todella vaativat tämän seuraavan vaiheen AI:ta, ja missä nykyiset Transformer-pohjaiset järjestelmät eivät ole riittäviä?

Monet innovaatiot ovat laajentaneet generatiivisen AI:n toimintoja sopeutumaan nopeasti uuteen tietoon ja luottamaan syvään “tehtävän ajan”. Mutta mitään ei vielä pysty korvaamaan erittäin lahjakkaiden ihmisten palkkaamista.

Erittäin nopea ja suoraviivainen vastaus on, että puhumme tehtävistä, jotka vaativat yli 2 tuntia ja 17 minuuttia johdonmukaista työtä asiantuntijalta. Tämä on GPT5: n rajaa METERin mukaan.

Olemme käyneet erinomaisia keskusteluja yritysten suunnittelukumppaneiden kanssa, jotka vaativat syvää personointia, malleja, jotka oppivat työssä harvasta datasta, ja turvallisuutta käyttöönotossa.

BDH tekee siitä melko suoraviivaisen yritykselle ottaa haltuun erittäin monimutkaisia prosesseja, kuten:

• Julkisen yhtiön neljännesvuosiraportin sulkeminen
• Dynaaminen seuraavan parhaan toimintotapojen generointi korkean panoksen ympäristöissä on erittäin relevanttia sekä myynti- että puolustusaloilla.
• Sijoitusjohtaminen

Nato käyttää jo Pathway:n teknologiaa prosessoimaan live-sotilaallista ja sosiaalista dataa, mahdollistaen suunnittelujärjestelmiä, jotka sopeutuvat tilanteiden kehittyessä. La Poste käyttää Pathway:n Live AI:ta dynaamiseen operaatioiden hallintaan reaaliajassa. Rahoitus- ja terveydenhuoltoala, joilla on harvaa tai arkaluontoista dataa, voivat hyötyä malleista, jotka vaativat vähemmän dataa, mutta tarjoavat syvempiä oivalluksia ja luotettavampia tuomioita.

Voitko jakaa esimerkkejä siitä, miten organisaatiot kuten Nato, La Poste tai Formula 1 ovat soveltaneet teknologiaasi ja mitä vaikutuksia se on tuottanut?

Nato, La Poste ja Formula 1 -tiimit ovat jo Pathway-teknologian varhaisia omaksujia.

Pathway tarjoaa Naton vankkaa ja innovatiivista datakäsittelytekniikkaa avatakseen uusia kykyjä kriittisiin käyttökohteisiin suuressa mittakaavassa. Toiminnallisen demonstraattorimme, vahvistusmahdollistamisen simulaattorityökalun (REST) avulla, kehittämisemme kulmakivi AI-tukea ratkaisujen kehittämiseen Naton kanssa. Käyttämällä Pathwayta avoimen lähdekoodin datan yhdistämiseen, olemme nopeuttaneet tilannekuvan ja saaneet sen sille tasolle, jota Nato tarvitsi toimia menestyksekkäästi 2020-luvulla.

La Poste käyttää Pathwayta parantamaan prosesseja, jotka liittyvät heidän kuljetusyksikköihinsä. Pathway-kehyksellä La Poste ennustaa operaatiotaan automaattisesti reaaliajassa ja tuottaa live-laadukkaan analyysin kuljetusoperaatioistaan. Pathway:n avulla yritys on pystynyt dynaamisesti optimoimaan logistiikkaansa, vähentämään ETAsia, prosessointiaikoja / johtuu aikoja ja lisäämään luotettavuutta. Lisäksi he ovat saavuttaneet merkittäviä operaatiokustannusten laskuja (50 %: n lasku joissakin tapauksissa).

Formula 1 -talli hyödyntää Pathwayta strategian sopeuttamiseen korkean paineen ja reaaliaikaisissa olosuhteissa. Yritys halusi alustan, jolla loppukäyttäjät voivat luoda itsenäisesti määritettyjä funktioita (UDF) ja tarjoavat erilaisia liiketoimintatarpeita e-sportista / sim-racingiin, autoihin ja formula-kilpailuihin. Pathway:n Live Data -kehyksen avulla edistyneet tietomuunnokset Formula 1 -tallissa ovat 90 kertaa nopeampia kuin aiemmin.

Mitkä ovat suurimmat esteet sopeutuvien järjestelmien käyttöönotossa aloilla, kuten terveydenhuollossa tai puolustusaloilla, ja miten ne voidaan ratkaista?

Suunnitellusti nykyiset LLM:t tuottavat sisältöä, joka on “uutta” ilman todellista tuomiota – kutsutaan “gen”-gen AI:ksi. Monet säännellyt alat tarvitsevat määräyksellisesti hallintoa, ja ne ovat epäröiviä käyttöönottoon AI-ohjattuja liiketoimintaprosesseja ilman toistettavuutta, luotettavuutta ja havainnollisuutta. Ironisesti, jotta voidaan käyttöönottoon AI:ta, nämä yritykset usein “tyhmät” toiminnallisuutta ja esittävät lisää monimutkaisuutta sääntöjen noudattamiseksi.

Suunnitellusti BDH mahdollistaa yritykselle havainnoida ja sopeutua siihen, mitä tapahtuu mallin sisällä. Tämä havainnollisuus pitkien “päättelyn” jaksojen aikana antaa yritykselle luottamuksen ottaa haltuun pidempiä ja monimutkaisempia liiketoimintaprosesseja. BDH on suunniteltu havainnolliseksi ja aikahorisontin liiketoimintatietoiseksi. Ei tarvitse täydellisiä, valtavia datajoukkoja oppimiseen, ei tarvitse erittäin pitkiä kontekstiuksia tai liimaa logiikkaa havainnollisuuden vuoksi.

Mitkä eettiset huomioonotot tai varotoimet ovat välttämättömiä, kun AI-järjestelmät alkavat oppia ja sopeutua reaaliajassa?

Järjestelmät, jotka oppivat kokemuksella, ovat todennäköisemmin turvallisia kuin nykyiset Transformer-pohjaiset järjestelmät. Yksi näiden järjestelmien ominaisuuksista on, että ne voivat itsekorjata ja päivittää ennaltaehkäiseviä käsityksiään, jos ne olivat väärin.

Jotta voidaan varmistaa näiden järjestelmien turvallisuus, niiden on saatava palautetta ajan kuluessa. Mitä tarvitaan, on se, että niille annetaan jatkuvasti uutta dataa, ja mahdollisesti varmistetaan palautekanavat niiden toiminnan vaikutusten ymmärtämiseksi. Tämä on lähellä vahvistusoppimista.

Toiseksi malli, joka perustuu BDH: hen, tarjoaa tulkinnaiseen, mikä tekee siitä helpomman ymmärtää, miten se toimii, antaen ihmisille paremman valvonnan sen yllä.

Mitä se vaatisi “post-Transformer” -paradigman tulemiseksi vallitsevaksi koko AI-yhteisössä?

Malli, joka on erittäin hyödyllinen ja jolla on huomattavasti alhaisemmat inference-kustannukset ja on nopeampi. Uskomme, että on markkinavoitto saavutettavissa, erityisesti yrityksissä.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Pathway: ssä.