Pathway kerää uuden rahoituksen 500 miljoonan dollarin arvostuksella skaalatakseen post-Transformer-ai

Tekoälytutkimusyhtiö Pathway on saanut lisärahoitusta 500 miljoonan dollarin arvostuksella, mikä nostaa yhtiön kokonaisten siemensijoitusten määrän 30 miljoonaan dollariin, kun se valmistautuu skaalatakseen uuden sukupolven malleja, jotka perustuvat sen post-Transformer-arkkitehtuuriin.

Rahoituksessa osallistuvat Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital ja WS Investment Co., Wilson Sonsinin sijoitusyhtiö, sekä Databricksin päätekoälytieteilijä Jonathan Frankle. Pathway kertoo, että suurin osa uudesta pääomasta menee laskentakapasiteetin laajentamiseen, mukaan lukien NVIDIA GB300 -järjestelmät.

Sijoitus saapuu yhtä aikaa, kun Pathway julkaisee uudet tulokset BDH-CQ -päätöksentekomallistaan, mikä antaa rahoitukselle konkreettisemman teknisen taustan kuin lupausta yksinkertaisesti rakentaa suurempia perusmalleja. Pathway kertoo, että sen 150 miljoonan parametrin malli saavutti 29,5 prosentin tuloksen julkisessa ARC-AGI-1 -arviointijoukossa, ja laskennan kustannus oli vain noin 0,0007 dollaria tehtävää kohden.

Rahoitus saapuu, kun Pathway panostaa vastoin voimanvaraisten skaalauksen strategiaa

Suurin osa nykyisistä eturintamahyökkäyksistä on keskittynyt skaalaamiseen: suuremmat klusterit, enemmän koulutusdataa, enemmän parametreja ja lisääntyvä määrä testausaikaisia laskentaa. Pathway on valinnut toisen lähestymistavan, väittäen, että osa alan kustannus- ja muistirajoituksista on arkkitehtuurin ominaisuuksia eikä ongelmia, joita voidaan ratkaista loputtomasti lisäämällä laskentaa.

Se teesi on keskiössä sen BDH- eli Dragon Hatchling -arkkitehtuurissa. Pathway kuvailee BDH:ta post-Transformer-suunnitteluna, joka on tarkoitettu yhdistämään päätöksenteko, muisti ja sopeutuminen itse malliin, sen sijaan, että se riippuisi pääasiassa laajenevasta kontekstista tai ulkoisista muistijärjestelmistä.

Arkkitehtuuri perustuu ideoihin, kuten pysyvään tilaan, harvaan aktiivisuuteen, paikallisiin vuorovaikutuksiin ja jatkuvaan sopeutumiseen. Pathway kuvailee suunnittelua biologisesti inspiroiduksi, eikä se pyri suoraan jäljittelemään aivojen toimintaa.

Uusi rahoitus antaa yhtiölle lisäresursseja testataksen, jatkavatko nämä ominaisuudet, kun BDH-mallit kasvavat merkittävästi suuremmiksi.

Pathway on myös palkannut Adam Kurzrokin tuotejohtajaksi. Kurzrok toimi aiemmin Gemini-tuotejohtajana Google DeepMindissa ja johtaa nyt tuotesuunnittelua BDH-pohjaisissa malleissa.

Yhtiö on myös perustamassa neuvoa-antavaa ryhmää, johon kuuluvat Transformerin keksijä Łukasz Kaiser, Frankle, NYU:n professori Martín Farach-Colton ja taloustieteilijä Jacques Attali.

Mikä tekee BDH-CQ:sta erilaisen

BDH-CQ on laajennus laajempaan BDH-arkkitehtuuriin, joka on suunniteltu kontekstipohjaiseen oppimiseen ja toistuvaan latenttiin päätöksentekoon.

Sen sijaan, että malli edellyttäisi, että se ilmaisee suuren osan välimuotoisesta päätöksentekoprosessista generoiduna tekstinä, BDH-CQ suorittaa iteraatiivisen laskennan jatkuvassa latenttisessa työtilassa. Esimerkit, jotka annetaan mallille, päivittävät toistuvan muistitilan, minkä jälkeen järjestelmä käsittelee uuden ongelman sisäisesti ennen kuin se koodaa vastauksensa. Mallin parametreja ei muuteta tämän prosessin aikana.

Tämä on merkittävää, koska tokenipohjainen päätöksenteko voi tulla kalliiksi, kun päätöksentekoprosessi venyy. Perinteisissä ketjuajattelumalleissa välivaiheet generoidaan sekvensoidusti ja syötetään myöhemmin takaisin päätöksentekoprosessin myöhempiin vaiheisiin.

BDH-CQ on suunniteltu pitämään enemmän laskentaa sisäisessä tilassa sen sijaan, että se kääntäisi jatkuvasti välimuotoista päätöksentekoa kielenmuodossa.

Ero ei tarkoita, että kielenpohjainen päätöksenteko on vanhentunut. Sen sijaan Pathway testaa, voitaisiinko joitakin päätöksentekokuormituksia käsitellä tehokkaammin ilman, että jokainen välimuotoinen laskennan vaihe olisi pakko serialisoida tekstinä.

ARC-AGI-tulokset asettavat kustannustehokkuuden keskiöön

Merkittävin tulos, joka saapuu rahoituksen kanssa, on peräisin ARC-AGI-1:sta, joka on benchmark, jolla testataan, voivatko tekoälyjärjestelmät johtaa muodonmuutoksia pienestä määrästä esimerkkejä ja soveltaa niitä näkemättömiin syötteisiin.

Pathwayn 150 miljoonan parametrin BDH-CQ saavutti 29,5 prosentin tuloksen julkisessa ARC-AGI-1 -arviointijoukossa.

Tekninen arviointi arvioi, että kunkin tehtävän suorittamiseen kului noin 0,85 sekuntia NVIDIA H200 -GPU-ajasta, mikä vastaa laskettua kustannusta noin 0,00070 dollaria tehtävää kohden, olettaen H200-kustannuksen olevan 3 dollaria GPU-tunnissa.

Pathway väittää, että tämä asettaa BDH-CQ:n aiemmin raportoidun kustannus-tarkkuus-kaavan ulkopuolelle ARC-AGI-1:lle.

Merkittävää ei ole se, että 150 miljoonan parametrin järjestelmä on nyt saavuttanut korkeimman ARC-pisteen. Jotkut suuremmat päätöksentekijärjestelmät saavuttavat korkeamman pisteen. Sen sijaan Pathway keskittyy siihen, kuinka paljon päätöksentekokykyä malli voi toimittaa kustannuksella.

Tämä saattaa tulla yhä tärkeämmäksi, kun yritykset siirtävät tekoälyä harvinaisista chat-keskusteluista kohti agentteja ja muita järjestelmiä, jotka saattavat suorittaa suuren määrän päätöksentekotoimia jatkuvasti.

Tekniset tulokset osoittavat myös, missä BDH-CQ kamppailee

Laajempi arviointi esittää monitahoisemman kuvan kuin otsikko.

ConceptARC:ssa, joka erottaa päätöksentekiongelmat eri konseptuaalisiin luokkiin, BDH-CQ:n suorituskyky vaihteli huomattavasti. Se suoriutui erittäin hyvin useista tehtävistä, jotka liittyivät reuna-laajennukseen ja täytettyjen alueiden erottamiseen tyhjistä alueista, kun taas kopiointi- ja järjestysongelmat olivat vaikeampia.

Säädeltyjen kokeiden tulokset olivat samansuuntaisia.

Reunaetäisyys ja kopiointi säilyivät tarkinasti, kun nämä toiminnot laajenivat testattuihin rajoituksiin. Suorituskyky heikkeni merkittävästi, kun järjestyskoko kasvoi. Pesittyjen relaatioproblemat olivat myös haasteellisempia, kun vaadittu pesintäsyvyys kasvoi.

Tutkijat totesivat myös, että esimerkkien antaminen lähellä kohdeongelman monimutkaisuutta voisi parantaa suorituskykyä joissakin tapauksissa, mikä viittaa siihen, että osa rajoituksesta liittyy siihen, kuinka pitkälle järjestelmä voi extrapoloida esimerkeistä.

Nämä heikkoudet ovat merkittäviä, koska ARC-AGI on erikoistunut visuaaliseen päätöksentekoon. Vahva kustannustehokkuus ARC:llä ei osoita, että sama arkkitehtuuri voisi ylittää yleispätevät kielimallit tuotantokuormituksissa.

Sen sijaan tulokset antavat näyttöä kapeammalle, mutta mahdollisesti merkittävälle idealle: monimutkaiset päätöksentekikyky vaativat ehkä ei aina massiivisia parametrilukumääriä tai pitkiä generoituja päätöksentekotokeneja.

Pathway rakentaa myös infrastruktuuria reaaliaikaiselle tekoälylle

Pathwayn työ edelsi sen pyrkimyksiä post-Transformer-malleihin. Yhdessä BDH:n kanssa yhtiö kehittää tietojen käsittelykehyksen, joka on suunniteltu virtaaviin tietoihin, reaaliaikaisiin analyyseihin, suurten kielimallien sovelluksiin ja hakutukevansaatiin.

Alusta on suunniteltu auttamaan tekoälyjärjestelmiä työskentelemään tietojen kanssa, jotka muuttuvat jatkuvasti, sen sijaan, että se riippuisi kokonaan staattisista tietokannoista tai jaksoittain uudelleenrakennetuista indekseistä.

Tämä infrastruktuuritausta sopii läheisesti Pathwayn laajempaan tutkimussuuntaan. Sen olemassa oleva teknologia keskittyy pitämään tekoälysovelluksia synkronissa muuttuvien ulkoisten tietojen kanssa, kun taas BDH tutkii, voivatko pysyvä muisti ja sopeutuminen tulla yhä enemmän mallin arkkitehtuurin ominaisuuksiksi.

Tämä voi olla merkittävää tekoälyagentteja ja muiden pitkäaikaisjärjestelmiä varten, jotka tarvitsevat säilyttää tilansa ja reagoida uusiin tietoihin pitkän ajan kuluessa.

Mitä Pathwaylle tulee seuraavaksi

Pathway aikoo käyttää uutta pääomaa mallikapasiteetin lisäämiseen ja kouluttamaan laajempia BDH-pohjaisia järjestelmiä.

Sen tietyömaa sisältää matemaattisen päätöksentekoon, ARC-AGI-2:n ja ARC-AGI-3:n, sekä suuren kielimallin kehittämisen, joka sisältää latentin päätöksentekoon.

Yhtiö kertoo, että varhaiset esikoulutuskoekäytöt, jotka on suoritettu skaaloissa 1 miljardista 600 miljardiin parametriin, ovat osoittaneet Transformer-tyyppistä skaalautuvuutta säilyttäen samalla ominaisuuksia, jotka liittyvät BDH:n latenttiin päätöksentekoon.

Tämä on kuitenkin varhainen osoitus eikä todiste siitä, että arkkitehtuurin etuja säilyy suurten, yleispätevien mallien yli.

Pathway on lopulta kohdistamassa huomionsa aloille, kuten rahoituspalveluihin, terveydenhuoltoon ja teknologiaan, joissa pysyvä muisti, muuttuvat tiedot ja laskennan kustannukset voivat tulla erityisen tärkeiksi, kun tekoälyjärjestelmät siirtyvät pidemmän aikavälin työskentelyyn.

Tällä hetkellä 500 miljoonan dollarin arvostus edustaa merkittävää panostusta vaihtoehtoon alan hallitsevaan skaalauksen strategiaan. Tärkeämpi testi tulee, kun Pathway siirtää BDH:n menestyksekkäästi rajatumpien päätöksentekobenchmarkien ulkopuolelle ja osoittaa, säilyvätkö sen arkkitehtuurin etut BDH:lla yli kielien, matematiikan, agenttien ja reaalimaailman sovellusten.