Pathway sikrer ny finansiering på 500 millioner dollars til at skala post-Transformer AI

AI-forskningsvirksomheden Pathway har sikret yderligere finansiering til en værdi af $500 millioner, hvilket bringer deres samlede seed-finansiering op på $30 millioner, da de forbereder sig på at skala en ny generation af modeller bygget omkring deres post-Transformer-arkitektur.

Finansieringen inkluderer deltagelse fra Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital og WS Investment Co., investeringsarmen af Wilson Sonsini, samt Databricks Chief AI Scientist Jonathan Frankle. Pathway sagde, at meget af den nye kapital vil gå til at udvide beregningskapaciteten, herunder NVIDIA GB300-systemer.

Investeringen kommer sammen med nye resultater for Pathways BDH-CQ resonansmodel, hvilket giver finansieringen en mere konkrete teknisk baggrund end det stadig mere almindelige løfte om blot at bygge større grundlæggende modeller. Pathway siger, at deres 150-million-parameter-model opnåede 29,5% på den offentlige ARC-AGI-1-evalueringssæt ved en beregnet inferensomkostning på kun $0,0007 per opgave.

Finansiering ankommer, da Pathway satser imod brute-force-skala

Meget af den nuværende frontier-model-konkurrence har centreret sig omkring skala: større clusters, mere træningsdata, flere parametre og øgede mængder test-tid-komputering. Pathway tager en anden tilgang, idet de argumenterer for, at nogle af industrens omkostnings- og hukommelsesbegrænsninger er arkitektoniske snarere end problemer, der kan løses uendeligt ved at tilføje mere komputering.

Denne tese er centreret i deres BDH eller Dragon Hatchling-arkitektur. Pathway beskriver BDH som en post-Transformer-design, der er tænkt til at kombinere resonans, hukommelse og tilpasning inden for modellen selv snarere end at afhænge primært af en udvidende kontekstvindue eller eksterne hukommelsessystemer.

Arkitekturen bygger på ideer som persistent tilstand, sparsom aktivitet, lokale interaktioner og kontinuerlig tilpasning. Pathway beskriver designet som biologisk inspireret snarere end et forsøg på at direkte reproducerer, hvordan hjernen fungerer.

Den nye finansiering giver virksomheden yderligere ressourcer til at teste, om disse karakteristika fortsætter med at holde, når BDH-modellerne bliver væsentligt større.

Pathway tilføjer også Adam Kurzrok som Chief Product Officer. Kurzrok har tidligere fungeret som Group Product Manager for Gemini hos Google DeepMind og vil lede produktretningen omkring pakning, evaluering og implementering af BDH-baserede modeller.

Virksomheden formaliserer også en rådgivende gruppe, der inkluderer Transformer-co-inventor Łukasz Kaiser, Frankle, NYU-professor Martín Farach-Colton og økonom Jacques Attali.

Hvad gør BDH-CQ anderledes

BDH-CQ er en udvidelse af den bredere BDH-arkitektur, der er designet omkring in-context-læring og rekurrent latent resonans.

I stedet for at kræve, at en model udtrykker meget af sin mellemliggende resonans som genereret tekst, udfører BDH-CQ iterativ beregning inde i en kontinuerlig latent arbejdsrum. Eksempler, der leveres under inferens, opdaterer en rekurrent hukommelstilstand, hvorefter systemet arbejder igennem det nye problem internt, før det afkoder svaret. Modellens parametre forbliver faste under denne proces.

Dette er vigtigt, fordi token-baseret resonans kan blive dyrt, når resonansspor længes. I konventionelle chain-of-thought-tilgange genereres mellemliggende trin sekventielt og føres derefter tilbage til senere stadier af resonansprocessen.

BDH-CQ er designet til at holde mere af denne beregning inden for sin interne tilstand snarere end at kontinuerligt oversætte mellemliggende resonans til sprog.

Forskellen betyder ikke, at sprog-baseret resonans er inherent forældet. Snarere tester Pathway, om nogle resonans-arbejdsbelastninger kan håndteres mere effektivt uden at kræve, at hver mellemliggende beregningssteg bliver serialiseret som tekst.

ARC-AGI-resultater sætter omkostningseffektivitet i centrum

Det mest bemærkelsesværdige resultat, der ledsager finansieringen, kommer fra ARC-AGI-1, en benchmark, der er designet til at teste, om AI-systemer kan slutte transformationer fra et lille antal eksempler og anvende disse regler på usete input.

Pathways 150-million-parameter BDH-CQ opnåede 29,5% pass@2 på den offentlige ARC-AGI-1-evalueringssæt.

Den tekniske evaluering estimerer, at hver opgave krævede omtrent 0,85 sekunder af NVIDIA H200 GPU-tid, svarende til en beregnet omkostning på omtrent $0,00070 per opgave, når man antager en H200-omkostning på $3 per GPU-time.

Pathway argumenterer for, at dette placerer BDH-CQ ud over den tidligere rapporterede omkostnings-til-nøjagtighed Pareto-grænse for ARC-AGI-1.

Betydningen ligger ikke i, at 150-million-parameter-systemet nu har den højeste absolutte ARC-score. Nogle større resonanssystemer scorer højere. I stedet fokuserer Pathway på, hvor meget resonans-performance modellen kan levere for hver dollar af inferens-udgifter.

Dette kan blive stadig vigtigere, da virksomheder flytter AI fra lejlighedsvis chatbot-interaktioner mod agenter og andre systemer, der kan udføre et stort antal resonansoperationer kontinuerligt.

De tekniske resultater viser også, hvor BDH-CQ kæmper

Den bredere evaluering præsenterer et mere nuanceret billede end overskriftsbenchmarket.

På ConceptARC, der adskiller resonansproblemer i forskellige konceptuelle kategorier, varierede BDH-CQ’s præstation betydeligt. Den opnåede en særligt god præstation på flere opgaver, der involverede grænseudvidelse og forskellen mellem fyldte og ufylde områder, mens områder, der involverede kopiering og ordning, var mere vanskelige.

Kontrollerede eksperimenter producerede en lignende mønster.

Grænsepropagation og kopiering forblev nøjagtige, da disse operationer blev udvidet inden for de testede områder. Præstationen forringedes mere betydeligt, da ordningssekvenser blev længere. Indlejrede relationelle problemer blev også mere udfordrende, når den krævede indlejring dybde øgedes.

Forskerne fandt også, at levering af demonstrationer tættere på kompleksiteten af målproblemet kunne forbedre præstationen betydeligt i visse tilfælde, hvilket antyder, at en del af begrænsningen vedrører, hvor langt systemet kan extrapolere fra de eksempler, det modtager.

Disse svagheder er vigtige, fordi ARC-AGI forbliver en specialiseret visuel resonansbenchmark. Stærk omkostningseffektivitet på ARC demonstrerer ikke, at samme arkitektur kan overgå almindelige sprogmodeller på tværs af produktionsarbejdsbelastninger.

I stedet giver resultaterne bevis for en smallere, men potentielt konsekvent idé: avancerede resonansfunktioner kan måske ikke altid kræve massive parameterantal eller lange sekvenser af genererede resonanstoken.

Pathway bygger også infrastruktur til realtids-AI

Pathways arbejde forudgår deres skub til post-Transformer-modeller. Sammen med BDH udvikler virksomheden en dataforarbejdningsramme rettet mod streaming-data, realtidsanalyse, store sprogmodelapplikationer og hentningsforstærket generering.

Platformen er designet til at hjælpe AI-systemer med at arbejde med information, der ændrer sig kontinuerligt, snarere end at afhænge udelukkende af statiske datasæt eller periodisk genopbyggede indeks.

Denne infrastrukturbaggrund passer tæt med Pathways overordnede forskningsretning. Deres eksisterende teknologi fokuserer på at holde AI-applikationer synkroniseret med ændrende eksterne data, mens BDH udforsker, om persistent hukommelse og tilpasning kan blive mere og mere en del af modellens arkitektur selv.

Dette kan være vigtigt for AI-agenter og andre langvarige systemer, der skal fastholde tilstand, mens de reagerer på nye oplysninger over længere perioder.

Hvad kommer næste for Pathway

Pathway har til hensigt at bruge den nye kapital til at øge modellens kapacitet og træne mere bredt kapable BDH-baserede systemer.

Deres roadmap inkluderer matematisk resonans, ARC-AGI-2 og ARC-AGI-3, samt udvikling af en stor sprogmodel, der inkorporerer latent resonans.

Virksomheden siger, at tidlige pretraining-eksperimenter i størrelsesordener fra 1 milliard til 600 milliarder parametre har vist Transformer-lignende skaleringsadfærd, mens de fastholder karakteristika forbundet med BDH’s latent resonans-tilgang.

Dette er stadig en tidlig indikation snarere end bevis for, at arkitekturens fordele vil bestå på tværs af store, almindelige modeller.

Pathway sigter i sidste ende mod områder som finansielle tjenester, sundhedspleje og teknologi, hvor persistent hukommelse, ændrende information og inferensomkostninger kan blive særligt vigtige, da AI-systemer bevæger sig mod længerevarende arbejdsprocesser.

For nu repræsenterer $500 millioner-vurderingen en betydelig indsats på en alternativ til industrens dominerende skalastrategi. Den vigtigste test vil komme, når Pathway flytter BDH ud over relativt begrænsede resonansbenchmark og demonstrerer, om deres arkitektoniske fordele består på tværs af sprog, matematik, agenter og realverden-applikationer.