Pathway sikrer ny finansiering på 500 millioner dollar for å skalle post-Transformer AI

AI-forskningselskapet Pathway har sikret ytterligere finansiering på en verdi av 500 millioner dollar, og bringer deres totale seed-finansiering til 30 millioner dollar, da de forbereder seg på å skalle en ny generasjon modeller bygget rundt deres post-Transformer-arkitektur.

Finansieringen inkluderer deltakelse fra Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital og WS Investment Co., investeringsarmen til Wilson Sonsini, sammen med Databricks Chief AI Scientist Jonathan Frankle. Pathway sa at mye av den nye kapitalen vil gå til å utvide beregningskapasiteten, inkludert NVIDIA GB300-systemer.

Investeringen kommer sammen med nye resultater for Pathways BDH-CQ resonemodell, og gir finansieringen en mer konkrete tekniske bakgrunn enn det stadig mer vanlige løftet om å bygge større grunnmodeller. Pathway sier at deres 150 millioner parametriske modell oppnådde 29,5% på den offentlige ARC-AGI-1-evalueringssettet, med en beregnet inferenskost på kun 0,0007 dollar per oppgave.

Finansiering ankommer mens Pathway satser mot en alternativ til bransjens dominante skaleringsstrategi

Mye av den nåværende frontmodell-konkurransen har sentrert seg rundt skala: større kluster, mer treningdata, flere parametre og økende mengder test-tid beregning. Pathway tar en annen tilnærming, og argumenterer for at noen av bransjens kost- og minnehensyn begrensninger er arkitektoniske snarere enn problemer som kan løses uendelig ved å legge til mer beregning.

Den tesen er i sentrum av deres BDH, eller Dragon Hatchling, arkitektur. Pathway beskriver BDH som en post-Transformer-design som er ment å kombinere resonemang, minne og tilpasning innen modellen selv, snarere enn å stole primært på en utvidende kontekstvindu eller eksterne minnehessystemer.

Arkitekturen bygger på ideer inkludert varig tilstand, sparsom aktivitet, lokale interaksjoner og kontinuerlig justering. Pathway beskriver designet som biologisk inspirert, snarere enn et forsøk på å direkte reproducere hvordan hjernen fungerer.

Den nye finansieringen gir selskapet ytterligere ressurser til å teste om disse egenskapene fortsetter å holde når BDH-modellene blir betydelig større.

Pathway legger også til Adam Kurzrok som Chief Product Officer. Kurzrok var tidligere Group Product Manager for Gemini hos Google DeepMind, og vil lede produktretningen rundt pakking, evaluering og distribusjon av BDH-baserte modeller.

Selskapet formaliserer også en rådgivergruppe som inkluderer Transformer-co-inventor Łukasz Kaiser, Frankle, NYU-professor Martín Farach-Colton og økonom Jacques Attali.

Hva gjør BDH-CQ forskjellig

BDH-CQ er en utvidelse av den bredere BDH-arkitekturen, designet rundt kontekstlæring og rekurrerende latent resonemang.

I stedet for å kreve at en modell uttrykker mye av sin mellomliggende resonemang som generert tekst, utfører BDH-CQ iterativ beregning innen en kontinuerlig latent arbeidsplass. Eksempler som leveres under inferens oppdaterer en rekurrerende minnetilstand, etterfulgt av at systemet arbeider gjennom det nye problemet internt før det dekoderer svaret sitt. Modellens parametre forblir faste under denne prosessen.

Dette betyr at token-basert resonemang kan bli dyrt når resonemangsspor lenges. I konvensjonelle chain-of-thought-tilnærminger genereres mellomliggende steg sekvensielt og føres deretter tilbake til senere steg i resonemangsprosessen.

BDH-CQ er designet for å holde mer av denne beregningen innen sin interne tilstand, snarere enn å kontinuerlig oversette mellomliggende resonemang til tekst.

Forskjellen betyr ikke at språkbasert resonemang er innevant. Snarere tester Pathway om noen resonemangsarbeidsbelastninger kan håndteres mer effektivt uten å kreve at hver mellomliggende beregningssteg må serialiseres som tekst.

ARC-AGI-resultater plasserer kostnadseffektivitet i sentrum

Det mest bemerkelsesverdige resultatet som følger med finansieringen, kommer fra ARC-AGI-1, en benchmark designet for å teste om AI-systemer kan inferere transformasjoner fra et lite antall eksempler og anvende disse reglene på usette innputt.

Pathways 150 millioner parametriske BDH-CQ oppnådde 29,5% pass@2 over den 400-oppgave offentlige ARC-AGI-1-evalueringssettet.

Den tekniske evalueringen estimerer at hver oppgave krevde omtrent 0,85 sekunder NVIDIA H200 GPU-tid, som tilsvarer en beregnet kostnad på omtrent 0,0007 dollar per oppgave når man antar en H200-kostnad på 3 dollar per GPU-timer.

Pathway argumenterer for at dette plasserer BDH-CQ utenfor den tidligere rapporterte kostnad-til-nøyaktighet Pareto-frontier for ARC-AGI-1.

Betydningen er ikke at den 150 millioner parametriske systemet nå har den høyeste absolutte ARC-poengsum. Noen større resonemangssystemer scorer høyere. I stedet fokuserer Pathway på hvor mye resonemangsytelse modellen kan levere for hver dollar av inferensutgifter.

Dette kan bli stadig viktigere når bedrifter flytter AI fra tilfeldige chatbot-interaksjoner mot agenter og andre systemer som kan utføre et stort antall resonemangsoperasjoner kontinuerlig.

De tekniske resultater viser også hvor BDH-CQ sliter

Den bredere evalueringen presenterer et mer nyansert bilde enn overskriftsbenchmarken.

På ConceptARC, som skiller resonemangsproblemer inn i forskjellige konseptuelle kategorier, varierte BDH-CQs ytelse betydelig. Den utførte særlig godt på flere oppgaver som involverte grenseutvidelse og å skille mellom fylte og ufylte regioner, mens områder som involverte kopiering og orden provede mer vanskelige.

Kontrollerte eksperimenter produserte et lignende mønster.

Grenspropagasjon og kopiering forble nøyaktig når disse operasjonene ble utvidet innen de testede områdene. Ytelsen forverret mer betydelig når ordeningssekvenser ble lengre. Innlejrede relasjonelle problemer ble også mer utfordrende når den nødvendige innlejring dybde økte.

Forskerne fant også at å gi demonstrasjoner nærmere kompleksiteten til målproblemet kunne betydelig forbedre ytelsen i noen tilfeller, og antyder at en del av begrensningen angår hvor langt systemet kan ekstrapolere fra eksemplene det mottar.

Disse svakhetene betyr at ARC-AGI forblir en spesialisert visuell resonemangsbenchmark. Stærk kostnadseffektivitet på ARC demonstrerer ikke at den samme arkitekturen kan overgå generelle språkmodeller over produksjonsarbeidsbelastninger.

I stedet gir resultater bevis for en smalere, men potensielt konsekvensrik idé: sofistikerte resonemangsevner kan kanskje ikke alltid kreve massive parameterantall eller lange sekvenser av genererte resonemangstoken.

Pathway bygger også infrastruktur for sanntids-AI

Pathways arbeid forutser deres fremstøt inn i post-Transformer-modeller. Sammen med BDH utvikler selskapet en data-prosesseringsramme rettet mot strømmende data, sanntidsanalyse, store språkmodell-applikasjoner og henting-forsterket generering.

Plattformen er designet for å hjelpe AI-systemer å arbeide med informasjon som endrer seg kontinuerlig, snarere enn å stole fullstendig på statiske datasett eller periodisk ombygde indekser.

Denne infrastruktur-bakgrunnen passer nært med Pathways bredere forskningsretning. Deres eksisterende teknologi fokuserer på å holde AI-applikasjoner synkronisert med endrende eksterne data, mens BDH utforsker om varig minne og tilpasning kan bli egenskaper av modellarkitekturen selv.

Dette kan bety noe for AI-agenter og andre langvarige systemer som må beholde tilstand mens de reagerer på ny informasjon over lengre perioder.

Hva kommer neste for Pathway

Pathway planlegger å bruke den nye kapitalen til å øke modellkapasiteten og trene mer bredt kapable BDH-baserte systemer.

Deres veikart inkluderer matematisk resonemang, ARC-AGI-2 og ARC-AGI-3, samt utvikling av en stor språkmodell som inkorporerer latent resonemang.

Selskapet sier at tidlige pre-treningseksperimenter på skalaer som varierer fra 1 milliard til 600 milliarder parametre har vist Transformer-lignende skaleringsatferd samtidig som de beholder egenskaper assosiert med BDHs latente resonemangs-tilnærming.

Dette forblir en tidlig indikasjon snarere enn bevis for at arkitekturens fordeler vil bestå over store, generelle modeller.

Pathway måler ultimate områder som finansielle tjenester, helsevesen og teknologi, hvor varig minne, endrende informasjon og inferenskostnader kan bli spesielt viktig når AI-systemer flytter mot lengre-varige arbeidsflyter.

For nå representerer 500 millioner dollar en betydelig satsning på en alternativ til bransjens dominante skaleringsstrategi. Den viktigste testen vil komme når Pathway flytter BDH forbi relativt begrensede resonemangsbenchmark og demonstrerer om arkitekturens fordeler består over språk, matematikk, agenter og sanntids-applikasjoner.