Pathway Säkrar Ny Finansiering på 500 MUSD för Att Skala Post-Transformer AI

AI-forskningsföretaget Pathway har säkrat ytterligare finansiering till ett värde av 500 miljoner dollar, vilket bringar dess totala seedfinansiering till 30 miljoner dollar, alltmedan de förbereder sig för att skala upp en ny generation modeller byggda kring dess post-Transformer-arkitektur.

Finansieringen inkluderar deltagande från Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital och WS Investment Co., investeringsarmen till Wilson Sonsini, tillsammans med Databricks Chief AI Scientist Jonathan Frankle. Pathway sa att mycket av den nya kapitalet kommer att gå till att expandera beräkningskapaciteten, inklusive NVIDIA GB300-system.

Investeringen kommer tillsammans med nya resultat för Pathways BDH-CQ resonemodell, vilket ger finansieringen en mer konkret teknisk bakgrund än det alltmer vanliga löftet att bygga större grundmodeller. Pathway säger att deras 150-miljonerparametrarsmodell uppnådde 29,5% på den offentliga ARC-AGI-1-utvärderingssättet till en beräknad inferenskostnad på endast $0,0007 per uppgift.

Finansiering Anländer Medan Pathway Satsar Mot Brute-Force-Skalning

Mycket av den nuvarande frontier-modellracen har centrerats kring skala: större kluster, mer träningsdata, fler parametrar och ökande mängder test-tidberäkning. Pathway tar en annan approach, och hävdar att vissa av branschens kostnads- och minnesbegränsningar är arkitektoniska snarare än problem som kan lösas genom att lägga till mer beräkning.

Den tesen ligger i centrum för dess BDH, eller Dragon Hatchling, arkitektur. Pathway beskriver BDH som en post-Transformer-design som syftar till att kombinera resonemang, minne och anpassning inom modellen själv, snarare än att förlita sig primärt på en expanderande kontextfönster eller externa minnessystem.

Arkitekturen bygger på idéer som inkluderar beständig tillstånd, sparsam aktivitet, lokala interaktioner och kontinuerlig justering. Pathway beskriver designen som biologiskt inspirerad snarare än ett försök att direkt reproducera hur hjärnan fungerar.

Den nya finansieringen ger företaget ytterligare resurser för att testa om dessa egenskaper fortsätter att gälla när BDH-modeller blir avsevärt större.

Pathway lägger också till Adam Kurzrok som Chief Product Officer. Kurzrok har tidigare tjänstgjort som Group Product Manager för Gemini på Google DeepMind och kommer att leda produktledningen kring paketering, utvärdering och distribution av BDH-baserade modeller.

Företaget formaliserar också en rådgivargrupp som inkluderar Transformer-co-uppfinnaren Łukasz Kaiser, Frankle, NYU-professorn Martín Farach-Colton och ekonomen Jacques Attali.

Vad Gör BDH-CQ Annorlunda

BDH-CQ är en utvidgning av den bredare BDH-arkitekturen, designad kring in-context-lärande och rekurrent latent resonemang.

Istället för att kräva att en modell uttrycker mycket av sin mellanliggande resonemang som genererad text, utför BDH-CQ iterativ beräkning inom ett kontinuerligt latent arbetsutrymme. Exempel som tillhandahålls under inferens uppdaterar en rekurrent minnestillstånd, varefter systemet arbetar igenom det nya problemet internt innan det avkodar sitt svar. Modellens parametrar förblir fasta under denna process.

Detta är viktigt eftersom tokenbaserat resonemang kan bli dyrt när resonemangsspår förlängs. I konventionella chain-of-thought-approacher genereras mellanliggande steg sekventiellt och sedan mata tillbaka in i senare skeden av resonemangsprocessen.

BDH-CQ är designad för att hålla mer av den beräkningen inom dess interna tillstånd snarare än att kontinuerligt översätta mellanliggande beräkningssteg till text.

Distinktionen innebär inte att språkbaserat resonemang är föråldrat. Snarare testar Pathway om vissa resonemangsarbetsbelastningar kan hanteras mer effektivt utan att kräva att varje mellanliggande beräkningssteg måste serialiseras som text.

ARC-AGI-Resultat Sätter Kostnadseffektivitet i Centrum

Det mest anmärkningsvärda resultatet som åtföljer finansieringen kommer från ARC-AGI-1, en benchmark som syftar till att testa om AI-system kan härleda transformationer från ett litet antal exempel och tillämpa dessa regler på osynliga indata.

Pathways 150-miljonerparametrars BDH-CQ uppnådde 29,5% pass@2 över den offentliga ARC-AGI-1-utvärderingssättet på 400 uppgifter.

Den tekniska utvärderingen uppskattar att varje uppgift krävde ungefär 0,85 sekunder av NVIDIA H200 GPU-tid, vilket motsvarar en beräknad kostnad på cirka $0,00070 per uppgift när man antar en H200-kostnad på 3 dollar per GPU-timme.

Pathway hävdar att detta placerar BDH-CQ bortom den tidigare rapporterade kostnad-mot-precision-Pareto-gränsen för ARC-AGI-1.

Betydelsen ligger inte i att den 150-miljonerparametrars systemet nu har den högsta absoluta ARC-poängen. Vissa större resonemodeller poängsätter högre. Istället fokuserar Pathway på hur mycket resonemangsprestanda modellen kan leverera för varje dollar av inferensutgifter.

Detta kan bli alltmer viktigt när företag flyttar AI från tillfälliga chatbot-interaktioner mot agenter och andra system som kan utföra ett stort antal resonemangsoperationer kontinuerligt.

De Tekniska Resultaten Visar Också Där BDH-CQ Kämpar

Den bredare utvärderingen presenterar en mer nyanserad bild än rubrikbenchmarken.

På ConceptARC, som separerar resonemangsproblem i olika konceptuella kategorier, varierade BDH-CQ:s prestanda avsevärt. Den presterade särskilt bra på flera uppgifter som involverade gränsutvidgning och att skilja på ifyllda och ofyllda områden, medan områden som involverade kopiering och ordning visade sig vara svårare.

Kontrollerade experiment producerade ett liknande mönster.

Gränspropagation och kopiering förblev exakta när dessa operationer utvidgades inom de testade områdena. Prestandan försämrades mer betydligt när ordningssekvenser blev längre. Inbäddade relationsproblem visade sig också vara svårare när den krävda inbäddningsdjupet ökade.

Forskarna fann också att tillhandahållande av demonstrationer närmare komplexiteten hos målproblemet kunde förbättra prestandan avsevärt i vissa fall, vilket tyder på att en del av begränsningen beror på hur långt systemet kan extrapolera från de exempel det får.

De svagheter som finns är viktiga eftersom ARC-AGI förblir en specialiserad visuell resonemangsbenchmark. Stark kostnadseffektivitet på ARC visar inte att samma arkitektur kan överträffa allmänna språkmodeller över produktionsarbetsbelastningar.

Istället ger resultaten bevis för en smalare men potentiellt konsekvent idé: avancerade resonemangsförmågor kan inte alltid kräva massiva parametrarantal eller långa sekvenser av genererade resonemangstoken.

Pathway Bygger Också Infrastruktur för Real-Tid AI

Pathways arbete föregår deras satsning på post-Transformer-modeller. Tillsammans med BDH utvecklar företaget ett ramverk för datahantering som syftar till att strömma data, realtidsanalys, stora språkmodellapplikationer och återhämtning-förstärkt generering.

Plattformen är designad för att hjälpa AI-system att arbeta med information som förändras kontinuerligt snarare än att förlita sig helt på statiska datamängder eller periodiskt ombyggda index.

Den infrastrukturbakgrunden passar nära med Pathways bredare forskningsriktning. Deras befintliga teknik fokuserar på att hålla AI-applikationer synkroniserade med föränderlig extern data, medan BDH utforskar om beständigt minne och anpassning kan bli alltmer egenskaper hos modellarkitekturen i sig.

Detta kan vara viktigt för AI-agenter och andra långvariga system som behöver behålla tillstånd medan de reagerar på ny information under utsträckta perioder.

Vad Kommer Nästa för Pathway

Pathway avser att använda det nya kapitalet för att öka modellkapaciteten och träna mer omfattande BDH-baserade system.

Deras roadmap inkluderar matematiskt resonemang, ARC-AGI-2 och ARC-AGI-3, samt utveckling av en stor språkmodell som inkorporerar latent resonemang.

Företaget säger att tidiga förträningsexperiment i skalor som sträcker sig från 1 miljard till 600 miljarder parametrar har visat Transformer-liknande skalbeteende samtidigt som de behåller egenskaper associerade med BDH:s latent resonemangsapproach.

Det förblir en tidig indikation snarare än bevis på att arkitekturens fördelar kommer att bestå över stora, allmänna modeller.

Pathway riktar sig slutligen mot områden som finansiella tjänster, hälsovård och teknik, där beständigt minne, föränderlig information och inferenskostnader kan bli särskilt viktiga när AI-system flyttar mot längre arbetsflöden.

För närvarande representerar de 500 miljoner dollar en betydande satsning på ett alternativ till branschens dominerande skalstrategi. Det viktigaste testet kommer när Pathway flyttar BDH bortom relativt begränsade resonemangsbenchmark och visar om dess arkitektoniska fördelar består över språk, matematik, agenter och realvärldstillämpningar.