Pathway Získává Nové Financování V Hodnotě 500 Milionů USD Pro Škálování Post-Transformer AI

Výzkumná společnost Pathway získala další financování v hodnotě $500 milionů, čímž se její celkové semenné financování zvýšilo na 30 milionů dolarů, zatímco se připravuje na škálování nové generace modelů postavených na své post-Transformer architektuře.

Financování zahrnuje účast Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital a WS Investment Co., investiční odvětví Wilson Sonsini, spolu s Jonathanem Franklem, hlavním vědcem AI ve společnosti Databricks. Pathway uvedla, že většina nového kapitálu bude použita na rozšíření výpočetního výkonu, včetně systémů NVIDIA GB300.

Investice přichází spolu s novými výsledky pro BDH-CQ model společnosti Pathway, což dává financování konkrétnější technický kontext než stále častější sliby jednoduše budování větších základních modelů. Společnost Pathway uvádí, že její 150milionový parametrický model dosáhl 29,5 % na veřejném hodnocení ARC-AGI-1 při odhadované inferenční nákladů pouze $0,0007 na úkol.

Financování Přichází Jako Pathway Sází Proti Brute-Force Škálování

Velká část současné fronty modelů se soustředila na škálování: větší klastry, více trénovacích dat, více parametrů a rostoucí množství testovacího výpočtu. Pathway zvolila jinou cestu, argumentuje, že některé z omezení nákladů a paměti v odvětví jsou architektonické, spíše než problémy, které lze řešit přidáním více výpočtu.

To je téma, které je v centru její architektury BDH, nebo Dragon Hatchling. Pathway popisuje BDH jako post-Transformer design, který má kombinovat rozumění, paměť a přizpůsobení uvnitř modelu samotného, spíše než spoléhat se primárně na rozšiřující se kontextové okno nebo externí paměťové systémy.

Architektura vychází z myšlenek, včetně trvalého stavu, řídké aktivity, lokálních interakcí a kontinuální úpravy. Pathway popisuje design jako biologicky inspirovaný, spíše než pokus o přímé reprodukování, jak funguje mozek.

Nové financování dává společnosti další zdroje na testování, zda tyto charakteristiky budou pokračovat, když se modely BDH stanou podstatně většími.

Pathway také přidává Adama Kurzroka jako Chief Product Officer. Kurzrok dříve působil jako Group Product Manager pro Gemini ve společnosti Google DeepMind a bude vést produktový směr kolem balíčkování, hodnocení a nasazování modelů založených na BDH.

Společnost také formalizuje poradenskou skupinu, která zahrnuje Łukasze Kaisera, spoluzakladatele Transformeru, Frankleho, profesora Martína Faracha-Coltona z NYU a ekonoma Jacquese Attaliho.

Co Děje BDH-CQ Jiným

BDH-CQ je rozšíření širší architektury BDH, navržené kolem učení v kontextu a rekurentního latentního rozumění.

Místo toho, aby vyžadoval, aby model vyjádřil většinu svého mezitímního rozumění jako vygenerovaný text, BDH-CQ provádí iterativní výpočet uvnitř kontinuálního latentního pracovního prostoru. Příklady poskytnuté během inferencí aktualizují rekurentní paměťový stav, po kterém systém vnitřně zpracuje novou úlohu, než dekóduje svou odpověď. Parametry modelu zůstávají pevné během tohoto procesu.

To je důležité, protože tokenové rozumění se může stát nákladným, když se délka stop rozumění prodlužuje. V konvenčních přístupů chain-of-thought se mezitímní kroky generují sekvenčně a poté se krmit do pozdějších fází procesu rozumění.

BDH-CQ je navržen tak, aby udržoval více výpočtu uvnitř svého vnitřního stavu, spíše než neustálého překladu mezitímního rozumění do jazyka.

Rozdíl neznamená, že jazykové rozumění je inherentně zastaralé. Pathway testuje, zda některé úlohy rozumění lze zpracovat efektivněji bez požadavku na každou mezitímní výpočetní krok, který by musel být serializován jako text.

ARC-AGI Výsledky Umisťují Nákladovou Efektivitu Na Střed

Nejdůležitější výsledek, který doprovází financování, pochází z ARC-AGI-1, benchmarku navrženém pro testování, zda systémy AI mohou odvodit transformace z malého počtu příkladů a aplikovat tyto pravidla na neviditelné vstupy.

150milionový parametrický model BDH-CQ společnosti Pathway dosáhl 29,5 % při hodnocení ARC-AGI-1 na 400 úkolech.

Technická evaluace odhaduje, že každý úkol vyžadoval přibližně 0,85 sekund času GPU NVIDIA H200, což odpovídá odhadovanému nákladům přibližně $0,00070 na úkol, při předpokladu nákladů H200 $3 za GPU-hodinu.

Pathway argumentuje, že to umístí BDH-CQ za dříve hlášenou hranici nákladů a přesnosti pro ARC-AGI-1.

Důležitost spočívá v tom, že 150milionový parametrický systém nyní nemá nejvyšší absolutní ARC skóre. Některé větší systémy rozumění skórují vyšší. Pathway se soustředí na to, jak velkou část rozumění může model dodat za každý dolar výdajů na inferenci.

To se může stát stále důležitějším, když podniky přesouvají AI z příležitostných interakcí s chatboty směrem k agentům a jiným systémům, které mohou provádět velké množství úloh rozumění kontinuálně.

Technické Výsledky Také Ukazují, Kde BDH-CQ Bojuje

Širší evaluace představuje nuancovanější obraz než titulní benchmark.

Při ConceptARC, který rozděluje problémy rozumění do různých konceptuálních kategorií, se výkon BDH-CQ podstatně lišil. Dosáhl dobrých výsledků v několika úkolech zahrnujících prodloužení hranic a rozlišení vyplněných a nevyplněných oblastí, zatímco úkoly zahrnující kopírování a řazení se ukázaly být obtížnějšími.

Kontrolní experimenty vyprodukovaly podobný vzorec.

Propagace hranic a kopírování zůstaly přesné, když tyto operace byly prodlouženy v testovaných rozmezích. Výkon se zhoršoval podstatně, když se sekvence řazení prodlužovaly. Vnořené relační problémy se také staly obtížnějšími, když se vyžadovalo větší hloubka vnoření.

Výzkumníci také zjistili, že poskytnutí demonstrací bližších k složitosti cílového problému mohlo podstatně zlepšit výkon v některých případech, což naznačuje, že část omezení se týká toho, jak daleko může systém extrapolovat z příkladů, které obdrží.

Tyto slabiny jsou důležité, protože ARC-AGI zůstává specializovaným vizuálním benchmarkem pro rozumění. Silná nákladová efektivita na ARC nedemonstruje, že stejná architektura může outperformovat obecné jazykové modely napříč produkčními úlohami.

Místo toho výsledky poskytují důkazy pro užší, ale potenciálně významnou myšlenku: sofistikované schopnosti rozumění nemusí vždy vyžadovat masivní parametry nebo dlouhé sekvence generovaných tokenů rozumění.

Pathway Také Buduje Infrastrukturu Pro Real-Time AI

Práce Pathway předchází jejímu tlaku do post-Transformer modelů. Společně s BDH společnost vyvíjí rámec pro zpracování dat zaměřený na streamované data, analýzu v reálném čase, aplikace velkých jazykových modelů a generaci založenou na vyhledávání.

Platforma je navržena tak, aby pomáhala systémům AI pracovat s informacemi, které se mění kontinuálně, spíše než spoléhat se výhradně na statická data sada nebo périodicky přebudované indexy.

Ta infrastrukturní pozadí se blízce shoduje se širším výzkumným směrem Pathway. Jejich stávající technologie se soustředí na udržení aplikací AI synchronizovaných s měnícími se externími daty, zatímco BDH zkoumá, zda trvalá paměť a přizpůsobení se mohou stále více stávat vlastnostmi architektury modelu samotného.

To může být důležité pro AI agenty a další dlouhodobě běžící systémy, které potřebují uchovávat stav, zatímco reagují na novou informaci po delší dobu.

Co Následuje Pro Pathway

Pathway má v úmyslu použít nové kapitály ke zvýšení kapacity modelu a k výcviku více obecných systémů založených na BDH.

<p Jejich roadmap zahrnuje matematické rozumění, ARC-AGI-2 a ARC-AGI-3, stejně jako vývoj velkého jazykového modelu, který zahrnuje latentní rozumění.

Společnost uvádí, že rané experimenty s předtrénováním v rozmezí od 1 miliardy do 600 miliard parametrů ukázaly chování podobné Transformeru, zatímco si uchovávaly charakteristiky spojené s latentním rozuměním BDH.

To zůstává ranou indikací, spíše než důkazem, že výhody architektury budou přetrvávat napříč velkými, obecnými modely.

Pathway nakonec cílí na oblasti, jako jsou finanční služby, zdravotnictví a technologie, kde trvalá paměť, měnící se informace a náklady na inferenci mohou být zvláště důležité, když se systémy AI pohybují směrem k delším pracovním postupům.

Prozatím reprezentuje 500milionová valuace významnou sázku na alternativu k dominantní strategii škálování v odvětví. Důležitější test přijde, když Pathway přesune BDH za relativně omezené benchmarky rozumění a prokáže, zda jeho architektonické výhody přetrvávají napříč jazykem, matematikou, agenty a reálnými aplikacemi.