Pathway raccoglie nuovi fondi a una valutazione di 500 milioni di dollari per scalare l’AI post-Transformer

L’azienda di ricerca sull’AI Pathway ha ottenuto ulteriori fondi a una valutazione di 500 milioni di dollari, portando il totale dei finanziamenti iniziali a 30 milioni di dollari mentre si prepara a scalare una nuova generazione di modelli costruiti attorno alla sua architettura post-Transformer.

I finanziamenti includono la partecipazione di Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital e WS Investment Co., il braccio di investimento di Wilson Sonsini, insieme al Chief AI Scientist di Databricks Jonathan Frankle. Pathway ha dichiarato che gran parte del nuovo capitale sarà utilizzato per espandere la capacità di calcolo, compresi i sistemi NVIDIA GB300.

L’investimento arriva insieme ai nuovi risultati per il modello di ragionamento BDH-CQ di Pathway, dando ai finanziamenti un retroscena tecnico più concreto rispetto alla promessa sempre più comune di costruire semplicemente modelli di base più grandi. Pathway afferma che il suo modello da 150 milioni di parametri ha ottenuto un punteggio del 29,5% nel set di valutazione pubblico ARC-AGI-1 al costo di inferenza calcolato di soli 0,0007 dollari per attività.

I finanziamenti arrivano mentre Pathway scommette contro la scalabilità brute-force

Gran parte della corsa ai modelli di frontiera attuale si è concentrata sulla scala: cluster più grandi, più dati di training, più parametri e quantità crescenti di calcolo al momento del test. Pathway sta seguendo un approccio diverso, sostenendo che alcune delle limitazioni di costo e memoria dell’industria sono architettoniche piuttosto che problemi che possono essere risolti indefinitamente aggiungendo più calcolo.

Quella tesi è al centro della sua architettura BDH, o Dragon Hatchling. Pathway descrive BDH come un design post-Transformer progettato per combinare ragionamento, memoria e adattamento all’interno del modello stesso piuttosto che affidarsi principalmente a una finestra di contesto in espansione o a sistemi di memoria esterni.

L’architettura si basa su idee che includono stato persistente, attività sparsa, interazioni locali e regolazione continua. Pathway descrive il design come ispirato biologicamente piuttosto che un tentativo di riprodurre direttamente il funzionamento del cervello.

I nuovi finanziamenti danno all’azienda risorse aggiuntive per testare se quelle caratteristiche continuano a valere mentre i modelli BDH diventano sostanzialmente più grandi.

Pathway sta anche aggiungendo Adam Kurzrok come Chief Product Officer. Kurzrok ha precedentemente ricoperto il ruolo di Group Product Manager per Gemini presso Google DeepMind e guiderà la direzione del prodotto attorno al confezionamento, alla valutazione e alla distribuzione di modelli basati su BDH.

L’azienda sta anche formalizzando un gruppo di consulenti che include il co-inventore del Transformer Łukasz Kaiser, Frankle, il professore di NYU Martín Farach-Colton e l’economista Jacques Attali.

Cosa rende BDH-CQ diverso

BDH-CQ è un’estensione dell’architettura BDH più ampia progettata attorno all’apprendimento in contesto e al ragionamento latente ricorrente.

Invece di richiedere a un modello di esprimere gran parte del suo ragionamento intermedio come testo generato, BDH-CQ esegue calcoli iterativi all’interno di uno spazio di lavoro latente continuo. Gli esempi forniti durante l’inferenza aggiornano uno stato di memoria ricorrente, dopo di che il sistema lavora sul nuovo problema internamente prima di decodificare la sua risposta. I parametri del modello rimangono fissi durante questo processo.

Questo è importante perché il ragionamento basato sui token può diventare costoso man mano che le tracce di ragionamento si allungano. Negli approcci convenzionali di catena di pensieri, i passaggi intermedi vengono generati sequenzialmente e quindi riutilizzati in fasi successive del processo di ragionamento.

BDH-CQ è progettato per mantenere più di quel calcolo all’interno del suo stato interno piuttosto che tradurre continuamente il ragionamento intermedio in linguaggio.

La distinzione non significa che il ragionamento basato sul linguaggio sia intrinsecamente obsoleto. Piuttosto, Pathway sta testando se alcuni carichi di lavoro di ragionamento possono essere gestiti più efficientemente senza richiedere che ogni passaggio computazionale intermedio venga serializzato come testo.

I risultati di ARC-AGI mettono l’efficienza dei costi al centro

Il risultato più notevole che accompagna i finanziamenti proviene da ARC-AGI-1, un benchmark progettato per testare se i sistemi di intelligenza artificiale possono inferire trasformazioni da un piccolo numero di esempi e applicare quelle regole a input non visti.

Il modello BDH-CQ da 150 milioni di parametri di Pathway ha ottenuto un punteggio del 29,5% nel set di valutazione pubblico ARC-AGI-1.

La valutazione tecnica stima che ogni attività abbia richiesto circa 0,85 secondi di tempo di GPU H200, corrispondente a un costo calcolato di circa 0,0007 dollari per attività quando si assume un costo di 3 dollari per ora di GPU H200.

Pathway sostiene che ciò colloca BDH-CQ oltre il fronte di Pareto precedente per ARC-AGI-1 in termini di costo e accuratezza.

Il significato non è che il sistema da 150 milioni di parametri abbia ora il punteggio ARC più alto in assoluto. Alcuni sistemi di ragionamento più grandi ottengono punteggi più alti. Invece, Pathway si concentra su quanto rendimento di ragionamento il modello possa offrire per ogni dollaro di spesa per l’inferenza.

Ciò potrebbe diventare sempre più importante mentre le aziende spostano l’AI da interazioni di chatbot occasionali verso agenti e altri sistemi che potrebbero eseguire un gran numero di operazioni di ragionamento in modo continuo.

I risultati tecnici mostrano anche dove BDH-CQ fatica

La valutazione più ampia presenta un quadro più sfumato rispetto al benchmark principale.

Su ConceptARC, che separa i problemi di ragionamento in diverse categorie concettuali, le prestazioni di BDH-CQ sono variate notevolmente. Ha eseguito particolarmente bene su diverse attività che coinvolgono l’estensione dei confini e la distinzione tra regioni piene e non piene, mentre le aree che coinvolgono la copia e l’ordinamento si sono rivelate più difficili.

Gli esperimenti controllati hanno prodotto uno schema simile.

La propagazione dei confini e la copia sono rimaste accurate man mano che queste operazioni venivano estese all’interno degli intervalli testati. Le prestazioni sono peggiorate in modo più significativo man mano che le sequenze di ordinamento diventavano più lunghe. I problemi di relazione annidati sono diventati più impegnativi una volta che la profondità di annidamento richiesta è aumentata.

I ricercatori hanno anche scoperto che fornire dimostrazioni più vicine alla complessità del problema di destinazione poteva migliorare notevolmente le prestazioni in alcuni casi, suggerendo che parte della limitazione riguarda quanto lontano il sistema possa extrapolare dagli esempi che riceve.

Queste debolezze sono importanti perché ARC-AGI rimane un benchmark di ragionamento visivo specializzato. Una forte efficienza dei costi su ARC non dimostra che la stessa architettura possa superare i modelli di linguaggio generale in carichi di lavoro di produzione.

Invece, i risultati forniscono prove per un’idea più stretta ma potenzialmente più significativa: le capacità di ragionamento sofisticate potrebbero non richiedere sempre contatori di parametri massicci o lunghe sequenze di token di ragionamento generati.

Pathway sta anche costruendo infrastrutture per l’AI in tempo reale

Il lavoro di Pathway precede la sua spinta verso modelli post-Transformer. Accanto a BDH, l’azienda sviluppa un framework di elaborazione dei dati progettato per dati in streaming, analisi in tempo reale, applicazioni di modelli di linguaggio e generazione aumentata di recupero.

La piattaforma è progettata per aiutare i sistemi di intelligenza artificiale a lavorare con informazioni che cambiano continuamente piuttosto che affidarsi interamente a set di dati statici o a indici ricostruiti periodicamente.

Quel background infrastrutturale si adatta strettamente alla direzione di ricerca più ampia di Pathway. La sua tecnologia esistente si concentra sul mantenere le applicazioni di intelligenza artificiale sincronizzate con i dati esterni in continua evoluzione, mentre BDH esplora se la memoria persistente e l’adattamento possano diventare proprietà dell’architettura del modello stesso.

Ciò potrebbe essere importante per gli agenti di intelligenza artificiale e altri sistemi a lungo termine che devono mantenere lo stato mentre reagiscono a nuove informazioni nel corso di periodi prolungati.

Cosa viene dopo per Pathway

Pathway intende utilizzare i nuovi capitali per aumentare la capacità del modello e formare sistemi BDH più capaci.

La sua roadmap include il ragionamento matematico, ARC-AGI-2 e ARC-AGI-3, nonché lo sviluppo di un modello di linguaggio grande che incorpora il ragionamento latente.

L’azienda afferma che gli esperimenti di pre-addestramento precoci a scale che vanno da 1 miliardo a 600 miliardi di parametri hanno mostrato un comportamento di scalabilità simile a quello del Transformer, mantenendo le caratteristiche associate all’approccio di ragionamento latente di BDH.

Questo rimane un’indicazione precoce piuttosto che una prova che i vantaggi dell’architettura persisteranno in modelli generali di grandi dimensioni.

Pathway sta puntando a settori come servizi finanziari, sanità e tecnologia, dove la memoria persistente, le informazioni in continua evoluzione e i costi di inferenza potrebbero diventare particolarmente importanti mentre i sistemi di intelligenza artificiale si muovono verso flussi di lavoro più lunghi.

Per ora, la valutazione di 500 milioni di dollari rappresenta una scommessa significativa su un’alternativa alla strategia di scalabilità dominante dell’industria. La prova più importante verrà quando Pathway sposterà BDH oltre i benchmark di ragionamento relativamente vincolati e dimostrerà se i suoi vantaggi architettonici persistono attraverso linguaggio, matematica, agenti e applicazioni del mondo reale.