Pathway Recebe Novo Financiamento a Valor de $500 Milhões para Escalar IA Pós-Transformer

A empresa de pesquisa em IA Pathway Pathway obteve financiamento adicional a um valor de $500 milhões, elevando seu total de financiamento de semente para $30 milhões, à medida que se prepara para escalar uma nova geração de modelos construídos em torno de sua arquitetura pós-Transformer.

O financiamento inclui a participação de Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital e WS Investment Co., o braço de investimento da Wilson Sonsini, ao lado do cientista-chefe de IA da Databricks, Jonathan Frankle. A Pathway disse que grande parte do novo capital será destinada a expandir a capacidade de computação, incluindo sistemas NVIDIA GB300.

O investimento chega junto com novos resultados para o modelo de raciocínio BDH-CQ da Pathway, dando ao financiamento um contexto técnico mais concreto do que a promessa cada vez mais comum de simplesmente construir modelos de base maiores. A Pathway afirma que seu modelo de 150 milhões de parâmetros alcançou 29,5% no conjunto de avaliação pública ARC-AGI-1 a um custo de inferência calculado de apenas $0,0007 por tarefa.

Financiamento Chega à medida que Pathway Aposta Contra a Escalação de Força Bruta

Muito da corrida atual de modelos de fronteira tem se concentrado na escala: clusters maiores, mais dados de treinamento, mais parâmetros e quantidades crescentes de computação no tempo de teste. A Pathway está adotando uma abordagem diferente, argumentando que algumas das limitações de custo e memória da indústria são arquiteturais, e não problemas que possam ser resolvidos indefinidamente adicionando mais computação.

Essa tese está no centro de sua arquitetura BDH, ou Dragon Hatchling. A Pathway descreve a BDH como um design pós-Transformer destinado a combinar raciocínio, memória e adaptação dentro do próprio modelo, em vez de confiar principalmente em uma janela de contexto em expansão ou sistemas de memória externos.

A arquitetura se baseia em ideias que incluem estado persistente, atividade esparsa, interações locais e ajuste contínuo. A Pathway descreve o design como biologicamente inspirado, e não como uma tentativa de reproduzir diretamente como o cérebro funciona.

O novo financiamento dá à empresa recursos adicionais para testar se essas características continuam a se manter à medida que os modelos BDH se tornam substancialmente maiores.

A Pathway também está adicionando Adam Kurzrok como Diretor de Produto. Kurzrok atuou anteriormente como Gerente de Produto Sênior para Gemini na Google DeepMind e liderará a direção de produto em torno do empacotamento, avaliação e implantação de modelos baseados em BDH.

A empresa também está formalizando um grupo consultivo que inclui o co-inventor do Transformer, Łukasz Kaiser, Frankle, o professor da NYU Martín Farach-Colton e o economista Jacques Attali.

O que Torna o BDH-CQ Diferente

O BDH-CQ é uma extensão da arquitetura BDH mais ampla, projetada em torno do aprendizado de contexto e do raciocínio latente recorrente.

Ao invés de exigir que um modelo expresse grande parte de seu raciocínio intermediário como texto gerado, o BDH-CQ realiza computação iterativa dentro de um espaço de trabalho latente contínuo. Exemplos fornecidos durante a inferência atualizam um estado de memória recorrente, após o que o sistema trabalha no novo problema internamente antes de decodificar sua resposta. Os parâmetros do modelo permanecem fixos durante esse processo.

Isso importa porque o raciocínio baseado em token pode se tornar caro à medida que as trilhas de raciocínio se alongam. Em abordagens convencionais de cadeia de pensamento, etapas intermediárias são geradas sequencialmente e, em seguida, alimentadas de volta em estágios posteriores do processo de raciocínio.

O BDH-CQ é projetado para manter mais dessa computação dentro de seu estado interno, em vez de traduzir continuamente o raciocínio intermediário em linguagem.

A distinção não significa que o raciocínio baseado em linguagem é inherentemente obsoleto. Em vez disso, a Pathway está testando se algumas cargas de trabalho de raciocínio podem ser tratadas de forma mais eficiente sem exigir que cada etapa computacional intermediária seja serializada como texto.

Resultados do ARC-AGI Colocam a Eficiência de Custo no Centro

O resultado mais notável que acompanha o financiamento vem do ARC-AGI-1, uma referência projetada para testar se os sistemas de IA podem inferir transformações a partir de um pequeno número de exemplos e aplicar essas regras a entradas não vistas.

O modelo BDH-CQ de 150 milhões de parâmetros da Pathway alcançou 29,5% de aprovação@2 em todo o conjunto de avaliação pública ARC-AGI-1 de 400 tarefas.

A avaliação técnica estima que cada tarefa exigiu aproximadamente 0,85 segundos de tempo de GPU H200 da NVIDIA, correspondendo a um custo calculado de aproximadamente $0,00070 por tarefa ao considerar um custo de H200 de $3 por hora de GPU.

A Pathway argumenta que isso coloca o BDH-CQ além da fronteira de Pareto de custo versus precisão anteriormente relatada para o ARC-AGI-1.

A importância não está no fato de o sistema de 150 milhões de parâmetros agora ter a pontuação ARC mais alta. Alguns sistemas de raciocínio maiores pontuam mais alto. Em vez disso, a Pathway está se concentrando em quanto desempenho de raciocínio o modelo pode entregar por cada dólar gasto com inferência.

Isso pode se tornar cada vez mais importante à medida que as empresas movem a IA de interações ocasionais de chatbot para agentes e outros sistemas que podem realizar grandes números de operações de raciocínio continuamente.

Os Resultados Técnicos Também Mostram Onde o BDH-CQ Enfrenta Dificuldades

A avaliação mais ampla apresenta um quadro mais matizado do que o benchmark de destaque.

No ConceptARC, que separa problemas de raciocínio em diferentes categorias conceituais, o desempenho do BDH-CQ variou consideravelmente. Ele se saiu particularmente bem em várias tarefas que envolviam extensão de limite e distinção entre regiões preenchidas e não preenchidas, enquanto áreas que envolviam cópia e ordenação se mostraram mais difíceis.

Experimentos controlados produziram um padrão semelhante.

A propagação de limite e a cópia permaneceram precisas à medida que essas operações eram estendidas dentro dos intervalos testados. O desempenho se deteriorou mais significativamente à medida que as sequências de ordenação se tornavam mais longas. Problemas relacionais aninhados também se tornaram mais desafiadores uma vez que a profundidade de aninhamento necessária aumentou.

Os pesquisadores também descobriram que fornecer demonstrações mais próximas da complexidade do problema alvo poderia melhorar substancialmente o desempenho em alguns casos, sugerindo que parte da limitação diz respeito a quão longe o sistema pode extrapolar a partir dos exemplos que recebe.

Essas fraquezas importam porque o ARC-AGI permanece um benchmark de raciocínio visual especializado. Uma forte eficiência de custo no ARC não demonstra que a mesma arquitetura pode superar modelos de linguagem de propósito geral em toda a carga de trabalho de produção.

Em vez disso, os resultados fornecem evidências para uma ideia mais estreita, mas potencialmente consequente: capacidades de raciocínio sofisticadas podem não sempre exigir contagens massivas de parâmetros ou sequências longas de tokens de raciocínio gerados.

A Pathway também Está Construindo Infraestrutura para IA em Tempo Real

O trabalho da Pathway precede seu impulso para modelos pós-Transformer. Ao lado do BDH, a empresa desenvolve um framework de processamento de dados destinado a dados de streaming, análise em tempo real, aplicações de modelos de linguagem grande e geração aumentada por recuperação.

A plataforma é projetada para ajudar os sistemas de IA a trabalhar com informações que mudam continuamente, em vez de confiar inteiramente em conjuntos de dados estáticos ou índices reconstruídos periodicamente.

Esse background de infraestrutura se encaixa estreitamente com a direção de pesquisa mais ampla da Pathway. Sua tecnologia existente se concentra em manter aplicações de IA sincronizadas com dados externos em mudança, enquanto o BDH explora se a memória persistente e a adaptação podem se tornar cada vez mais propriedades da própria arquitetura do modelo.

Isso pode importar para agentes de IA e outros sistemas de longo prazo que precisam reter estado enquanto reagem a novas informações ao longo de períodos estendidos.

O que Vem a Seguir para a Pathway

A Pathway pretende usar o novo capital para aumentar a capacidade do modelo e treinar sistemas baseados em BDH mais amplamente capazes.

Sua estrada inclui raciocínio matemático, ARC-AGI-2 e ARC-AGI-3, bem como o desenvolvimento de um modelo de linguagem grande que incorpora raciocínio latente.

A empresa afirma que experimentos de pré-treinamento iniciais em escalas que variam de 1 bilhão a 600 bilhões de parâmetros mostraram um comportamento de escalabilidade semelhante ao do Transformer, mantendo características associadas à abordagem de raciocínio latente do BDH.

Isso ainda é um indicador inicial, e não uma prova de que as vantagens da arquitetura persistirão em modelos de propósito geral grandes.

A Pathway está visando áreas como serviços financeiros, saúde e tecnologia, onde memória persistente, informações em mudança e custos de inferência podem se tornar particularmente importantes à medida que os sistemas de IA se movem em direção a fluxos de trabalho de longo prazo.

Por agora, a valorização de $500 milhões representa uma aposta significativa em uma alternativa à estratégia de escalonamento dominante da indústria. O teste mais importante virá à medida que a Pathway move o BDH além de benchmarks de raciocínio relativamente restritos e demonstra se as vantagens arquiteturais persistem em linguagem, matemática, agentes e aplicações do mundo real.