Pathway Recauda Nueva Financiación a una Valoración de $500 Millones para Escalar la Inteligencia Artificial Post-Transformer

La empresa de investigación de inteligencia artificial Pathway ha obtenido financiación adicional a una valoración de $500 millones, lo que eleva su financiación total de semilla a $30 millones mientras se prepara para escalar una nueva generación de modelos construidos alrededor de su arquitectura post-Transformer.

La financiación incluye la participación de Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital y WS Investment Co., el brazo de inversión de Wilson Sonsini, junto con el científico jefe de inteligencia artificial de Databricks, Jonathan Frankle. Pathway dijo que gran parte de la nueva capital se destinará a expandir la capacidad de cómputo, incluidos los sistemas NVIDIA GB300.

La inversión llega junto con nuevos resultados para el modelo de razonamiento BDH-CQ de Pathway, lo que da a la financiación un trasfondo técnico más concreto que la promesa cada vez más común de simplemente construir modelos de base más grandes. Pathway dice que su modelo de 150 millones de parámetros obtuvo un 29,5% en el conjunto de evaluación público ARC-AGI-1 a un costo de inferencia calculado de solo $0,0007 por tarea.

La Financiación Llega Mientras Pathway Apuesta en Contra de la Escalada de Fuerza Bruta

Gran parte de la carrera actual de los modelos frontales se ha centrado en la escala: clusters más grandes, más datos de entrenamiento, más parámetros y cantidades cada vez mayores de cómputo en tiempo de prueba. Pathway está tomando un enfoque diferente, argumentando que algunas de las limitaciones de costos y memoria de la industria son arquitectónicas en lugar de problemas que se puedan resolver indefinidamente agregando más cómputo.

Esa tesis está en el centro de su arquitectura BDH, o Dragon Hatchling. Pathway describe BDH como un diseño post-Transformer destinado a combinar razonamiento, memoria y adaptación dentro del modelo en sí, en lugar de confiar principalmente en una ventana de contexto en expansión o sistemas de memoria externos.

La arquitectura se basa en ideas que incluyen estado persistente, actividad dispersa, interacciones locales y ajuste continuo. Pathway describe el diseño como biológicamente inspirado en lugar de un intento de reproducir directamente cómo funciona el cerebro.

La nueva financiación da a la empresa recursos adicionales para probar si esas características siguen siendo válidas a medida que los modelos BDH se vuelven sustancialmente más grandes.

Pathway también está agregando a Adam Kurzrok como director de productos. Kurzrok anteriormente se desempeñó como gerente de productos de Gemini en Google DeepMind y liderará la dirección de productos alrededor de la empaquetadura, evaluación y despliegue de modelos basados en BDH.

La empresa también está formalizando un grupo asesor que incluye al co-inventor de Transformer, Łukasz Kaiser, Frankle, el profesor de NYU Martín Farach-Colton y el economista Jacques Attali.

Qué Hace que BDH-CQ sea Diferente

BDH-CQ es una extensión de la arquitectura BDH más amplia diseñada alrededor del aprendizaje en contexto y el razonamiento latente recurrente.

En lugar de requerir que un modelo exprese gran parte de su razonamiento intermedio como texto generado, BDH-CQ realiza cálculos iterativos dentro de un espacio de trabajo latente continuo. Los ejemplos suministrados durante la inferencia actualizan un estado de memoria recurrente, después de lo cual el sistema trabaja en el nuevo problema internamente antes de decodificar su respuesta. Los parámetros del modelo permanecen fijos durante este proceso.

Esto es importante porque el razonamiento basado en tokens puede volverse costoso a medida que se alargan las trazas de razonamiento. En los enfoques convencionales de cadena de pensamiento, los pasos intermedios se generan secuencialmente y luego se alimentan en etapas posteriores del proceso de razonamiento.

BDH-CQ está diseñado para mantener más de ese cómputo dentro de su estado interno en lugar de traducir continuamente el razonamiento intermedio en lenguaje.

La distinción no significa que el razonamiento basado en lenguaje sea inherentemente obsoleto. Más bien, Pathway está probando si algunas cargas de trabajo de razonamiento pueden manejarse de manera más eficiente sin requerir que cada paso computacional intermedio se serialice como texto.

Los Resultados de ARC-AGI Ponen la Eficiencia de Costos en el Centro

El resultado más notable que acompaña a la financiación proviene de ARC-AGI-1, una referencia de benchmark diseñada para probar si los sistemas de inteligencia artificial pueden inferir transformaciones a partir de un pequeño número de ejemplos y aplicar esas reglas a entradas no vistas.

El modelo BDH-CQ de 150 millones de parámetros de Pathway obtuvo un 29,5% en el conjunto de evaluación público ARC-AGI-1 de 400 tareas.

La evaluación técnica estima que cada tarea requirió aproximadamente 0,85 segundos de tiempo de GPU H200, lo que corresponde a un costo calculado de aproximadamente $0,00070 por tarea al asumir un costo de H200 de $3 por hora de GPU.

Pathway argumenta que esto coloca a BDH-CQ más allá de la frontera de Pareto de costo versus precisión informada anteriormente para ARC-AGI-1.

La importancia no radica en que el sistema de 150 millones de parámetros ahora tenga la puntuación ARC más alta. Algunos sistemas de razonamiento más grandes obtienen puntuaciones más altas. En cambio, Pathway se centra en cuánto rendimiento de razonamiento puede entregar el modelo por cada dólar de gasto en inferencia.

Esto podría volverse cada vez más importante a medida que las empresas mueven la inteligencia artificial desde interacciones ocasionales de chatbot hacia agentes y otros sistemas que pueden realizar un gran número de operaciones de razonamiento continuamente.

Los Resultados Técnicos También Muestran Dónde BDH-CQ Lucha

La evaluación más amplia presenta una imagen más matizada que el benchmark de encabezado.

En ConceptARC, que separa los problemas de razonamiento en diferentes categorías conceptuales, el rendimiento de BDH-CQ varió considerablemente. Se desempeñó particularmente bien en varias tareas que involucraban la extensión de límites y la distinción entre regiones llenas y no llenas, mientras que las áreas que involucraban la copia y el orden resultaron más difíciles.

Los experimentos controlados produjeron un patrón similar.

La propagación de límites y la copia permanecieron precisas a medida que esas operaciones se extendían dentro de los rangos probados. El rendimiento se deterioró más significativamente a medida que las secuencias de orden se volvieron más largas. Los problemas relacionales anidados también se volvieron más desafiantes una vez que se aumentó la profundidad de anidación requerida.

Los investigadores también encontraron que proporcionar demostraciones más cercanas a la complejidad del problema objetivo podía mejorar significativamente el rendimiento en algunos casos, lo que sugiere que parte de la limitación se refiere a cuánto puede extrapolar el sistema a partir de los ejemplos que recibe.

Esas debilidades son importantes porque ARC-AGI sigue siendo una referencia de razonamiento visual especializada. Una eficiencia de costos fuerte en ARC no demuestra que la misma arquitectura pueda superar a los modelos de lenguaje de propósito general en las cargas de trabajo de producción.

En cambio, los resultados proporcionan evidencia de una idea más estrecha pero potencialmente consecuente: las capacidades de razonamiento sofisticadas pueden no siempre requerir recuentos de parámetros masivos o largas secuencias de tokens de razonamiento generados.

Pathway También Está Construyendo Infraestructura para Inteligencia Artificial en Tiempo Real

El trabajo de Pathway precede a su impulso hacia los modelos post-Transformer. Junto con BDH, la empresa desarrolla un marco de procesamiento de datos destinado a datos de transmisión, análisis en tiempo real, aplicaciones de modelos de lenguaje grande y generación aumentada de recuperación.

La plataforma está diseñada para ayudar a los sistemas de inteligencia artificial a trabajar con información que cambia continuamente en lugar de confiar únicamente en conjuntos de datos estáticos o índices reconstruidos periódicamente.

Este trasfondo de infraestructura se ajusta estrechamente a la dirección de investigación general de Pathway. Su tecnología existente se centra en mantener las aplicaciones de inteligencia artificial sincronizadas con los datos externos cambiantes, mientras que BDH explora si la memoria persistente y la adaptación pueden convertirse cada vez más en propiedades de la arquitectura del modelo en sí.

Esto podría ser importante para los agentes de inteligencia artificial y otros sistemas de ejecución prolongada que necesitan retener el estado mientras reaccionan a la nueva información durante períodos extendidos.

Qué Viene a Continuación para Pathway

Pathway pretende utilizar la nueva capital para aumentar la capacidad del modelo y entrenar sistemas BDH más ampliamente capaces.

Su hoja de ruta incluye razonamiento matemático, ARC-AGI-2 y ARC-AGI-3, así como el desarrollo de un modelo de lenguaje grande que incorpore razonamiento latente.

La empresa dice que los experimentos de preentrenamiento tempranos a escalas que van desde 1.000 millones a 600.000 millones de parámetros han mostrado un comportamiento de escalado similar al de Transformer mientras retienen las características asociadas con el enfoque de razonamiento latente de BDH.

Esto sigue siendo una indicación temprana en lugar de una prueba de que las ventajas de la arquitectura persistirán en los modelos de propósito general grandes.

Pathway está apuntando finalmente a áreas como los servicios financieros, la atención médica y la tecnología, donde la memoria persistente, la información cambiante y los costos de inferencia podrían volverse particularmente importantes a medida que los sistemas de inteligencia artificial se mueven hacia flujos de trabajo de ejecución más larga.

Por ahora, la valoración de $500 millones representa una apuesta significativa en una alternativa a la estrategia de escalada dominante de la industria. La prueba más importante vendrá cuando Pathway mueva BDH más allá de las referencias de razonamiento relativamente limitadas y demuestre si sus ventajas arquitectónicas persisten en lenguaje, matemáticas, agentes y aplicaciones del mundo real.