Pathway lève de nouveaux fonds à une valorisation de 500 millions de dollars pour mettre à l’échelle l’IA post-Transformer

L’entreprise de recherche en intelligence artificielle Pathway a obtenu des fonds supplémentaires à une valorisation de 500 millions de dollars, portant son financement initial total à 30 millions de dollars alors qu’elle se prépare à mettre à l’échelle une nouvelle génération de modèles basés sur son architecture post-Transformer.

Le financement comprend la participation de Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital et WS Investment Co., la branche d’investissement de Wilson Sonsini, aux côtés du scientifique en chef de l’IA de Databricks, Jonathan Frankle. Pathway a déclaré que une grande partie du nouveau capital ira vers l’expansion de la capacité de calcul, y compris les systèmes NVIDIA GB300.

L’investissement arrive aux côtés de nouveaux résultats pour le modèle de raisonnement BDH-CQ de Pathway, donnant au financement un contexte technique plus concret que la promesse de plus en plus courante de simplement construire des modèles de base plus grands. Pathway déclare que son modèle de 150 millions de paramètres a obtenu un score de 29,5 % sur l’ensemble d’évaluation public ARC-AGI-1 à un coût d’inférence calculé d’environ 0,0007 dollar par tâche.

Le financement arrive alors que Pathway mise contre la mise à l’échelle par la force brute

Une grande partie de la course actuelle aux modèles de pointe a porté sur la mise à l’échelle : des grappes plus grandes, plus de données de formation, plus de paramètres et des quantités croissantes de calcul à l’exécution. Pathway adopte une approche différente, en argumentant que certaines des limitations de coût et de mémoire de l’industrie sont d’ordre architectural plutôt que des problèmes qui peuvent être résolus indéfiniment en ajoutant plus de calcul.

Ce thème est au cœur de son architecture BDH, ou Dragon Hatchling. Pathway décrit BDH comme une conception post-Transformer destinée à combiner la raisonnement, la mémoire et l’adaptation dans le modèle lui-même, plutôt que de s’appuyer principalement sur une fenêtre de contexte élargie ou des systèmes de mémoire externes.

L’architecture s’appuie sur des idées telles que l’état persistant, l’activité éparse, les interactions locales et l’ajustement continu. Pathway décrit la conception comme inspirée biologiquement plutôt que comme une tentative de reproduire directement le fonctionnement du cerveau.

Le nouveau financement donne à l’entreprise des ressources supplémentaires pour tester si ces caractéristiques continuent à s’appliquer à mesure que les modèles BDH deviennent substantiellement plus grands.

Pathway ajoute également Adam Kurzrok en tant que directeur des produits. Kurzrok a précédemment occupé le poste de responsable de produit pour Gemini chez Google DeepMind et dirigera la direction des produits autour de la mise en package, de l’évaluation et du déploiement de modèles basés sur BDH.

La société formalise également un groupe consultatif qui comprend le co-inventeur de Transformer, Łukasz Kaiser, Frankle, le professeur de NYU Martín Farach-Colton et l’économiste Jacques Attali.

Ce qui rend BDH-CQ différent

BDH-CQ est une extension de l’architecture BDH plus large conçue autour de l’apprentissage en contexte et de la raisonnement latente récurrente.

Au lieu d’exiger qu’un modèle exprime une grande partie de sa raisonnement intermédiaire sous forme de texte généré, BDH-CQ effectue des calculs itératifs à l’intérieur d’un espace de travail latent continu. Les exemples fournis pendant l’inférence mettent à jour un état de mémoire récurrent, après quoi le système travaille sur le nouveau problème à l’intérieur avant de décoder sa réponse. Les paramètres du modèle restent fixes pendant ce processus.

Cela est important car la raisonnement basée sur les jetons peut devenir coûteuse à mesure que les traces de raisonnement s’allongent. Dans les approches classiques de chaîne de pensée, les étapes intermédiaires sont générées séquentiellement, puis réinjectées dans les étapes ultérieures du processus de raisonnement.

BDH-CQ est conçu pour garder plus de ce calcul à l’intérieur de son état interne plutôt que de traduire continuellement les étapes de raisonnement intermédiaires en langage.

La distinction ne signifie pas que la raisonnement basée sur le langage est inhérentement obsolète. Plutôt, Pathway teste si certaines charges de travail de raisonnement peuvent être traitées plus efficacement sans exiger que chaque étape de calcul intermédiaire soit sérialisée sous forme de texte.

Les résultats ARC-AGI placent l’efficacité coût au centre

Le résultat le plus notable qui accompagne le financement vient de ARC-AGI-1, un référentiel conçu pour tester si les systèmes d’IA peuvent déduire des transformations à partir d’un petit nombre d’exemples et appliquer ces règles à des entrées inconnues.

Le modèle BDH-CQ de 150 millions de paramètres de Pathway a obtenu un score de 29,5 % sur l’ensemble d’évaluation public ARC-AGI-1.

L’évaluation technique estime que chaque tâche a nécessité environ 0,85 seconde de temps de processeur GPU H200, ce qui correspond à un coût calculé d’environ 0,0007 dollar par tâche en supposant un coût de 3 dollars par heure de GPU H200.

Pathway soutient que cela place BDH-CQ au-delà de la frontière de Pareto coût-précision précédemment signalée pour ARC-AGI-1.

La signification n’est pas que le système de 150 millions de paramètres ait maintenant le score ARC le plus élevé en termes absolus. Certains systèmes de raisonnement plus grands obtiennent des scores plus élevés. Au lieu de cela, Pathway se concentre sur la quantité de performances de raisonnement que le modèle peut livrer pour chaque dollar de dépenses d’inférence.

Cela pourrait devenir de plus en plus important à mesure que les entreprises déplacent l’IA des interactions de chatbot occasionnelles vers des agents et d’autres systèmes qui peuvent effectuer un grand nombre d’opérations de raisonnement de manière continue.

Les résultats techniques montrent également où BDH-CQ lutte

L’évaluation plus large présente un tableau plus nuancé que le référentiel de premier plan.

Sur ConceptARC, qui sépare les problèmes de raisonnement en différentes catégories conceptuelles, les performances de BDH-CQ ont varié considérablement. Il s’est particulièrement bien comporté sur plusieurs tâches impliquant l’extension de limite et la distinction entre les régions remplies et non remplies, tandis que les domaines impliquant la copie et le tri se sont avérés plus difficiles.

Les expériences contrôlées ont produit un modèle similaire.

La propagation des limites et la copie sont restées précises à mesure que ces opérations étaient étendues dans les plages testées. Les performances se sont dégradées de manière plus significative à mesure que les séquences d’ordre devenaient plus longues. Les problèmes relationnels imbriqués sont également devenus plus difficiles une fois que la profondeur d’imbriquement requise a augmenté.

Les chercheurs ont également constaté que la fourniture de démonstrations plus proches de la complexité du problème cible pouvait améliorer considérablement les performances dans certains cas, suggérant que une partie de la limitation concerne la façon dont loin le système peut extrapoler à partir des exemples qu’il reçoit.

Ces faiblesses sont importantes car ARC-AGI reste un référentiel de raisonnement visuel spécialisé. Une forte efficacité coût sur ARC ne démontre pas que la même architecture peut surpasser les modèles de langage polyvalents dans les charges de travail de production.

Au lieu de cela, les résultats fournissent des preuves pour une idée plus étroite mais potentiellement conséquente : les capacités de raisonnement sophistiquées peuvent ne pas toujours nécessiter des comptes de paramètres massifs ou de longues séquences de jetons de raisonnement générés.

Pathway construit également des infrastructures pour l’IA en temps réel

Le travail de Pathway précède son impulsion dans les modèles post-Transformer. Aux côtés de BDH, la société développe un cadre de traitement de données destiné aux données en continu, à l’analyse en temps réel, aux applications de grands modèles de langage et à la génération augmentée de récupération.

La plate-forme est conçue pour aider les systèmes d’IA à fonctionner avec des informations qui changent en continu plutôt que de s’appuyer entièrement sur des ensembles de données statiques ou des index reconstruits périodiquement.

Cet arrière-plan d’infrastructure correspond étroitement à la direction de recherche plus large de Pathway. Sa technologie existante se concentre sur le maintien de la synchronisation des applications d’IA avec les données externes changeantes, tandis que BDH explore si la mémoire persistante et l’adaptation peuvent devenir de plus en plus des propriétés de l’architecture du modèle elle-même.

Cela pourrait être important pour les agents d’IA et les autres systèmes à longue durée de vie qui doivent conserver l’état tout en réagissant à de nouvelles informations sur des périodes prolongées.

Que vient faire Pathway

Pathway a l’intention d’utiliser les nouveaux capitaux pour augmenter la capacité des modèles et former des systèmes BDH plus polyvalents.

Son feuille de route comprend la raisonnement mathématique, ARC-AGI-2 et ARC-AGI-3, ainsi que le développement d’un grand modèle de langage incorporant la raisonnement latente.

La société déclare que les expériences de pré-formation précoces à des échelles allant de 1 milliard à 600 milliards de paramètres ont montré un comportement de mise à l’échelle similaire à celui des Transformers tout en conservant les caractéristiques associées à l’approche de raisonnement latente de BDH.

Ceci reste une indication précoce plutôt que la preuve que les avantages de l’architecture persisteront à travers les grands modèles polyvalents.

Pathway vise en fin de compte des domaines tels que les services financiers, les soins de santé et la technologie, où la mémoire persistante, les informations changeantes et les coûts d’inférence pourraient devenir particulièrement importants à mesure que les systèmes d’IA se déplacent vers des flux de travail plus longs.

Pour l’instant, la valorisation de 500 millions de dollars représente un pari important sur une alternative à la stratégie de mise à l’échelle dominante de l’industrie. Le test plus important viendra lorsque Pathway fera évoluer BDH au-delà des référentiels de raisonnement relativement contraints et démontrera si ses avantages architecturaux persistent à travers le langage, les mathématiques, les agents et les applications du monde réel.