Deep Cogito lève $43M en série A pour construire le moteur de post‑entraînement des IA auto‑améliorées

Deep Cogito a levé une série A de 43 millions de dollars alors que le laboratoire d’IA de San Francisco cherche à développer une partie de plus en plus importante de la pile d’intelligence artificielle: ce qui se passe après qu’un modèle de base a déjà été pré‑entraîné.

Le tour a été mené par TQ Ventures, avec la participation de Benchmark, Nexus Venture Partners, Atreides Management, South Park Commons et la société de sécurité cloud Zscaler, qui est à la fois cliente et investisseur stratégique. Ce financement porte le total des fonds levés par Deep Cogito à plus de 56 millions de dollars.

Fondée par Drishan Arora et Dhruv Malrana, qui ont auparavant travaillé sur les produits de recherche IA de Google, dont AI Mode et AI Overviews, Deep Cogito mise sur le fait que les progrès futurs de l’intelligence artificielle proviendront de meilleurs algorithmes d’apprentissage et du post‑entraînement, plutôt que d’augmenter simplement la taille des pré‑entraînements.

Cela place l’entreprise dans une partie différente de la course à l’IA par rapport aux laboratoires qui se concentrent principalement sur la construction de modèles de base toujours plus grands à partir de zéro.

Pourquoi Deep Cogito mise sur le post‑entraînement

Pre-training est responsable de fournir à un grand modèle de langage sa vaste base de connaissances en l’exposant à d’énormes quantités de données. Le post‑entraînement façonne ensuite la façon dont ce modèle se comporte, raisonne, suit les instructions, utilise des outils et exécute des tâches spécifiques.

La thèse de Deep Cogito est que cette seconde étape offre nettement plus de marge d’évolution.

Les recherches de l’entreprise se concentrent sur l’apprentissage par renforcement à grande échelle et sur des méthodes permettant aux modèles d’améliorer progressivement leurs propres capacités. Plutôt que de considérer un modèle pré‑entraîné comme un produit presque fini nécessitant un alignement supplémentaire, Deep Cogito le voit comme un point de départ dont les capacités sous‑jacentes peuvent continuer à se développer.

Arora a résumé la distinction lors de l’annonce du tour: « Le pré‑entraînement donne à un modèle une quantité énorme de connaissances et de capacités. Le post‑entraînement détermine ce que ce modèle peut réellement devenir. »

Cela est particulièrement pertinent alors que l’économie du simple agrandissement du pré‑entraînement devient plus exigeante. Former des modèles de base de pointe nécessite d’énormes ensembles de données, des grappes de GPU, une infrastructure énergétique et des capitaux importants. Un système de post‑entraînement suffisamment efficace pourrait potentiellement extraire beaucoup plus d’intelligence d’un modèle existant sans répéter l’intégralité du processus.

Transformer un raisonnement coûteux en meilleure intuition

Au centre des recherches de Deep Cogito se trouve Iterated Distillation and Amplification (IDA), une approche que l’entreprise a présentée publiquement avec sa première famille de modèles Cogito.

Le concept est relativement simple, même si le mettre en œuvre à grande échelle ne l’est pas.

Lors de la phase d’amplification, un modèle reçoit des calculs supplémentaires et des techniques qui lui permettent d’obtenir une réponse plus robuste que celle qu’il générerait immédiatement. L’amélioration ainsi obtenue est ensuite distillée dans les paramètres du modèle. Ce modèle amélioré devient le point de départ d’une nouvelle itération.

Plutôt que d’exiger du modèle qu’il effectue un processus de raisonnement de plus en plus long à chaque fois qu’il rencontre une question difficile, l’objectif est d’intérioriser progressivement une partie de ce qu’il a appris lors de ces étapes de raisonnement plus coûteuses en calcul.

Deep Cogito décrit cela comme l’amélioration de « l’intuition » d’un modèle.

Cette distinction pourrait devenir importante pour l’économie de l’inférence. De longues chaînes de raisonnement peuvent améliorer la précision, mais elles augmentent également la consommation de tokens, la latence et le coût. Un modèle qui a internalisé de meilleures trajectoires de raisonnement pourrait atteindre des conclusions similaires avec moins de calcul au moment de l’inférence.

Les modèles Cogito offrent un test public de l’approche

Deep Cogito utilise sa famille de modèles à poids ouverts Cogito comme terrain d’essai pour ces techniques.

Ses premières versions allaient de 3 milliards à 70 milliards de paramètres, avant que l’entreprise n’élargisse la famille avec des modèles de 70B, 109B mixture-of-experts (MoE), 405B et 671B MoE.

Avec Cogito v2, l’entreprise a indiqué que son modèle de 671B produisait des chaînes de raisonnement environ 60 % plus courtes que DeepSeek R1 0528 tout en restant compétitif sur plusieurs évaluations. Deep Cogito a également déclaré avoir dépensé moins de $3.5 million au total pour entraîner huit modèles Cogito allant de 3B à 671B, bien que les performances de référence et les comparaisons de coûts d’entraînement ne se traduisent pas nécessairement directement en économies de production.

L’entreprise a poursuivi le raffinement du système avec Cogito v2.1 671B, qui utilise un modèle de base DeepSeek à licence ouverte que Deep Cogito a ensuite post‑entraîné en interne. Sa v2.1 research release indique que le modèle utilise la supervision de processus pendant le raisonnement, avec un entraînement conçu pour améliorer la capacité du modèle à identifier des trajectoires de raisonnement productives plutôt que de simplement l’encourager à raisonner plus longtemps.

Cette progression est importante pour l’argument plus large de Deep Cogito. L’entreprise n’a pas besoin de prouver qu’elle peut pré‑entraîner un modèle de base meilleur que ceux des plus grands laboratoires d’IA. Elle doit démontrer que son processus de post‑entraînement peut transformer de manière constante des modèles existants solides en modèles plus performants.

Zscaler met en évidence l’opportunité pour les entreprises

L’autre volet de l’activité consiste à appliquer ces techniques de post‑entraînement au-delà des modèles Cogito publiquement diffusés, en les utilisant pour l’IA d’entreprise.

Plutôt que de dépendre exclusivement d’un modèle de pointe à usage général, les entreprises peuvent potentiellement entraîner des modèles spécialisés autour de leurs données propriétaires, de leurs flux de travail, de leurs critères d’évaluation et de leurs résultats souhaités.

Cela peut aller bien plus loin que la génération augmentée par récupération (RAG), qui donne généralement à un modèle général l’accès à des informations externes de l’entreprise au moment de l’inférence. L’approche de Deep Cogito vise à modifier le modèle lui‑même en entraînant des capacités spécifiques au domaine directement dans ses poids.

Zscaler constitue un exemple précoce. La société de cybersécurité était d’abord cliente de Deep Cogito avant de participer à la série A. Les deux entreprises ont également collaboré autour d’une intelligence de sécurité spécialisée, Deep Cogito soutenant que les applications de sécurité peuvent bénéficier de modèles post‑entraînés sur les propres données et résultats de sécurité d’une organisation.

L’argument plus large pour les entreprises porte à la fois sur la spécialisation et le contrôle. La couverture du financement par le Wall Street Journal indique que Deep Cogito positionne sa technologie autour de modèles que les entreprises peuvent entraîner et posséder en utilisant des données propriétaires, plutôt que de rester entièrement dépendantes de systèmes de pointe fermés.

Ce que financera la série A de $43M

Deep Cogito prévoit d’utiliser la série A pour étendre son organisation de recherche et d’ingénierie, augmenter l’infrastructure informatique disponible pour les entraînements à grande échelle, développer les futurs modèles Cogito et travailler avec davantage d’entreprises recherchant des modèles spécialisés.

L’infrastructure sera probablement une partie particulièrement importante de cette expansion. Les documents de recrutement de Deep Cogito décrivent des chercheurs travaillant sur de nouveaux algorithmes d’apprentissage par renforcement, des pipelines de données, l’évaluation et l’infrastructure distribuée tout en entraînant des modèles dépassant les 400 milliards de paramètres.

Ce financement donne donc à l’entreprise une capacité nettement supérieure pour tester si les améliorations démontrées par ses premiers modèles se poursuivent lorsqu’elle applique davantage de calculs et exécute plus d’itérations de son processus de post‑entraînement.

L’implication plus large : une IA qui apprend de son propre raisonnement

L’importance plus grande du travail de Deep Cogito réside dans la possibilité que le développement de l’IA passe de systèmes entraînés principalement sur des données générées par l’homme à des modèles qui génèrent, évaluent et internalisent de plus en plus leurs propres améliorations.

Des approches comme Iterated Distillation and Amplification visent à transformer un raisonnement coûteux en capacité durable. Un modèle peut utiliser des calculs supplémentaires pour résoudre des problèmes plus difficiles, puis distiller ces gains dans ses poids, créant ainsi un point de départ plus solide pour le prochain cycle d’entraînement.

Avec le temps, cela pourrait engendrer une boucle de développement consistant à raisonner, évaluer, apprendre et s’améliorer.

Il existe encore un écart important entre le post‑entraînement itératif et la véritable auto‑amélioration récursive. Les modèles ont besoin d’évaluations fiables, d’objectifs soigneusement conçus et de garde‑fous contre la reinforcement d’erreurs. Mais même des versions limitées de cette approche pourraient réduire la dépendance aux pré‑entraînements toujours plus grands et rendre plus pratiques les IA spécialisées entraînées autour de données d’entreprise propriétaires.

Si cette trajectoire se poursuit, l’avantage concurrentiel en IA pourrait dépendre moins exclusivement de qui possède les plus grands clusters de calcul et davantage de quels modèles sont les meilleurs pour apprendre de leur propre expérience.