L’IA Tülu 3 d’Allen devient un rival inattendu de DeepSeek

Les titres continuent d’arriver. Les modèles de DeepSeek ont remis en question les références, établi de nouvelles normes et fait beaucoup de bruit. Mais quelque chose d’intéressant vient de se produire dans la scène de la recherche en IA qui vaut également la peine d’être examiné.

Allen AI a publié discrètement sa nouvelle famille de modèles Tülu 3, et leur version à 405 milliards de paramètres ne concourt pas seulement avec DeepSeek – elle les égale ou les dépasse sur les références clés.

Mettons cela en perspective.

Le modèle Tülu 3 de 405 milliards de paramètres est confronté à des performeurs de haut niveau comme DeepSeek V3 sur une gamme de tâches. Nous observons des performances comparables ou supérieures dans des domaines tels que les problèmes mathématiques, les défis de codage et le suivi précis des instructions. Et ils le font également avec une approche entièrement ouverte.

Ils ont publié la pipeline d’entraînement complète, le code et même leur méthode d’apprentissage par renforcement novatrice appelée Apprentissage par renforcement avec récompenses vérifiables (RLVR) qui a rendu cela possible.

Des développements comme ceux-ci au cours des dernières semaines changent vraiment la façon dont se déroule le développement de l’IA de haut niveau. Lorsqu’un modèle open source peut égaliser les meilleurs modèles fermés, cela ouvre des possibilités qui étaient auparavant verrouillées derrière des murs d’entreprise privés.

La bataille technique

Qu’est-ce qui a fait que Tülu 3 se démarque ? Cela se résume à un processus d’entraînement unique en quatre étapes qui va au-delà des approches traditionnelles.

Examinons comment Allen AI a construit ce modèle :

Étape 1 : Sélection stratégique des données

L’équipe savait que la qualité du modèle commence avec la qualité des données. Ils ont combiné des ensembles de données établis comme WildChat et Open Assistant avec du contenu généré à la demande. Mais voici l’insight clé : ils n’ont pas seulement agrégé des données – ils ont créé des ensembles de données ciblés pour des compétences spécifiques comme la raisonnement mathématique et la maîtrise du codage.

Étape 2 : Construction de meilleures réponses

À la deuxième étape, Allen AI s’est concentré sur l’enseignement de compétences spécifiques à son modèle. Ils ont créé différents ensembles de données d’entraînement – certains pour les mathématiques, d’autres pour le codage et plus encore pour les tâches générales. En testant ces combinaisons à plusieurs reprises, ils pouvaient voir exactement où le modèle excellent et où il avait besoin de travail. Ce processus itératif a révélé le véritable potentiel de ce que Tülu 3 pouvait accomplir dans chaque domaine.

Étape 3 : Apprentissage à partir de comparaisons

C’est là qu’Allen AI est devenu créatif. Ils ont construit un système qui pouvait comparer instantanément les réponses de Tülu 3 à celles d’autres modèles de pointe. Mais ils ont également résolu un problème persistant dans l’IA – la tendance des modèles à écrire de longues réponses juste pour la longueur. Leur approche, utilisant l’optimisation de préférence directe normalisée (DPO), a signifié que le modèle a appris à valoriser la qualité plutôt que la quantité. Le résultat ? Des réponses qui sont à la fois précises et intentionnelles.

Lorsque les modèles d’IA apprennent à partir de préférences (quelle réponse est meilleure, A ou B ?), ils ont tendance à développer un biais frustrant : ils commencent à penser que les réponses plus longues sont toujours meilleures. C’est comme s’ils essayaient de gagner en disant plus plutôt qu’en disant bien.

L’optimisation de préférence directe normalisée corrige cela en ajustant la façon dont le modèle apprend à partir des préférences. Au lieu de simplement regarder quelle réponse a été préférée, elle prend en compte la longueur de chaque réponse. Pensez-y comme juger les réponses par leur qualité par mot, et non juste par leur impact total.

Pourquoi est-ce important ? Parce que cela aide Tülu 3 à apprendre à être précis et efficace. Plutôt que de gonfler les réponses avec des mots supplémentaires pour sembler plus complet, il apprend à livrer de la valeur dans la longueur qui est réellement nécessaire.

Cela peut sembler un détail mineur, mais c’est crucial pour construire une IA qui communique de manière naturelle. Les meilleurs experts humains savent quand être concis et quand élaborer – et c’est exactement ce que l’optimisation de préférence directe normalisée aide à enseigner au modèle.

Étape 4 : L’innovation RLVR

C’est la percée technique qui mérite l’attention. RLVR remplace les modèles de récompense subjectifs par des vérifications concrètes.

La plupart des modèles d’IA apprennent à travers un système complexe de modèles de récompense – essentiellement des suppositions éduquées sur ce qui fait une bonne réponse. Mais Allen AI a pris une voie différente avec RLVR.

Pensez à la façon dont nous formons actuellement les modèles d’IA. Nous avons généralement besoin d’autres modèles d’IA (appelés modèles de récompense) pour juger si une réponse est bonne ou non. C’est subjectif, complexe et souvent incohérent. Certaines réponses peuvent sembler bonnes mais contenir des erreurs subtiles qui passent inaperçues.

RLVR renverse cette approche. Au lieu de s’appuyer sur des jugements subjectifs, il utilise des résultats concrets et vérifiables. Lorsque le modèle tente un problème mathématique, il n’y a pas de zone grise – la réponse est soit correcte, soit incorrecte. Lorsqu’il écrit du code, ce code fonctionne correctement ou ne fonctionne pas.

Voici où cela devient intéressant :

• Le modèle reçoit une rétroaction immédiate et binaire : 10 points pour les réponses correctes, 0 pour les réponses incorrectes
• Il n’y a pas de place pour des crédits partiels ou des évaluations floues
• L’apprentissage devient ciblé et précis
• Le modèle apprend à donner la priorité à la précision plutôt qu’à des réponses plausibles mais incorrectes

Diagramme de formation RLVR (Allen AI)

Les résultats ? Tülu 3 a montré des améliorations significatives dans les tâches où la correction compte le plus. Ses performances en raisonnement mathématique (benchmark GSM8K) et en défis de codage ont augmenté de manière notable. Même son suivi des instructions est devenu plus précis parce que le modèle a appris à valoriser l’exactitude concrète plutôt que des réponses approximatives.

Ce qui rend cela particulièrement passionnant, c’est la façon dont cela change le jeu pour l’IA open source. Les approches précédentes ont souvent lutté pour égaliser la précision des modèles fermés sur les tâches techniques. RLVR montre qu’avec la bonne approche d’entraînement, les modèles open source peuvent atteindre le même niveau de fiabilité.

Un regard sur les chiffres

La version à 405 milliards de paramètres de Tülu 3 concourt directement avec les meilleurs modèles du domaine. Examinons où il excelle et ce que cela signifie pour l’IA open source.

Mathématiques

Tülu 3 excelle dans le raisonnement mathématique complexe. Sur des références comme GSM8K et MATH, il égale les performances de DeepSeek. Le modèle gère les problèmes à plusieurs étapes et montre une forte capacité de raisonnement mathématique.

Codage

Les résultats de codage sont tout aussi impressionnants. Grâce à la formation RLVR, Tülu 3 écrit du code qui résout efficacement les problèmes. Sa force réside dans la compréhension des instructions de codage et la production de solutions fonctionnelles.

Suivi précis des instructions

La capacité du modèle à suivre les instructions se démarque comme une force de base. Alors que de nombreux modèles approximent ou généralisent les instructions, Tülu 3 démontre une précision remarquable dans l’exécution exacte de ce qui est demandé.

Ouvrir la boîte noire du développement de l’IA

Allen AI a publié à la fois un modèle puissant et leur processus de développement complet.

Tous les aspects du processus d’entraînement sont documentés et accessibles. De l’approche en quatre étapes aux méthodes de préparation des données et à la mise en œuvre de RLVR – le processus entier est ouvert pour étude et réplication. Cette transparence établit une nouvelle norme dans le développement de l’IA de haute performance.

Les développeurs reçoivent des ressources complètes :

• Pipelines d’entraînement complètes
• Outils de traitement de données
• Cadres d’évaluation
• Spécifications d’implémentation

Cela permet aux équipes de :

• Modifier les processus d’entraînement
• Adapter les méthodes pour des besoins spécifiques
• Construire sur des approches éprouvées
• Créer des implémentations spécialisées

Cette approche ouverte accélère l’innovation dans tout le domaine. Les chercheurs peuvent construire sur des méthodes vérifiées, tandis que les développeurs peuvent se concentrer sur les améliorations plutôt que de repartir de zéro.

L’essor de l’excellence open source

Le succès de Tülu 3 est un grand moment pour le développement de l’IA open source. Lorsque les modèles open source égalent ou dépassent les alternatives privées, cela change fondamentalement l’industrie. Les équipes de recherche du monde entier ont accès à des méthodes éprouvées, ce qui accélère leur travail et engendre de nouvelles innovations. Les laboratoires d’IA privés devront s’adapter – soit en augmentant la transparence, soit en poussant les limites techniques encore plus loin.

En regardant vers l’avenir, les percées de Tülu 3 en termes de récompenses vérifiables et de formation en plusieurs étapes laissent entrevoir ce qui est à venir. Les équipes peuvent construire sur ces fondations, potentiellement poussant les performances encore plus loin. Le code existe, les méthodes sont documentées, et une nouvelle vague de développement de l’IA a commencé. Pour les développeurs et les chercheurs, l’opportunité d’expérimenter et d’améliorer ces méthodes marque le début d’un chapitre passionnant dans le développement de l’IA.

Foire aux questions (FAQ) sur Tülu 3

Qu’est-ce que Tülu 3 et quels sont ses principaux éléments clés ?

Tülu 3 est une famille de modèles de langage open source développés par Allen AI, basés sur l’architecture Llama 3.1. Il est disponible dans différentes tailles (8 milliards, 70 milliards et 405 milliards de paramètres). Tülu 3 est conçu pour améliorer les performances dans diverses tâches, notamment la connaissance, le raisonnement, les mathématiques, le codage, le suivi des instructions et la sécurité.

Quel est le processus d’entraînement de Tülu 3 et quels données sont utilisées ?

La formation de Tülu 3 implique plusieurs étapes clés. Tout d’abord, l’équipe sélectionne soigneusement un ensemble diversifié de invites à partir de jeux de données publics et de données synthétiques ciblées sur des compétences spécifiques, en veillant à ce que les données soient décontaminées par rapport aux références. Deuxièmement, un affinage supervisé (SFT) est effectué sur un mélange de données d’instruction et de mathématiques. Ensuite, l’optimisation de préférence directe (DPO) est utilisée avec des données de préférence générées par la rétroaction humaine et des modèles de langage. Enfin, l’apprentissage par renforcement avec récompenses vérifiables (RLVR) est utilisé pour les tâches avec une exactitude mesurable. Tülu 3 utilise des ensembles de données ciblés pour chaque étape, y compris des instructions guidées par des personnages, des mathématiques et des données de codage.

Comment Tülu 3 aborde-t-il la sécurité et quels indicateurs sont utilisés pour l’évaluer ?

La sécurité est un élément essentiel du développement de Tülu 3, abordé tout au long du processus d’entraînement. Un ensemble de données spécifique à la sécurité est utilisé pendant le SFT, qui s’est avéré être largement orthogonal aux autres données orientées tâche.

Qu’est-ce que RLVR ?

RLVR est une technique où le modèle est formé pour optimiser contre une récompense vérifiable, comme la correction d’une réponse. Cela diffère de l’apprentissage par renforcement classique avec des modèles de récompense (RLHF) qui utilisent un modèle de récompense.