Reflection 70B : LLM avec cognition auto-corrective et performances de pointe

Reflection 70B est un modèle de langage grand ouvert (LLM) développé par HyperWrite. Ce nouveau modèle introduit une approche de cognition de l’IA qui pourrait redéfinir la façon dont nous interagissons avec et nous appuyons sur les systèmes d’IA dans de nombreux domaines, de la traitement du langage à la résolution de problèmes avancés.

En utilisant Reflection-Tuning, une technique innovante qui permet au modèle de s’auto-évaluer et de corriger ses propres erreurs en temps réel, Reflection 70B a rapidement gravi les échelons, surpassant les modèles propriétaires comme GPT-4 et Claude 3.5 Sonnet dans plusieurs benchmarks, notamment MMLU, MATH et HumanEval.

Reflection 70B est construit sur l’architecture robuste Llama 3.1-70B, mais son mécanisme d’auto-amélioration le distingue. À travers des cycles itératifs de réflexion, de détection d’erreurs et de raffinement de la sortie, le modèle imite la cognition humaine d’une manière sans précédent, repoussant les limites de ce que l’IA peut accomplir. En conséquence, Reflection 70B offre non seulement une précision inégalée, mais également des insights plus profonds dans son processus de prise de décision, une fonctionnalité critique pour les applications où la transparence et la précision sont primordiales.

Qu’est-ce que Reflection 70B

Au cœur, Reflection 70B est construit sur le modèle Instruct Llama 3.1-70B open-source de Meta. Cependant, ce qui le distingue vraiment est sa capacité unique à s’engager dans un processus similaire à la réflexion humaine – d’où son nom. Cette capacité découle d’une technique appelée “Reflection-Tuning“, qui permet au modèle d’identifier et de rectifier ses propres erreurs en temps réel, améliorant ainsi sa précision et sa fiabilité.

Matt Shumer, PDG de HyperWrite, a présenté Reflection 70B avec l’affirmation audacieuse qu’il s’agit du “meilleur modèle d’IA open-source du monde.” Mais qu’est-ce qui rend ce modèle si spécial, et comment se compare-t-il aux géants de l’industrie comme GPT-4 et Claude 3.5 Sonnet? Explorons.

Comprendre la réflexion sélective : un changement de paradigme dans la formation de l’IA

La réflexion sélective introduit une approche de formation d’instruction, où l’objectif est d’améliorer à la fois la qualité des données d’instruction et leur compatibilité avec le modèle étudiant en cours de fine-tuning. Les méthodes traditionnelles se concentrent souvent sur l’amélioration des données elles-mêmes, mais négligent la façon dont les données améliorées s’alignent sur les objectifs d’apprentissage du modèle. La réflexion sélective comble ce fossé en favorisant une collaboration enseignant-élève, où un modèle enseignant réfléchit sur les données et fournit des paires d’instruction-réponse raffinées, tandis que le modèle élève évalue et sélectionne uniquement les améliorations qui conviennent le mieux à ses besoins de formation.

Le processus se compose de deux phases clés :

1. Réflexion d’instruction sélective : Le modèle enseignant réfléchit sur l’instruction d’un échantillon donné et génère une paire d’instruction-réponse raffinée. Le modèle élève évalue ensuite si cette nouvelle instruction est bénéfique en fonction d’un score appelé Difficulté de suivi d’instruction (IFD). Le score IFD évalue la difficulté de l’échantillon pour le modèle élève, garantissant que seules les données qui défient le modèle de manière appropriée sont conservées.
2. Réflexion de réponse sélective : Dans cette phase, le modèle enseignant réfléchit sur les réponses générées dans la première phase. Le modèle élève évalue ces réponses à l’aide de la Difficulté de suivi d’instruction inversée (r-IFD), une mesure qui évalue la faisabilité pour le modèle élève de déduire l’instruction en fonction de la réponse. Cela garantit que la réponse n’améliore pas seulement la raison du modèle mais s’aligne également bien sur les connaissances existantes du modèle élève.

En appliquant à la fois l’IFD et le r-IFD, la réflexion sélective produit des paires de données qui sont à la fois exigentes et réalisables, améliorant le processus de formation d’instruction sans nécessiter des ensembles de données supplémentaires. Le résultat est un LLM plus efficace en termes d’échantillons et à haute performance qui surpasse de nombreux modèles plus grands.

L’architecture de la pensée : Comment Reflection 70B “pense”

L’architecture sous-jacente de Reflection 70B pousse la raison de l’IA à un nouveau niveau en divisant le processus de pensée en plusieurs étapes. Chaque étape permet au modèle de s’améliorer itérativement à travers l’auto-réflexion, similaire à la cognition humaine :

1. Données et réponse initiales : Le modèle commence par générer une réponse à l’instruction donnée. Cette sortie initiale est similaire aux sorties standard des LLM.
2. Réflexion d’instruction sélective : Après la génération de la réponse initiale, le modèle entre dans la phase de réflexion d’instruction. Le modèle enseignant réfléchit sur l’instruction originale et suggère des améliorations. Ces suggestions sont ensuite évaluées par le modèle élève à l’aide du score IFD pour déterminer si la nouvelle paire d’instruction-réponse est plus appropriée pour un affinage ultérieur.
3. Réflexion de réponse sélective : Suite à la réflexion sur l’instruction, le modèle passe à raffiner la réponse elle-même. Ici, le modèle enseignant génère une nouvelle réponse basée sur l’instruction mise à jour. Le modèle élève, en utilisant le score r-IFD, évalue si la nouvelle réponse aide à déduire l’instruction de manière plus efficace.
4. Affinage final de l’instruction : Une fois que la meilleure paire d’instruction-réponse est choisie, elle est ajoutée au jeu de données final utilisé pour l’affinage du modèle. Ce processus multi-étapes garantit que seules les paires d’instruction-réponse les plus efficaces et les plus cohérentes sont incluses dans les données d’affinage.

Ce processus de réflexion structurée permet aux utilisateurs de voir comment le modèle itère à travers son processus de pensée, créant ainsi de la transparence et améliorant considérablement la précision et la cohérence dans les tâches complexes.

Évaluation de la brillance : Reflection 70B en action

L’utilisation par Reflection 70B de la réflexion sélective ne propose pas seulement un processus de formation plus sophistiqué, mais atteint également des performances de pointe dans plusieurs benchmarks. Grâce à son mécanisme d’auto-évaluation itérative, le modèle surpasse des modèles propriétaires nettement plus grands.

1. MMLU (Compréhension massive du langage) : Reflection 70B a obtenu un score impressionnant de 72,2%, surpassant d’autres grands modèles open-source comme LLaMA 2.
2. Benchmark mathématique : Dans les tâches de raisonnement mathématique, le modèle a surpassé GPT-4 et Claude 3.5 d’une marge considérable, démontrant sa force dans la résolution de problèmes complexes.
3. IFEval et GSM8K : Reflection 70B a également excellé dans IFEval, où sa cohérence instruction-réponse a été évaluée, et dans GSM8K, un benchmark de résolution de problèmes mathématiques. La réflexion auto-corrective a permis au modèle de gérer des problèmes complexes et nuancés plus efficacement que ses concurrents plus grands.

En utilisant la réflexion sélective, Reflection 70B a démontré que la taille n’est pas le seul facteur pour atteindre de hautes performances. La capacité à s’auto-corriger et se réfléchir sur ses sorties a conduit à une raison plus forte et plus cohérente, lui permettant de surpasser des modèles dotés de plus de paramètres.

Comparaison des performances de sRecycled WizardLM 7B avec d’autres modèles

Applications réelles : Exploiter le potentiel de Reflection 70B

La correction d’erreurs en temps réel et la prise de décision transparente de Reflection 70B ouvrent de nouvelles portes dans divers domaines. Voici quelques cas d’utilisation réels :

Résolution de problèmes complexes

La force de Reflection 70B réside dans la résolution de problèmes complexes. Considérons une requête mathématique difficile :

<p>Utilisateur : &quot;Résolvez l'équation : 2x^2 + 5x - 3 = 0&quot;
Reflection 70B :</p>

<p>&lt;réflexion&gt; En appliquant la formule quadratique...&lt;/réflexion&gt;
&lt;correction&gt; Une correction dans le calcul...&lt;correction&gt;
&lt;sortie&gt; Les solutions sont x = 1/2 et x = -3.&lt;/sortie&gt;

Traduction de langage avec sensibilité culturelle

Contrairement aux modèles de traduction typiques, Reflection 70B adapte les traductions de langage aux contextes culturels :

Utilisateur : "Traduisez 'Il pleut des chats et des chiens' en français, en tenant compte du contexte culturel."
Reflection 70B :

<p>réflexion : La traduction littérale serait &quot;Il pleut des chats et des chiens&quot;...réflexion ;
correction : Une traduction culturellement appropriée serait &quot;Il pleut des cordes.&quot;correction ;
sortie : Traduction fournie.

Amélioration du débogage et de l’optimisation de code

Les capacités de correction d’erreurs de Reflection 70B en font un outil idéal pour le débogage et l’optimisation de code :

Utilisateur : "Déboguez ce code Python..."
Reflection 70B : <réflexion> Analyse étape par étape...</réflexion>
<correction> Une récursion infinie a été identifiée.</correction>
<sortie> Version de code corrigée avec récursion appropriée.</sortie>

Élargir le paysage concurrentiel des modèles 70B

Alors que Reflection 70B fait des vagues, il fait partie d’un écosystème plus large de modèles à 70 milliards de paramètres. Voici comment il se compare aux autres :

• Meta’s Llama 3.1-70B : Modèle de base solide connu pour les applications à usage général.
• Claude 2 70B (Anthropic) : Axé sur l’IA éthique, doué pour la raison et la génération de contenu long.
• GPT-3.5 70B (OpenAI) : Une version plus légère de GPT-4, excellent dans l’équilibre performance/efficacité.
• BLOOM 70B : Puissance multilingue formée sur des langues naturelles et de programmation.
• Falcon 70B : Noté pour son efficacité d’entraînement et d’inférence.

Exécution efficace des modèles 70B : Dernières techniques

Exécuter des modèles de cette taille de manière efficace n’est pas une mince affaire. Pour maximiser les performances, voici les dernières stratégies :

1. Quantification

La réduction de la précision des poids du modèle aide à diminuer l’utilisation de la mémoire et les temps d’inférence. Les techniques de quantification 4 bits utilisant BitsAndBytes permettent à Reflection 70B de fonctionner efficacement sur des GPU plus petits.

Exemple :

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-70b-hf", load_in_4bit=True)

2. Partitionnement de modèle

La division du modèle sur plusieurs GPU (par exemple, en utilisant DeepSpeed Zero) permet de gérer des modèles plus grands sans dépasser la mémoire GPU.

from xformers.ops import memory_efficient_attention
model.attention = memory_efficient_attention

3. Précision mixte et attention efficace

FlashAttention et xformers réduisent la charge d’attention, améliorant les temps de traitement pour les séquences d’entrée plus grandes.

from xformers.ops import memory_efficient_attention
model.attention = memory_efficient_attention

4. Offloading CPU et élagage

L’offloading CPU et l’élagage des poids moins critiques aident à exécuter des modèles sur un matériel plus modeste tout en maintenant les performances.

from accelerate import cpu_offload
model = cpu_offload(model)

Regarder vers l’avenir : L’avenir avec Reflection 405B

La prochaine frontière pour HyperWrite est le développement de Reflection 405B, un modèle qui devrait surpasser Reflection 70B en taille et en performances. Ce modèle vise à repousser les limites de l’IA open-source, se positionnant pour défier même les modèles propriétaires les plus avancés comme GPT-5.

Conclusion