La Vérité sur les Données Synthétiques : Pourquoi l’Expertise Humaine est Critique pour le Succès des LLM

Les développeurs de LLM sont de plus en plus nombreux à recourir aux données synthétiques pour accélérer le développement et réduire les coûts. Les chercheurs derrière plusieurs modèles de premier plan, tels que LLama 3, Qwen 2 et DeepSeek R1, ont mentionné l’utilisation de données synthétiques pour former leurs modèles dans les articles de recherche. De l’extérieur, il semble que c’est la solution parfaite : un puits inépuisable d’informations pour accélérer le développement et réduire les coûts. Mais cette solution comporte un coût caché que les dirigeants d’entreprise ne peuvent ignorer.

En termes simples, les données synthétiques sont générées par des modèles d’IA pour créer des ensembles de données artificiels pour la formation, la fine-tuning et l’évaluation des LLM et des agents d’IA. Par rapport à l’annotation humaine traditionnelle, cela permet au pipeline de données de s’étendre rapidement, ce qui est essentiel dans le paysage en constante évolution et compétitif du développement de l’IA.

Les entreprises peuvent avoir d’autres raisons d’utiliser des « fausses » données, comme protéger des informations sensibles ou confidentielles dans les secteurs de la finance ou de la santé en générant des versions anonymisées. Les données synthétiques sont également un bon substitut lorsque des données propriétaires ne sont pas disponibles, comme avant le lancement d’un produit ou lorsque les données appartiennent à des clients externes.

Mais les données synthétiques révolutionnent-elles le développement de l’IA ? La réponse courte est un oui nuancé : elles ont un grand potentiel, mais elles peuvent également exposer les LLM et les agents à des vulnérabilités critiques sans une surveillance humaine rigoureuse. Les producteurs de LLM et les développeurs d’agents d’IA peuvent constater que les modèles d’IA formés sur des données synthétiques non vérifiées peuvent générer des sorties inexactes ou biaisées, créer des crises de réputation et entraîner un non-respect des normes industrielles et éthiques. Investir dans la surveillance humaine pour raffiner les données synthétiques est un investissement direct dans la protection du chiffre d’affaires, le maintien de la confiance des parties prenantes et l’assurance d’un déploiement responsable de l’IA.

Avec l’apport humain, les données synthétiques peuvent être transformées en données de formation de haute qualité. Il y a trois raisons critiques pour raffiner les données générées avant de les utiliser pour former l’IA : combler les lacunes dans les connaissances du modèle source, améliorer la qualité des données et réduire la taille des échantillons, et aligner avec les valeurs humaines.

Nous devons capter des connaissances uniques

Les données synthétiques sont principalement générées par des LLM qui sont formés sur des sources Internet publiques, créant une limitation inhérente. Le contenu public capte rarement les connaissances pratiques et concrètes utilisées dans le travail réel. Les activités telles que la conception d’une campagne de marketing, la préparation d’une prévision financière ou la réalisation d’une analyse de marché sont généralement privées et non documentées en ligne. De plus, les sources tendent à refléter une langue et une culture centrées sur les États-Unis, limitant la représentation mondiale.

Pour surmonter ces limitations, nous pouvons impliquer des experts pour créer des échantillons de données dans les domaines que nous soupçonnons que le modèle de génération de données synthétiques ne peut pas couvrir. En revenant à l’exemple de l’entreprise, si nous voulons que notre modèle final gère efficacement les prévisions financières et les analyses de marché, les données de formation doivent inclure des tâches réalistes de ces domaines. Il est important d’identifier ces lacunes et de compléter les données synthétiques avec des échantillons créés par des experts.

Les experts sont souvent impliqués tôt dans le projet pour définir la portée du travail. Cela inclut la création d’une taxonomie, qui définit les domaines de connaissance spécifiques où le modèle doit performer. Par exemple, dans le domaine de la santé, la médecine générale peut être divisée en sous-thèmes tels que la nutrition, la santé cardiovasculaire, les allergies, etc. Un modèle axé sur la santé doit être formé dans tous les sous-domaines qu’il est censé couvrir. Après que la taxonomie ait été définie par des experts en santé, les LLM peuvent être utilisés pour générer rapidement des points de données avec des questions et des réponses typiques. Les experts humains sont toujours nécessaires pour examiner, corriger et améliorer ce contenu pour s’assurer qu’il est non seulement exact mais également sûr et contextuellement approprié. Ce processus d’assurance qualité est nécessaire dans les applications à haut risque, telles que la santé, pour garantir l’exactitude des données et atténuer les dommages potentiels.

La qualité plutôt que la quantité : améliorer l’efficacité du modèle avec moins d’échantillons de meilleure qualité

Lorsque des experts en domaine créent des données pour former les LLM et les agents d’IA, ils créent des taxonomies pour les ensembles de données, écrivent des invites, conçoivent les réponses idéales ou simulent une tâche spécifique. Toutes ces étapes sont soigneusement conçues pour correspondre à l’objectif du modèle, et la qualité est garantie par des experts en la matière dans les domaines correspondants.

La génération de données synthétiques ne reproduit pas entièrement ce processus. Elle repose sur les forces du modèle sous-jacent utilisé pour créer les données, et la qualité résultante est souvent inférieure à celle des données curées par des humains. Cela signifie que les données synthétiques nécessitent souvent des volumes beaucoup plus importants pour obtenir des résultats satisfaisants, ce qui augmente les coûts de calcul et le temps de développement.

Dans les domaines complexes, il y a des nuances que seuls les experts humains peuvent détecter, en particulier avec les outliers ou les cas limites. Les données curées par des humains fournissent systématiquement de meilleures performances de modèle, même avec des ensembles de données nettement plus petits. En intégrant stratégiquement l’expertise humaine dans le processus de création de données, nous pouvons réduire le nombre d’échantillons nécessaires pour que le modèle fonctionne efficacement.

Selon notre expérience, la meilleure façon de relever ce défi est d’impliquer des experts en la matière dans la construction de jeux de données synthétiques. Lorsque les experts conçoivent les règles de génération de données, définissent les taxonomies de données et examinent ou corrigent les données générées, la qualité finale des données est nettement supérieure. Cette approche a permis à nos clients d’obtenir de solides résultats en utilisant moins d’échantillons, ce qui a conduit à un chemin plus rapide et plus efficace vers la production.

Construire la confiance : le rôle irremplaçable des humains dans la sécurité et l’alignement de l’IA

Les systèmes automatisés ne peuvent pas anticiper toutes les vulnérabilités ou garantir l’alignement avec les valeurs humaines, en particulier dans les cas limites et les scénarios ambigus. Les experts humains jouent un rôle crucial dans l’identification des risques émergents et la garantie de résultats éthiques avant le déploiement. Il s’agit d’une couche de protection que l’IA, du moins pour l’instant, ne peut pas fournir entièrement par elle-même.

Par conséquent, pour construire un solide jeu de données de test, les données synthétiques seules ne suffisent pas. Il est important d’impliquer des experts en sécurité tôt dans le processus. Ils peuvent aider à cartographier les types de menaces potentielles et à guider la structure du jeu de données. Les LLM peuvent ensuite être utilisés pour générer un grand volume d’exemples. Après cela, les experts sont nécessaires pour vérifier et affiner les données pour s’assurer qu’elles sont réalistes, de haute qualité et utiles pour tester les systèmes d’IA. Par exemple, un LLM peut générer des milliers de invites de piratage standard, mais un expert en sécurité humain peut créer de nouvelles « attaques d’ingénierie sociale » qui exploitent des biais psychologiques nuancés – une menace créative que les systèmes automatisés ont du mal à inventer par eux-mêmes.

Il y a eu des progrès significatifs dans l’alignement des LLM à l’aide d’une rétroaction automatisée. Dans l’article «RLAIF vs. RLHF : Scaling Reinforcement Learning from Human Feedback with AI Feedback», les chercheurs montrent que la rétroaction basée sur l’IA peut performer de manière comparable à la rétroaction humaine dans de nombreux cas. Cependant, même si la rétroaction basée sur l’IA s’améliore à mesure que les modèles s’améliorent, notre expérience montre que le RLAIF continue de lutter dans les domaines complexes et avec les cas limites ou les outliers, des domaines où les performances peuvent être critiques en fonction de l’application. Les experts humains sont plus efficaces pour gérer les nuances des tâches et le contexte, ce qui les rend plus fiables pour l’alignement.

Les agents d’IA bénéficient également d’une tests automatisés pour aborder un large éventail de risques de sécurité. Les environnements de test virtuels utilisent des données générées pour simuler les comportements des agents, tels que l’interaction avec des outils en ligne et la réalisation d’actions sur des sites Web. Pour maximiser la couverture des tests dans des scénarios réalistes, l’expertise humaine est intégrale pour concevoir les cas de test, vérifier les résultats des évaluations automatisées et signaler les vulnérabilités.

Le futur des données synthétiques

Les données synthétiques sont une technique très précieuse pour développer les grands modèles de langage, en particulier lorsque la mise à l’échelle et le déploiement rapide sont critiques dans le paysage actuel en constante évolution. Même si il n’y a pas de défauts fondamentaux dans les données synthétiques elles-mêmes, elles nécessitent un raffinement pour atteindre leur plein potentiel et offrir la plus grande valeur. Une approche hybride qui combine la génération de données automatisée avec l’expertise humaine est une méthode très efficace pour développer des modèles capables et fiables, car les performances finales du modèle dépendent plus de la qualité des données que du volume total. Ce processus intégré, utilisant l’IA pour la mise à l’échelle et les experts humains pour la validation, produit des modèles plus capables avec une meilleure alignment de la sécurité, ce qui est essentiel pour construire la confiance des utilisateurs et assurer un déploiement responsable.