La Boucle de Réaction de l’IA : Maintenir la Qualité de la Production de Modèles dans l’Ère du Contenu Généré par l’IA

Les modèles d’IA déployés en production ont besoin d’un mécanisme d’évaluation des performances robuste et continu. C’est là que la boucle de réaction de l’IA peut être appliquée pour assurer des performances de modèle cohérentes.

Prenez-le de Elon Musk :

« Je pense qu’il est très important d’avoir une boucle de réaction, où vous réfléchissez constamment à ce que vous avez fait et à la façon dont vous pourriez le faire mieux. »

Pour tous les modèles d’IA, la procédure standard est de déployer le modèle, puis de le réentraîner périodiquement sur les dernières données du monde réel pour s’assurer que ses performances ne se dégradent pas. Mais, avec la montée en puissance de l’IA générative, la formation de modèles d’IA est devenue anormale et sujette à erreurs. C’est parce que les sources de données en ligne (l’internet) deviennent progressivement un mélange de données générées par l’homme et de données générées par l’IA.

Par exemple, de nombreux blogs présentent aujourd’hui du texte généré par l’IA alimenté par des LLM (Large Language Modules) comme ChatGPT ou GPT-4. De nombreuses sources de données contiennent des images générées par l’IA créées à l’aide de DALL-E2 ou Midjourney. De plus, les chercheurs en IA utilisent des données synthétiques générées à l’aide de l’IA générative dans leurs pipelines de formation de modèles.

Par conséquent, nous avons besoin d’un mécanisme robuste pour assurer la qualité des modèles d’IA. C’est là que le besoin de boucles de réaction de l’IA est devenu plus amplifié.

Qu’est-ce qu’une Boucle de Réaction de l’IA ?

Une boucle de réaction de l’IA est un processus itératif où les décisions et les sorties d’un modèle d’IA sont continuellement collectées et utilisées pour améliorer ou réentraîner le même modèle, aboutissant à un apprentissage, un développement et une amélioration continus du modèle. Dans ce processus, les données de formation, les paramètres de modèle et les algorithmes du système d’IA sont mis à jour et améliorés en fonction des entrées générées à l’intérieur du système.

Il existe principalement deux types de boucles de réaction de l’IA :

1. Boucles de Réaction de l’IA Positives : Lorsque les modèles d’IA génèrent des résultats précis qui correspondent aux attentes et aux préférences des utilisateurs, les utilisateurs donnent un retour d’information positif via une boucle de réaction, qui à son tour renforce la précision des résultats futurs. Une telle boucle de réaction est qualifiée de positive.
2. Boucles de Réaction de l’IA Négatives : Lorsque les modèles d’IA génèrent des résultats inexacts, les utilisateurs signalent les erreurs via une boucle de réaction qui à son tour tente d’améliorer la stabilité du système en corrigeant les erreurs. Une telle boucle de réaction est qualifiée de négative.

Les deux types de boucles de réaction de l’IA permettent un développement et une amélioration continues des performances du modèle au fil du temps. Et ils ne sont pas utilisés ou appliqués en isolation. Ensemble, ils aident les modèles d’IA déployés en production à savoir ce qui est juste ou faux.

Étapes des Boucles de Réaction de l’IA

Une illustration de haut niveau du mécanisme de réaction dans les modèles d’IA. Source

Comprendre comment fonctionnent les boucles de réaction de l’IA est important pour débloquer tout le potentiel du développement de l’IA. Explorons les différentes étapes des boucles de réaction de l’IA ci-dessous.

1. Collecte de Retour d’Information : Collecter les résultats de modèle pertinents pour l’évaluation. Typiquement, les utilisateurs donnent leur retour d’information sur le résultat du modèle, qui est ensuite utilisé pour le réentraîner. Ou il peut s’agir de données externes du Web sélectionnées pour affiner les performances du système.
2. Réentraînement du Modèle : En utilisant les informations collectées, le système d’IA est réentraîné pour faire de meilleures prédictions, fournir des réponses ou effectuer des activités particulières en affinant les paramètres de modèle ou les poids.
3. Intégration et Test du Retour d’Information : Après le réentraînement, le modèle est testé et évalué à nouveau. À ce stade, le retour d’information des experts en la matière (SME) est également inclus pour mettre en évidence les problèmes au-delà des données.
4. Déploiement : Le modèle est redeployé après vérification des modifications. À ce stade, le modèle devrait afficher de meilleures performances sur de nouvelles données du monde réel, aboutissant à une expérience utilisateur améliorée.
5. Surveillance : Le modèle est surveillé en continu à l’aide de métriques pour identifier une éventuelle dégradation, comme le décalage. Et le cycle de réaction se poursuit.

Les Problèmes dans les Données de Production et les Sorties de Modèle d’IA

La construction de systèmes d’IA robustes nécessite une compréhension approfondie des problèmes potentiels dans les données de production (données du monde réel) et les sorties de modèle. Considérons quelques-uns des problèmes qui deviennent un obstacle pour assurer l’exactitude et la fiabilité des systèmes d’IA :

1. Décalage des Données : Se produit lorsque le modèle commence à recevoir des données du monde réel d’une distribution différente de celle des données de formation du modèle.
2. Décalage du Modèle : Les capacités prédictives et l’efficacité du modèle diminuent au fil du temps en raison de l’évolution des environnements du monde réel. C’est ce qu’on appelle le décalage du modèle.
3. Sortie du Modèle d’IA par Rapport à la Décision du Monde Réel : Les modèles d’IA produisent des sorties inexacts qui ne correspondent pas aux décisions des parties prenantes du monde réel.
4. Biais et Équité : Les modèles d’IA peuvent développer des biais et des problèmes d’équité. Par exemple, dans une conférence TED de Janelle Shane, elle décrit la décision d’Amazon de cesser de travailler sur un algorithme de tri de CV en raison de la discrimination sexiste.

Une fois que les modèles d’IA commencent à s’entraîner sur du contenu généré par l’IA, ces problèmes peuvent augmenter encore. Comment ? Discutons-en plus en détail.

Boucles de Réaction de l’IA à l’Ère du Contenu Généré par l’IA

À la suite de l’adoption rapide de l’IA générative, les chercheurs ont étudié un phénomène connu sous le nom de Effondrement du Modèle. Ils définissent l’effondrement du modèle comme :

« Un processus dégénératif affectant les générations de modèles génératifs appris, où les données générées finissent par polluer l’ensemble de formation de la prochaine génération de modèles ; formés sur des données polluées, ils perçoivent alors mal la réalité. »

L’effondrement du modèle se compose de deux cas particuliers,

• Effondrement Précoce du Modèle se produit lorsque « le modèle commence à perdre des informations sur les queues de la distribution », c’est-à-dire les extrémités extrêmes de la distribution des données de formation.
• Effondrement Tardif du Modèle se produit lorsque le « modèle entrelace différents modes de la distribution d’origine et converge vers une distribution qui ressemble peu à l’originale, souvent avec une variance très faible. »

Causes de l’Effondrement du Modèle

Pour que les praticiens de l’IA puissent résoudre ce problème, il est essentiel de comprendre les raisons de l’effondrement du modèle, regroupées en deux catégories principales :

1. Erreur d’Approximation Statistique : Il s’agit de l’erreur principale causée par le nombre fini d’échantillons, et elle disparaît à mesure que le nombre d’échantillons approche l’infini.
2. Erreur d’Approximation Fonctionnelle : Cette erreur provient du fait que les modèles, tels que les réseaux de neurones, ne parviennent pas à capturer la fonction réelle sous-jacente qui doit être apprise à partir des données.

Un exemple de résultats de modèle pour plusieurs générations de modèles affectés par l’effondrement du modèle. Source

Comment la Boucle de Réaction de l’IA est-elle Affectée par le Contenu Généré par l’IA

Lorsque les modèles d’IA s’entraînent sur du contenu généré par l’IA, cela a un effet destructeur sur les boucles de réaction de l’IA et peut causer de nombreux problèmes pour les modèles d’IA réentraînés, tels que :

• Effondrement du Modèle : Comme expliqué ci-dessus, l’effondrement du modèle est une possibilité probable si la boucle de réaction de l’IA contient du contenu généré par l’IA.
• Oubli Catastrophique : Un défi typique dans l’apprentissage continu est que le modèle oublie les échantillons précédents lorsqu’il apprend de nouvelles informations. C’est ce qu’on appelle l’oubli catastrophique.
• Pollution des Données : Il s’agit de fournir des données synthétiques manipulatrices au modèle d’IA pour compromettre ses performances, l’incitant à produire des sorties inexacts.

Comment les Entreprises Peuvent-elles Créer une Boucle de Réaction Robuste pour leurs Modèles d’IA ?

Les entreprises peuvent bénéficier de l’utilisation de boucles de réaction dans leurs flux de travail d’IA. Suivez les trois principales étapes ci-dessous pour améliorer les performances de vos modèles d’IA.

• Retour d’Information des Experts en la Matière : Les experts en la matière sont très compétents dans leur domaine et comprennent l’utilisation des modèles d’IA. Ils peuvent offrir des insights pour augmenter l’alignement du modèle avec les paramètres du monde réel, donnant ainsi une plus grande chance de résultats corrects. Ils peuvent également mieux gérer et contrôler les données générées par l’IA.
• Sélection de Métriques de Qualité de Modèle Pertinentes : La sélection de la bonne métrique d’évaluation pour la tâche appropriée et la surveillance du modèle en production en fonction de ces métriques peuvent assurer la qualité du modèle. Les praticiens de l’IA utilisent également des outils MLOps pour une évaluation et une surveillance automatisées, afin d’alerter toutes les parties prenantes si les performances du modèle commencent à se dégrader en production.
• Curation Stricte des Données : Comme les modèles de production sont réentraînés sur de nouvelles données, ils peuvent oublier les informations passées, il est donc crucial de sélectionner des données de haute qualité qui correspondent bien à l’objectif du modèle. Ces données peuvent être utilisées pour réentraîner le modèle dans les générations suivantes, ainsi que les retours d’information des utilisateurs pour assurer la qualité.

Pour en savoir plus sur les progrès de l’IA, visitez Unite.ai.