Modèles et plateformes d’IA

La boucle de rétroaction de l’IA : maintenir la qualité des modèles en production à l’ère du contenu généré par l’IA

Haziqa Sajid
Ajouter Unite.AI à vos sources préférées sur Google
Points clésLes boucles de rétroaction de l'IA combattent l'effondrement des modèles dû à la…
Voir plus
  • Les boucles de rétroaction de l'IA combattent l'effondrement des modèles dû à la pollution des données d'entraînement générées par l'IA.
  • L'effondrement du modèle se produit lorsque les modèles génératifs s'entraînent sur leurs propres sorties synthétiques.
  • Les experts en la matière fournissent un contrôle humain crucial pour maintenir l'alignement du modèle.

Les modèles d’IA déployés en production ont besoin d’un mécanisme d’évaluation des performances robuste et continu. C’est là que la boucle de rétroaction de l’IA peut être appliquée pour assurer des performances de modèle cohérentes.

Prenez l’exemple d’Elon Musk :

« Je pense qu’il est très important d’avoir une boucle de rétroaction, où vous pensez constamment à ce que vous avez fait et à la façon dont vous pourriez le faire mieux. »

Pour tous les modèles d’IA, la procédure standard consiste à déployer le modèle, puis à le réentraîner périodiquement sur les dernières données du monde réel pour s’assurer que ses performances ne se dégradent pas. Mais, avec l’essor fulgurant de l’IA générative, la entraînement de modèles d’IA est devenue anormale et sujette à erreurs. C’est parce que les sources de données en ligne (l’Internet) deviennent progressivement un mélange de données générées par l’homme et par l’IA.

Par exemple, de nombreux blogs présentent aujourd’hui du texte généré par l’IA, alimenté par des LLM (Large Language Modules) comme ChatGPT ou GPT-4. De nombreuses sources de données contiennent des images générées par l’IA créées à l’aide de DALL-E2 ou Midjourney. De plus, les chercheurs en IA utilisent des données synthétiques générées à l’aide de l’IA générative dans leurs pipelines de entraînement de modèles.

Par conséquent, nous avons besoin d’un mécanisme robuste pour assurer la qualité des modèles d’IA. C’est là que la nécessité de boucles de rétroaction de l’IA est devenue plus amplifiée.

Qu’est-ce qu’une Boucle de Rétroaction de l’IA ?

Une boucle de rétroaction de l’IA est un processus itératif où les décisions et les sorties d’un modèle d’IA sont continuellement collectées et utilisées pour améliorer ou réentraîner le même modèle, aboutissant à un apprentissage continu, à un développement et à une amélioration du modèle. Dans ce processus, les données d’entraînement du système d’IA, les paramètres du modèle et les algorithmes sont mis à jour et améliorés en fonction des entrées générées à l’intérieur du système.

Il existe principalement deux types de boucles de rétroaction de l’IA :

  1. Boucles de Rétroaction de l’IA Positives : Lorsque les modèles d’IA génèrent des résultats précis qui correspondent aux attentes et aux préférences des utilisateurs, les utilisateurs donnent un retour d’information positif via une boucle de rétroaction, qui à son tour renforce la précision des résultats futurs. Une telle boucle de rétroaction est qualifiée de positive.
  2. Boucles de Rétroaction de l’IA Négatives : Lorsque les modèles d’IA génèrent des résultats inexacts, les utilisateurs signalent les défauts via une boucle de rétroaction qui à son tour tente d’améliorer la stabilité du système en corrigeant les défauts. Une telle boucle de rétroaction est qualifiée de négative.

Les deux types de boucles de rétroaction de l’IA permettent un développement et une amélioration continues du modèle au fil du temps. Et ils ne sont pas utilisés ou appliqués en isolation. Ensemble, ils aident les modèles d’IA déployés en production à savoir ce qui est juste ou faux.

Étapes des Boucles de Rétroaction de l’IA

Une Illustration de Données Générées par l'IA dans une Boucle de Rétroaction de l'IA

Une illustration de haut niveau du mécanisme de rétroaction dans les modèles d’IA. Source

Comprendre comment fonctionnent les boucles de rétroaction de l’IA est important pour débloquer tout le potentiel du développement de l’IA. Explorons les différentes étapes des boucles de rétroaction de l’IA ci-dessous.

  1. Collecte de Retour d’Information : Collecter les résultats de modèle pertinents pour l’évaluation. Typiquement, les utilisateurs donnent leur retour d’information sur le résultat du modèle, qui est ensuite utilisé pour le réentraîner. Ou il peut s’agir de données externes provenant du Web, sélectionnées pour affiner les performances du système.
  2. Réentraînement du Modèle : En utilisant les informations collectées, le système d’IA est réentraîné pour faire de meilleures prédictions, fournir des réponses ou effectuer des activités particulières en affinant les paramètres du modèle ou les poids.
  3. Intégration et Test du Retour d’Information : Après le réentraînement, le modèle est testé et évalué à nouveau. À ce stade, le retour d’information des experts en la matière (SME) est également inclus pour mettre en évidence les problèmes au-delà des données.
  4. Déploiement : Le modèle est redéployé après vérification des modifications. À ce stade, le modèle devrait afficher de meilleures performances sur de nouvelles données du monde réel, aboutissant à une expérience utilisateur améliorée.
  5. Surveillance : Le modèle est surveillé en continu à l’aide de métriques pour identifier les dégradations potentielles, comme la dérive. Et le cycle de rétroaction se poursuit.

Les Problèmes dans les Données de Production et les Sorties de Modèles d’IA

La construction de systèmes d’IA robustes nécessite une compréhension approfondie des problèmes potentiels dans les données de production (données du monde réel) et les sorties de modèles. Jetons un coup d’œil à quelques-uns des problèmes qui peuvent constituer un obstacle à la garantie de l’exactitude et de la fiabilité des systèmes d’IA :

  1. Dérive des Données : Se produit lorsque le modèle commence à recevoir des données du monde réel provenant d’une distribution différente de celle des données d’entraînement du modèle.
  2. Dérive du Modèle : Les capacités prédictives et l’efficacité du modèle diminuent au fil du temps en raison de l’évolution des environnements du monde réel. C’est ce qu’on appelle la dérive du modèle.
  3. Sortie du Modèle d’IA par Rapport à la Décision du Monde Réel : Les modèles d’IA produisent des sorties inexactes qui ne correspondent pas aux décisions des parties prenantes du monde réel.
  4. Biais et Équité : Les modèles d’IA peuvent développer des problèmes de biais et d’équité. Par exemple, dans une conférence TED de Janelle Shane, elle décrit la décision d’Amazon de cesser de travailler sur un algorithme de tri de CV en raison de la discrimination sexuelle.

Une fois que les modèles d’IA commencent à s’entraîner sur du contenu généré par l’IA, ces problèmes peuvent s’aggraver. Comment ? Expliquons cela en détail.

Boucles de Rétroaction de l’IA à l’Ère du Contenu Généré par l’IA

À l’ère de l’adoption rapide de l’IA générative, les chercheurs ont étudié un phénomène connu sous le nom de Effondrement du Modèle. Ils définissent l’effondrement du modèle comme :

« Un processus dégénératif affectant les générations de modèles génératifs appris, où les données générées finissent par polluer l’ensemble d’entraînement de la prochaine génération de modèles ; entraînés sur des données polluées, ils perçoivent alors mal la réalité. »

L’effondrement du modèle se compose de deux cas particuliers,

  • Effondrement Précoce du Modèle se produit lorsque « le modèle commence à perdre des informations sur les queues de la distribution », c’est-à-dire les extrémités de la distribution des données d’entraînement.
  • Effondrement Tardif du Modèle se produit lorsque le « modèle entrelace différents modes des distributions originales et converge vers une distribution qui ressemble peu à l’originale, souvent avec une variance très faible. »

Causes de l’Effondrement du Modèle

Pour que les praticiens de l’IA puissent résoudre ce problème, il est essentiel de comprendre les raisons de l’effondrement du modèle, regroupées en deux catégories principales :

  1. Erreur d’Approximation Statistique : C’est l’erreur principale causée par le nombre fini d’échantillons, et elle disparaît à mesure que le nombre d’échantillons se rapproche de l’infini.
  2. Erreur d’Approximation Fonctionnelle : Cette erreur provient du fait que les modèles, tels que les réseaux de neurones, ne parviennent pas à capturer la fonction sous-jacente qui doit être apprise à partir des données.
Exemple de Causes de l'Effondrement du Modèle

Un exemple de résultats de modèles pour plusieurs générations de modèles affectés par l’effondrement du modèle. Source

Comment la Boucle de Rétroaction de l’IA est-elle Affectée par le Contenu Généré par l’IA ?

Lorsque les modèles d’IA s’entraînent sur du contenu généré par l’IA, cela a un effet destructeur sur les boucles de rétroaction de l’IA et peut causer de nombreux problèmes pour les modèles d’IA réentraînés, tels que :

  • Effondrement du Modèle : Comme expliqué ci-dessus, l’effondrement du modèle est une possibilité si la boucle de rétroaction de l’IA contient du contenu généré par l’IA.
  • Oubli Catastrophique : Un défi typique dans l’apprentissage continu est que le modèle oublie les échantillons précédents lorsqu’il apprend de nouvelles informations. C’est ce qu’on appelle l’oubli catastrophique.
  • Pollution des Données : Il s’agit de fournir des données synthétiques manipulatrices au modèle d’IA pour compromettre ses performances, l’amenant à produire des sorties inexactes.

Comment les Entreprises Peuvent-elles Créer une Boucle de Rétroaction Robuste pour leurs Modèles d’IA ?

Les entreprises peuvent bénéficier de l’utilisation de boucles de rétroaction dans leurs flux de travail d’IA. Suivez les trois principales étapes ci-dessous pour améliorer les performances de vos modèles d’IA.

  • Retour d’Information des Experts en la Matière : Les experts en la matière sont très compétents dans leur domaine et comprennent l’utilisation des modèles d’IA. Ils peuvent offrir des insights pour augmenter l’alignement du modèle sur les situations du monde réel, donnant ainsi plus de chances de résultats corrects. De plus, ils peuvent mieux gérer et contrôler les données générées par l’IA.
  • Choisir les Métriques de Qualité de Modèle Pertinentes : Choisir la bonne métrique d’évaluation pour la bonne tâche et surveiller le modèle en production en fonction de ces métriques peut assurer la qualité du modèle. Les praticiens de l’IA utilisent également des outils MLOps pour une évaluation et une surveillance automatisées pour alerter toutes les parties prenantes si les performances du modèle commencent à se dégrader en production.
  • Curation Stricte des Données : Comme les modèles de production sont réentraînés sur de nouvelles données, ils peuvent oublier les informations passées, il est donc crucial de sélectionner des données de haute qualité qui s’alignent bien sur l’objectif du modèle. Ces données peuvent être utilisées pour réentraîner le modèle dans les générations ultérieures, ainsi que les retours d’information des utilisateurs pour assurer la qualité.

Pour en savoir plus sur les progrès de l’IA, allez sur Unite.ai.

Haziqa travaille dans la science des données avec une expérience approfondie dans la rédaction de contenu technique pour les entreprises d'IA et de SaaS.