La boucle de rétroaction de l'IA : Maintenir la qualité de la production de modèles à l'ère du contenu généré par l'IA

Les modèles d'IA déployés en production nécessitent un mécanisme d'évaluation des performances robuste et continu. C'est là qu'une boucle de rétroaction IA peut être appliquée pour assurer des performances cohérentes du modèle.

Prenez-le d'Elon Musk:

"Je pense qu'il est très important d'avoir une boucle de rétroaction dans laquelle vous réfléchissez constamment à ce que vous avez fait et à la façon dont vous pourriez le faire mieux."

Pour tous les modèles d'IA, la procédure standard consiste à déployer le modèle, puis à le recycler périodiquement sur les dernières données du monde réel pour s'assurer que ses performances ne se détériorent pas. Mais, avec l'ascension fulgurante de IA générative, la formation de modèles d'IA est devenue anormale et sujette aux erreurs. En effet, les sources de données en ligne (Internet) deviennent progressivement un mélange de données générées par l'homme et générées par l'IA.

Par exemple, de nombreux blogs présentent aujourd'hui du texte généré par l'IA alimenté par LLM (Large Language Modules) comme ChatGPT ou GPT-4. De nombreuses sources de données contiennent des images générées par l'IA créées à l'aide de DALL-E2 ou Midjourney. De plus, les chercheurs en IA utilisent des données synthétiques générées à l’aide de Generative AI dans leurs pipelines de formation de modèles.

Par conséquent, nous avons besoin d'un mécanisme robuste pour garantir la qualité des modèles d'IA. C'est là que le besoin de boucles de rétroaction d'IA est devenu plus amplifié.

Qu'est-ce qu'une boucle de rétroaction IA ?

Une boucle de rétroaction d'IA est un processus itératif dans lequel les décisions et les résultats d'un modèle d'IA sont continuellement collectés et utilisés pour améliorer ou recycler le même modèle, ce qui entraîne un apprentissage, un développement et une amélioration continus du modèle. Dans ce processus, les données de formation, les paramètres du modèle et les algorithmes du système d'IA sont mis à jour et améliorés en fonction des entrées générées à partir du système.

Il existe principalement deux types de boucles de rétroaction IA :

1. Boucles de rétroaction IA positive : Lorsque les modèles d'IA génèrent des résultats précis qui correspondent aux attentes et aux préférences des utilisateurs, les utilisateurs donnent des commentaires positifs via une boucle de rétroaction, ce qui en retour renforce la précision des résultats futurs. Une telle boucle de rétroaction est dite positive.
2. Boucles de rétroaction négatives de l'IA : Lorsque les modèles d'IA génèrent des résultats inexacts, les utilisateurs signalent des défauts via une boucle de rétroaction qui, en retour, tente d'améliorer la stabilité du système en corrigeant les défauts. Une telle boucle de rétroaction est dite négative.

Les deux types de boucles de rétroaction d'IA permettent le développement continu de modèles et l'amélioration des performances au fil du temps. Et ils ne sont pas utilisés ou appliqués isolément. Ensemble, ils aident les modèles d'IA déployés en production à savoir ce qui est bien ou mal.

Étapes des boucles de rétroaction de l'IA

Une illustration de haut niveau du mécanisme de rétroaction dans les modèles d'IA. Source

Comprendre le fonctionnement des boucles de rétroaction de l'IA est important pour libérer tout le potentiel du développement de l'IA. Explorons ci-dessous les différentes étapes des boucles de rétroaction de l'IA.

1. Collecte de commentaires : Recueillir les résultats pertinents du modèle pour l'évaluation. En règle générale, les utilisateurs donnent leur avis sur le résultat du modèle, qui est ensuite utilisé pour le recyclage. Ou il peut s'agir de données externes du Web organisées pour affiner les performances du système.
2. Re-formation du modèle : À l'aide des informations recueillies, le système d'IA est réentrainé pour faire de meilleures prédictions, fournir des réponses ou effectuer des activités particulières en affinant les paramètres ou les pondérations du modèle.
3. Intégration et test des commentaires : Après le recyclage, le modèle est testé et évalué à nouveau. À ce stade, les commentaires des experts en la matière (PME) sont également inclus pour mettre en évidence les problèmes au-delà des données.
4. Déploiement: Le modèle est redéployé après vérification des modifications. À ce stade, le modèle devrait signaler de meilleures performances sur les nouvelles données du monde réel, ce qui se traduirait par une expérience utilisateur améliorée.
5. Surveillance: Le modèle est surveillé en permanence à l'aide de métriques pour identifier une détérioration potentielle, comme la dérive. Et le cycle de rétroaction continue.

Les problèmes des données de production et de la sortie du modèle d'IA

La construction de systèmes d'IA robustes nécessite une compréhension approfondie des problèmes potentiels liés aux données de production (données du monde réel) et aux résultats des modèles. Examinons quelques problèmes qui deviennent un obstacle pour garantir la précision et la fiabilité des systèmes d'IA :

1. Dérive des données : Se produit lorsque le modèle commence à recevoir des données du monde réel à partir d'une distribution différente par rapport à la distribution des données d'apprentissage du modèle.
2. Dérive du modèle : Les capacités prédictives et l'efficacité du modèle diminuent avec le temps en raison de l'évolution des environnements réels. C'est ce qu'on appelle la dérive du modèle.
3. Sortie du modèle d'IA par rapport à la décision dans le monde réel : Les modèles d'IA produisent des résultats inexacts qui ne correspondent pas aux décisions réelles des parties prenantes.
4. Parti pris et équité : Les modèles d'IA peuvent développer des problèmes de biais et d'équité. Par exemple, dans un Conférence TED par Janelle Shane, elle décrit la décision d'Amazon d'arrêter de travailler sur un algorithme de tri des CV en raison de la discrimination sexuelle.

Une fois que les modèles d'IA commencent à s'entraîner sur le contenu généré par l'IA, ces problèmes peuvent encore s'aggraver. Comment? Discutons-en plus en détail.

Boucles de rétroaction de l'IA à l'ère du contenu généré par l'IA

Dans le sillage de l'adoption rapide de l'IA générative, les chercheurs ont étudié un phénomène connu sous le nom de Effondrement du modèle. Ils définissent l'effondrement du modèle comme :

"Processus dégénératif affectant des générations de modèles génératifs appris, où les données générées finissent par polluer l'ensemble d'apprentissage de la prochaine génération de modèles ; formés sur des données polluées, ils perçoivent alors mal la réalité.

Model Collapse se compose de deux cas particuliers,

• Premier effondrement du modèle se produit lorsque "le modèle commence à perdre des informations sur les queues de la distribution", c'est-à-dire les extrémités de la distribution des données d'apprentissage.
• Effondrement tardif du modèle se produit lorsque le "modèle enchevêtre différents modes des distributions d'origine et converge vers une distribution qui ressemble un peu à celle d'origine, souvent avec une très petite variance".

Causes de l'effondrement du modèle

Pour que les praticiens de l'IA puissent résoudre ce problème, il est essentiel de comprendre les raisons de l'effondrement du modèle, regroupées en deux catégories principales :

1. Erreur d'approximation statistique : Il s'agit de la principale erreur causée par le nombre fini d'échantillons, et elle disparaît lorsque le nombre d'échantillons se rapproche de l'infini.
2. Erreur d'approximation fonctionnelle : Cette erreur survient lorsque les modèles, tels que les réseaux de neurones, ne parviennent pas à capturer la véritable fonction sous-jacente qui doit être apprise à partir des données.

Un échantillon de résultats de modèles pour plusieurs générations de modèles affectées par l'effondrement du modèle. Source

Comment la boucle de rétroaction de l'IA est affectée en raison du contenu généré par l'IA

Lorsque les modèles d'IA s'entraînent sur du contenu généré par l'IA, cela a un effet destructeur sur les boucles de rétroaction de l'IA et peut causer de nombreux problèmes pour les modèles d'IA recyclés, tels que :

• Effondrement du modèle : Comme expliqué ci-dessus, l'effondrement du modèle est une possibilité probable si la boucle de rétroaction de l'IA contient du contenu généré par l'IA.
• Oubli catastrophique : Un défi typique de l'apprentissage continu est que le modèle oublie les échantillons précédents lors de l'apprentissage de nouvelles informations. C'est ce qu'on appelle l'oubli catastrophique.
• Pollution des données: Il s'agit d'introduire des données synthétiques manipulatrices dans le modèle d'IA pour compromettre les performances, ce qui l'incite à produire une sortie inexacte.

Comment les entreprises peuvent-elles créer une boucle de rétroaction robuste pour leurs modèles d'IA ?

Les entreprises peuvent bénéficier de l'utilisation de boucles de rétroaction dans leurs flux de travail d'IA. Suivez les trois étapes principales ci-dessous pour améliorer les performances de vos modèles d'IA.

• Commentaires d'experts en la matière : Les PME connaissent très bien leur domaine et comprennent l'utilisation des modèles d'IA. Ils peuvent offrir des informations pour augmenter l'alignement du modèle avec les paramètres du monde réel, ce qui augmente les chances d'obtenir des résultats corrects. En outre, ils peuvent mieux gouverner et gérer les données générées par l'IA.
• Choisissez des métriques de qualité de modèle pertinentes : Choisir la bonne métrique d'évaluation pour la bonne tâche et surveiller le modèle en production sur la base de ces métriques peut garantir la qualité du modèle. Les praticiens de l'IA utilisent également des outils MLOps pour l'évaluation et la surveillance automatisées afin d'alerter toutes les parties prenantes si les performances du modèle commencent à se détériorer en production.
• Conservation stricte des données : Au fur et à mesure que les modèles de production sont recyclés sur de nouvelles données, ils peuvent oublier les informations passées, il est donc crucial de conserver des données de haute qualité qui correspondent bien à l'objectif du modèle. Ces données peuvent être utilisées pour réentraîner le modèle dans les générations suivantes, ainsi que les commentaires des utilisateurs pour garantir la qualité.

Pour en savoir plus sur les avancées de l'IA, rendez-vous sur Unite.ai.