L’IA apprend de l’IA : l’émergence de l’apprentissage social parmi les grands modèles de langage

Depuis que OpenAI a présenté ChatGPT 3.5 à la fin de 2022, le rôle des modèles de langage fondamentaux (LLM) est devenu de plus en plus important dans l’intelligence artificielle (IA), en particulier dans le traitement automatique du langage naturel (NLP). Ces LLM, conçus pour traiter et générer du texte similaire à celui des humains, apprennent à partir d’une vaste gamme de textes provenant d’Internet, allant des livres aux sites Web. Ce processus d’apprentissage leur permet de capturer l’essence du langage humain, ce qui fait que les LLM semblent être des solveurs de problèmes polyvalents.

Alors que le développement des LLM a ouvert de nouvelles portes, la méthode d’adaptation de ces modèles pour des applications spécifiques – connue sous le nom de fine-tuning – présente ses propres défis. Le fine-tuning d’un modèle nécessite une formation supplémentaire sur des jeux de données plus ciblés, ce qui peut entraîner des difficultés telles que la nécessité de données étiquetées, le risque de dérive du modèle et de sur-ajustement, ainsi que le besoin de ressources importantes.

Pour relever ces défis, des chercheurs de Google ont récemment adopté l’idée d’« apprentissage social » pour aider l’IA à apprendre de l’IA. L’idée clé est que, lorsque les LLM sont convertis en chatbots, ils peuvent interagir et apprendre les uns des autres de manière similaire à l’apprentissage social humain. Cette interaction leur permet d’apprendre les uns des autres, améliorant ainsi leur efficacité.

Qu’est-ce que l’apprentissage social ?

L’apprentissage social n’est pas une idée nouvelle. Il repose sur une théorie des années 1970 de Albert Bandura, qui suggère que les gens apprennent en observant les autres. Ce concept appliqué à l’IA signifie que les systèmes d’IA peuvent s’améliorer en interagissant les uns avec les autres, apprenant non seulement à partir d’expériences directes mais également à partir des actions de leurs pairs. Cette méthode promet une acquisition de compétences plus rapide et pourrait même permettre aux systèmes d’IA de développer leur propre « culture » en partageant des connaissances.

Contrairement à d’autres méthodes d’apprentissage de l’IA, comme l’apprentissage par essais et erreurs par renforcement ou l’apprentissage par imitation à partir d’exemples directs, l’apprentissage social met l’accent sur l’apprentissage par interaction. Il offre une façon plus pratique et communautaire pour l’IA d’acquérir de nouvelles compétences.

Apprentissage social dans les LLM

Un aspect important de l’apprentissage social est d’échanger des connaissances sans partager d’informations originales et sensibles. Ainsi, les chercheurs ont employé une dynamique enseignant-élève où les modèles enseignants facilitent le processus d’apprentissage pour les modèles élèves sans révéler de détails confidentiels. Pour atteindre cet objectif, les modèles enseignants génèrent des exemples synthétiques ou des directions à partir desquels les modèles élèves peuvent apprendre sans partager les données réelles. Par exemple, considérons un modèle enseignant formé pour différencier les messages de texte spam et non-spam à l’aide de données marquées par les utilisateurs. Si nous souhaitons qu’un autre modèle maîtrise cette tâche sans toucher les données originales et privées, l’apprentissage social entre en jeu. Le modèle enseignant créera des exemples synthétiques ou fournira des insights basés sur ses connaissances, permettant au modèle élève d’identifier avec précision les messages spam sans exposition directe aux données sensibles. Cette stratégie non seulement améliore l’efficacité de l’apprentissage mais démontre également le potentiel des LLM à apprendre de manière dynamique et adaptable, potentiellement construisant une culture de connaissances collective. Une caractéristique essentielle de cette approche est sa dépendance à l’égard d’exemples synthétiques et d’instructions élaborées. En générant de nouveaux exemples informatifs distincts du jeu de données original, les modèles enseignants peuvent préserver la confidentialité tout en guidant les modèles élèves vers un apprentissage efficace. Cette approche s’est avérée efficace, atteignant des résultats similaires à ceux obtenus en utilisant les données réelles.

Comment l’apprentissage social répond-il aux défis du fine-tuning ?

L’apprentissage social offre une nouvelle façon d’affiner les LLM pour des tâches spécifiques. Il aide à résoudre les défis du fine-tuning de la manière suivante :

1. Moins de besoin de données étiquetées : En apprenant à partir d’exemples synthétiques partagés entre les modèles, l’apprentissage social réduit la dépendance à l’égard des données étiquetées difficiles à obtenir.
2. Évitement de la sur-spécialisation : Il maintient les modèles polyvalents en les exposant à une plus grande variété d’exemples que ceux contenus dans de petits jeux de données spécifiques.
3. Réduction du sur-ajustement : L’apprentissage social élargit l’expérience d’apprentissage, aidant les modèles à généraliser mieux et à éviter le sur-ajustement.
4. Économie de ressources : Cette approche permet une utilisation plus efficace des ressources, car les modèles apprennent les uns des autres sans avoir besoin d’un accès direct à de grands jeux de données.

Orientations futures

Le potentiel de l’apprentissage social dans les LLM suggère diverses voies intéressantes et significatives pour la recherche future en IA :

1. Cultures hybrides d’IA : À mesure que les LLM participent à l’apprentissage social, ils pourraient commencer à former des méthodologies communes. Des études pourraient être menées pour examiner les effets de ces « cultures » d’IA émergentes, en étudiant leur influence sur les interactions humaines et les questions éthiques impliquées.
2. Apprentissage cross-modale : Étendre l’apprentissage social au-delà du texte pour inclure des images, des sons et plus pourrait conduire à des systèmes d’IA avec une compréhension plus riche du monde, similaire à la façon dont les humains apprennent à travers plusieurs sens.
3. Apprentissage décentralisé : L’idée de modèles d’IA apprenant les uns des autres à travers un réseau décentralisé présente une nouvelle façon d’étendre le partage de connaissances. Cela nécessiterait de relever des défis importants en matière de coordination, de confidentialité et de sécurité.
4. Interaction humain-IA : Il y a un potentiel dans l’exploration de la façon dont les humains et l’IA peuvent mutuellement bénéficier de l’apprentissage social, en particulier dans les contextes éducatifs et collaboratifs. Cela pourrait redéfinir la façon dont le transfert de connaissances et l’innovation se produisent.
5. Développement éthique de l’IA : Enseigner à l’IA à résoudre les dilemmes éthiques par l’apprentissage social pourrait être un pas vers une IA plus responsable. L’accent serait mis sur le développement de systèmes d’IA capables de raisonner de manière éthique et de s’aligner sur les valeurs sociétales.
6. Systèmes s’améliorant d’eux-mêmes : Un écosystème où les modèles d’IA apprennent continuellement et s’améliorent les uns des autres pourrait accélérer l’innovation en IA. Cela suggère un avenir où l’IA peut s’adapter à de nouveaux défis de manière plus autonome.
7. Confidentialité dans l’apprentissage : Avec les modèles d’IA partageant des connaissances, assurer la confidentialité des données sous-jacentes est crucial. Les efforts futurs pourraient explorer des méthodes plus sophistiquées pour permettre le transfert de connaissances sans compromettre la sécurité des données.

En résumé

Les chercheurs de Google ont initié une approche innovante appelée apprentissage social parmi les grands modèles de langage (LLM), inspirée de la capacité humaine à apprendre en observant les autres. Ce cadre permet aux LLM de partager des connaissances et d’améliorer leurs capacités sans accéder ou exposer de données sensibles. En générant des exemples synthétiques et des instructions, les LLM peuvent apprendre de manière efficace, répondant aux défis clés du développement de l’IA tels que le besoin de données étiquetées, la sur-spécialisation, le sur-ajustement et la consommation de ressources. L’apprentissage social non seulement améliore l’efficacité et l’adaptabilité de l’IA, mais ouvre également des possibilités pour que l’IA développe des « cultures » partagées, engage dans l’apprentissage cross-modal, participe à des réseaux décentralisés, interagisse avec les humains de nouvelles manières, navigue dans les dilemmes éthiques et assure la confidentialité. Cela marque un changement significatif vers des systèmes d’IA plus collaboratifs, polyvalents et éthiques, promettant de redéfinir le paysage de la recherche et de l’application en intelligence artificielle.