Aborder les problèmes actuels des LLM et regarder vers ce qui vient ensuite

Aujourd’hui, il existe des dizaines de grands modèles de langage (LLM) accessibles au public, tels que GPT-3, GPT-4, LaMDA ou Bard, et leur nombre augmente constamment à mesure que de nouveaux modèles sont publiés. Les LLM ont révolutionné l’intelligence artificielle, modifiant complètement la façon dont nous interagissons avec la technologie dans diverses industries. Ces modèles nous permettent d’apprendre à partir de nombreux ensembles de données de langage humain et ont ouvert de nouvelles voies pour l’innovation, la créativité et l’efficacité.

Cependant, avec une grande puissance vient une grande complexité. Il existe des défis et des problèmes éthiques inhérents aux LLM qui doivent être abordés avant que nous puissions les utiliser à leur plein potentiel. Par exemple, une étude récente de Stanford a trouvé des préjugés raciaux et de genre lors de l’observation de ChatGPT-4 pour la façon dont il traite certaines requêtes qui incluent des prénoms et des noms de famille suggérant une race ou un sexe. Dans cette étude, le programme a été demandé de conseiller sur le montant que l’on devrait payer pour un vélo d’occasion vendu par quelqu’un nommé Jamal Washington, ce qui a donné un montant beaucoup plus bas, comparé à lorsque le vendeur s’appelait Logan Becker. À mesure que ces découvertes continuent à émerger, le besoin d’aborder les défis des LLM ne cesse d’augmenter.

Comment atténuer les préoccupations courantes des LLM

Biais

L’un des problèmes les plus souvent discutés parmi les LLM est le biais et l’équité. Dans une étude récente, des experts ont testé quatre LLM récemment publiés et ont constaté qu’ils exprimaient tous des hypothèses biaisées sur les hommes et les femmes, en particulier celles qui correspondent aux perceptions des gens plutôt qu’à celles fondées sur des faits. Dans ce contexte, le biais fait référence au traitement inégal ou aux résultats inégaux entre les différents groupes sociaux, probablement en raison de déséquilibres de pouvoir historiques ou structurels.

Dans les LLM, le biais est causé par la sélection des données, les caractéristiques démographiques des créateurs et les préjugés linguistiques ou culturels. Le biais de sélection des données se produit lorsque les textes choisis pour la formation des LLM ne représentent pas la diversité totale du langage utilisé sur le web. Les LLM formés sur des ensembles de données étendus mais limités peuvent hériter des préjugés déjà présents dans ces textes. Avec les caractéristiques démographiques des créateurs, certains groupes démographiques sont mis en avant plus souvent que d’autres, ce qui illustre le besoin d’une plus grande diversité et d’inclusivité dans la création de contenu pour diminuer le biais. Par exemple, Wikipedia, une source courante de données de formation, présente un déséquilibre démographique notable parmi ses éditeurs avec une majorité masculine (84%). Cela est similaire au biais qui se trouve pour la langue et la culture également. De nombreuses sources sur lesquelles les LLM sont formés sont biaisées, avec une tendance à être centrées sur l’anglais, ce qui ne se traduit pas toujours avec précision dans d’autres langues et cultures.

Il est impératif que les LLM soient formés sur des données filtrées et que des garde-fous soient en place pour supprimer les sujets qui ne sont pas des représentations cohérentes des données. Une façon de procéder est à travers des techniques basées sur l’augmentation des données. Vous pouvez ajouter des exemples de groupes sous-représentés aux données de formation, élargissant ainsi la diversité de l’ensemble de données. Une autre tactique d’atténuation est le filtrage et le repondération des données, qui se concentrent principalement sur la ciblage précis d’exemples sous-représentés dans un ensemble de données existant.

Hallucinations

Dans le contexte des LLM, les hallucinations sont un phénomène caractérisé par la production d’un texte qui, bien que grammaticalement correct et apparemment cohérent, s’écarte de l’exactitude factuelle ou de l’intention du matériel source. En fait, des rapports récents ont constaté qu’une poursuite judiciaire sur une loi du Minnesota est directement affectée par les hallucinations des LLM. Un affidavit soumis pour soutenir la loi a été trouvé pour inclure des sources inexistantes qui pourraient avoir été hallucinées par ChatGPT ou un autre LLM. Ces hallucinations peuvent facilement diminuer la fiabilité d’un LLM.

Il existe trois formes principales d’hallucinations :

1. Hallucination en conflit avec l’entrée : cela se produit lorsque la sortie d’un LLM s’écarte de l’entrée fournie par l’utilisateur, qui inclut généralement les instructions de tâche et le contenu réel à traiter.
2. Hallucination en conflit avec le contexte : les LLM peuvent générer des réponses internement incohérentes dans des scénarios impliquant des dialogues étendus ou plusieurs échanges. Cela suggère une déficience potentielle dans la capacité du modèle à suivre le contexte ou à maintenir la cohérence sur diverses interactions.
3. Hallucination en conflit avec les faits : cette forme d’hallucination se produit lorsque les LLM produisent du contenu en contradiction avec les connaissances factuelles établies. Les origines de ces erreurs sont diverses et peuvent survenir à différentes étapes du cycle de vie d’un LLM.

De nombreux facteurs ont contribué à ce phénomène, tels que les carences en connaissances, qui expliquent comment les LLM peuvent manquer de connaissances ou être incapables d’assimiler correctement les informations pendant la pré-formation. De plus, les préjugés dans les données de formation ou une stratégie de génération séquentielle des LLM, surnommée “boule de neige d’hallucinations”, peuvent créer des hallucinations.

Il existe des moyens d’atténuer les hallucinations, même si elles seront toujours une caractéristique des LLM. Des stratégies d’atténuation utiles pour les hallucinations sont l’atténuation pendant la pré-formation (en affinant manuellement les données à l’aide de techniques de filtrage) ou la fine-tuning (en mettant en place des données de formation). Cependant, l’atténuation pendant l’inférence est la meilleure solution en raison de son coût-effectif et de sa facilité de contrôle.

Vie privée

Avec l’essor de l’internet, l’accessibilité accrue des informations personnelles et d’autres données privées est devenue une préoccupation largement reconnue. Une étude a constaté que 80% des consommateurs américains sont préoccupés par le fait que leurs données sont utilisées pour former des modèles d’IA. Puisque les LLM les plus éminents sont issus de sites web, nous devons considérer comment cela pose des risques pour la vie privée et demeure un problème en grande partie non résolu pour les LLM.

La façon la plus simple d’empêcher les LLM de distribuer des informations personnelles est de les purger des données de formation. Cependant, étant donné la grande quantité de données impliquées dans les LLM, il est presque impossible de garantir que toutes les informations privées sont éradiquées. Une autre alternative courante pour les organisations qui s’appuient sur des modèles développés à l’extérieur est de choisir un LLM open source au lieu d’un service tel que ChatGPT.

Avec cette approche, une copie du modèle peut être déployée en interne. Les invites des utilisateurs restent sécurisées au sein du réseau de l’organisation plutôt que d’être exposées à des services tiers. Même si cela réduit considérablement le risque de fuite de données sensibles, cela ajoute également une complexité significative. Compte tenu des difficultés pour garantir pleinement la protection des données privées, il est essentiel pour les développeurs d’applications de considérer comment ces modèles pourraient exposer leurs utilisateurs à des risques.

La prochaine frontière pour les LLM

Alors que nous continuons à faire évoluer et à façonner les évolutions ultérieures des LLM en atténuant les risques actuels, nous devrions nous attendre à l’émergence des agents LLM, que nous voyons déjà des entreprises comme H avec Runner H, commençant à publier. Le passage des modèles de langage purs aux architectures agissantes représente un changement dans la conception des systèmes d’IA ; l’industrie va dépasser les limites inhérentes aux interfaces de conversation et à la génération simple augmentée de récupération. Ces nouveaux cadres d’agents auront des modules de planification sophistiqués qui décomposent des objectifs complexes en sous-tâches atomiques, maintiennent une mémoire épisodique pour un raisonnement contextuel et exploitent des outils spécialisés via des API bien définies. Cela crée une approche plus robuste pour l’automatisation des tâches.

En plus des LLM, il y aura un plus grand accent sur la formation de plus petits modèles de langage en raison de leur rentabilité, leur accessibilité et leur facilité de déploiement. Par exemple, les modèles de langage spécifiques à un domaine se spécialisent dans des industries ou des domaines particuliers. Ces modèles sont finement réglés avec des données et une terminologie spécifiques au domaine, les rendant idéaux pour des environnements complexes et réglementés, comme le domaine médical ou juridique, où la précision est essentielle. Cette approche ciblée réduit la probabilité d’erreurs et d’hallucinations que les modèles à usage général peuvent produire lorsqu’ils sont confrontés à un contenu spécialisé.

Alors que nous continuons à explorer de nouvelles frontières dans les LLM, il est essentiel de repousser les limites de l’innovation et d’aborder et d’atténuer les risques potentiels associés à leur développement et à leur déploiement. Seulement en identifiant et en abordant proactivement les défis liés au biais, aux hallucinations et à la vie privée, pouvons-nous créer une base plus solide pour que les LLM prospèrent dans divers domaines.