Comment les données synthétiques affectent-elles les hallucinations de l’IA ?

Bien que les données synthétiques soient un outil puissant, elles ne peuvent réduire les hallucinations de l’intelligence artificielle que dans des circonstances spécifiques. Dans presque tous les autres cas, elles les amplifient. Pourquoi en est-il ainsi ? Qu’est-ce que ce phénomène signifie pour ceux qui ont investi dans les données synthétiques ?

Comment les données synthétiques diffèrent-elles des données réelles ?

Les données synthétiques sont des informations générées par l’IA. Au lieu d’être collectées à partir d’événements ou d’observations du monde réel, elles sont produites artificiellement. Cependant, elles ressemblent suffisamment à l’original pour produire des sorties précises et pertinentes. C’est l’idée, en tout cas.

Pour créer un ensemble de données artificielles, les ingénieurs en IA forment un algorithme génératif sur une base de données relationnelle réelle. Lorsqu’il est sollicité, il produit un deuxième ensemble qui reflète étroitement le premier, mais ne contient aucune information réelle. Bien que les tendances générales et les propriétés mathématiques restent intactes, il y a suffisamment de bruit pour masquer les relations d’origine.

Un ensemble de données généré par l’IA va au-delà de la désidentification, en reproduisant la logique sous-jacente des relations entre les champs, plutôt que de simplement remplacer les champs par des alternatives équivalentes. Puisqu’il ne contient aucune information d’identification, les entreprises peuvent l’utiliser pour contourner les réglementations sur la vie privée et le droit d’auteur. Plus important encore, elles peuvent le partager ou le distribuer librement sans crainte d’une violation de la sécurité.

Cependant, les informations fausses sont plus couramment utilisées pour la supplementation. Les entreprises peuvent les utiliser pour enrichir ou étendre les tailles d’échantillons qui sont trop petites, les rendant suffisamment grandes pour former des systèmes d’IA de manière efficace.

Les données synthétiques réduisent-elles les hallucinations de l’IA ?

Parfois, les algorithmes font référence à des événements inexistants ou font des suggestions logiquement impossibles. Ces hallucinations sont souvent dénuées de sens, trompeuses ou incorrectes. Par exemple, un grand modèle de langage pourrait écrire un article sur la façon de domestiquer des lions ou de devenir médecin à l’âge de 6 ans. Cependant, ils ne sont pas tous extrêmes, ce qui peut rendre leur reconnaissance difficile.

Si elles sont correctement curatorisées, les données artificielles peuvent atténuer ces incidents. Une base de données de formation pertinente et authentique est la fondation de tout modèle, il est donc logique que plus quelqu’un a de détails, plus la sortie de son modèle sera précise. Un ensemble de données supplémentaire permet la scalabilité, même pour des applications de niche avec des informations publiques limitées.

La débiasisation est une autre façon dont une base de données synthétique peut réduire les hallucinations de l’IA. Selon la MIT Sloan School of Management, elle peut aider à résoudre les problèmes de biais car elle n’est pas limitée à la taille d’échantillon d’origine. Les professionnels peuvent utiliser des détails réalistes pour combler les lacunes où des sous-populations sont sous-représentées ou sur-représentées.

Comment les données artificielles aggravent les hallucinations

Puisque les algorithmes intelligents ne peuvent pas raisonner ou contextualiser les informations, ils sont enclins aux hallucinations. Les modèles génératifs — en particulier les grands modèles de langage pré-formés — sont particulièrement vulnérables. De certaines manières, les faits artificiels aggravent le problème.

Amplification des biais

Comme les humains, l’IA peut apprendre et reproduire des biais. Si une base de données artificielle surévalue certains groupes tandis que d’autres sont sous-représentés — ce qui est facile à faire accidentellement — sa logique de prise de décision sera biaisée, affectant négativement la précision de la sortie.

Un problème similaire peut survenir lorsque les entreprises utilisent des données fausses pour éliminer les biais du monde réel, car elles ne reflètent plus la réalité. Par exemple, puisque plus de 99 % des cas de cancer du sein surviennent chez les femmes, utiliser des informations supplémentaires pour équilibrer la représentation pourrait fausser les diagnostics.

Hallucinations intersectionnelles

L’intersectionnalité est un cadre sociologique qui décrit comment les démographies telles que l’âge, le sexe, la race, la profession et la classe se croisent. Il analyse comment les identités sociales chevauchantes des groupes aboutissent à des combinaisons uniques de discrimination et de privilège.

Lorsqu’un modèle génératif est invité à produire des détails artificiels basés sur ce qu’il a appris, il peut générer des combinaisons qui n’existaient pas dans l’original ou qui sont logiquement impossibles.

Ericka Johnson, professeure de genre et de société à l’Université de Linköping, a travaillé avec un scientifique en apprentissage automatique pour démontrer ce phénomène. Ils ont utilisé un réseau antagoniste génératif pour créer des versions synthétiques des chiffres du recensement américain de 1990.

Ils ont immédiatement remarqué un problème flagrant. La version artificielle avait des catégories intitulées « épouse et célibataire » et « jamais mariés », qui étaient toutes deux des hallucinations intersectionnelles.

Sans une curation appropriée, la base de données de réplication sera toujours surreprésentée pour les sous-populations dominantes dans les ensembles de données, tandis que les groupes sous-représentés — ou même exclus — seront ignorés. Les cas limites et les valeurs aberrantes peuvent être complètement ignorés au profit des tendances dominantes.

Effondrement du modèle

Une dépendance excessive aux modèles et tendances artificiels conduit à l’effondrement du modèle — où les performances d’un algorithme se dégradent considérablement à mesure qu’il devient moins adaptable aux observations et événements du monde réel.

Ce phénomène est particulièrement apparent dans l’IA générative de nouvelle génération. L’utilisation répétée d’une version artificielle pour les former aboutit à une boucle auto-consommatrice. Une étude a révélé que leur qualité et rappel déclinent progressivement sans suffisamment de chiffres récents et réels dans chaque génération.

Surapprentissage

Le surapprentissage est une dépendance excessive aux données de formation. L’algorithme se comporte bien initialement, mais hallucinera lorsqu’il sera confronté à de nouveaux points de données. Les informations synthétiques peuvent aggraver ce problème si elles ne reflètent pas avec précision la réalité.

Les implications de l’utilisation continue de données synthétiques

Le marché des données synthétiques est en plein essor. Les entreprises de ce secteur de niche ont levé environ 328 millions de dollars en 2022, contre 53 millions en 2020 — une augmentation de 518 % en seulement 18 mois. Il est important de noter que ce montant ne concerne que le financement public, ce qui signifie que le chiffre réel peut être encore plus élevé. Il est sage de dire que les entreprises sont incroyablement investies dans cette solution.

Si les entreprises continuent à utiliser une base de données artificielle sans curation ni débiasisation appropriées, les performances de leur modèle se dégraderont progressivement, entachant leurs investissements dans l’IA. Les résultats peuvent être plus graves, selon l’application. Par exemple, dans le domaine de la santé, une augmentation des hallucinations pourrait entraîner des diagnostics erronés ou des plans de traitement inappropriés, aboutissant à de moins bons résultats pour les patients.

La solution ne consistera pas à revenir aux données réelles

Les systèmes d’IA ont besoin de millions, voire de milliards d’images, de texte et de vidéos pour leur formation, dont la plupart sont collectées à partir de sites Web publics et compilées dans des ensembles de données massifs et ouverts. Malheureusement, les algorithmes consomment ces informations plus rapidement que les humains ne peuvent les générer. Que se passe-t-il lorsqu’ils apprennent tout ?

Les dirigeants d’entreprise s’inquiètent de heurter le mur des données — le point auquel toutes les informations publiques sur Internet ont été épuisées. Il peut arriver plus rapidement qu’ils ne le pensent.

Même si la quantité de texte brut sur la page Web moyenne et le nombre d’utilisateurs d’Internet augmentent de 2 % à 4 % par an, les algorithmes manquent de données de haute qualité. Seuls 10 % à 40 % peuvent être utilisés pour la formation sans compromettre les performances. Si les tendances se poursuivent, le stock d’informations publiques générées par l’homme pourrait être épuisé d’ici 2026.

Il est probable que le secteur de l’IA atteigne le mur des données même plus tôt. L’essor de l’IA générative au cours des dernières années a accru les tensions autour de la propriété et du droit d’auteur des informations. Plus de propriétaires de sites Web utilisent le protocole d’exclusion des robots — une norme qui utilise un fichier robots.txt pour bloquer les crawlers Web — ou rendent clair que leur site est hors limite.

Une étude publiée en 2024 par un groupe de recherche dirigé par le MIT a révélé que les restrictions sur l’ensemble de données Colossal Cleaned Common Crawl (C4) — un grand corpus de crawl Web — sont en augmentation. Plus de 28 % des sources les plus actives et les plus critiques dans C4 étaient entièrement restreintes. De plus, 45 % de C4 sont désormais désignés comme hors limite par les conditions de service.

Si les entreprises respectent ces restrictions, la fraîcheur, la pertinence et l’exactitude des faits publics du monde réel déclineront, les obligeant à s’appuyer sur des bases de données artificielles. Ils n’auront peut-être pas beaucoup de choix si les tribunaux décident que toute alternative constitue une violation du droit d’auteur.

Le futur des données synthétiques et des hallucinations de l’IA

À mesure que les lois sur le droit d’auteur évoluent et que plus de propriétaires de sites Web cachent leur contenu des crawlers Web, la génération de jeux de données artificiels deviendra de plus en plus populaire. Les organisations doivent se préparer à faire face à la menace des hallucinations.