IAG et IA du futur
Le paysage évolutif de l’IA générative : une étude sur les mélanges d’experts, la multimodalité et la quête de l’IAG
Ajouter Unite.AI à vos sources préférées sur Google
Le domaine de l’intelligence artificielle (IA) a connu une croissance considérable en 2023. L’IA générative, qui se concentre sur la création de contenus réalistes tels que des images, de l’audio, de la vidéo et du texte, a été à la pointe de ces progrès. Des modèles comme DALL-E 3, Stable Diffusion et ChatGPT ont démontré de nouvelles capacités créatives, mais ont également soulevé des préoccupations concernant l’éthique, les biais et les mauvaises utilisations.
Alors que l’IA générative continue d’évoluer à un rythme rapide, les mélanges d’experts (MoE), l’apprentissage multimodal et les aspirations vers l’intelligence artificielle générale (IAG) semblent être les prochaines frontières de la recherche et des applications. Cet article fournira une étude complète de l’état actuel et de la trajectoire future de l’IA générative, en analysant comment les innovations comme Google’s Gemini et les projets anticipés comme OpenAI’s Q* transforment le paysage. Il examinera les implications réelles dans les domaines de la santé, de la finance, de l’éducation et d’autres domaines, tout en mettant en évidence les défis émergents autour de la qualité de la recherche et de l’alignement de l’IA avec les valeurs humaines.
La sortie de ChatGPT à la fin de 2022 a particulièrement suscité un regain d’excitation et de préoccupations autour de l’IA, allant de ses capacités impressionnantes en traitement du langage naturel à son potentiel de diffuser des informations fausses. Pendant ce temps, le nouveau modèle Gemini de Google démontre une capacité conversationnelle substantiellement améliorée par rapport à ses prédécesseurs comme LaMDA, grâce à des avancées comme l’attention spike-and-slab. Les projets présumés comme OpenAI’s Q* laissent supposer une combinaison de l’IA conversationnelle avec l’apprentissage par renforcement.
Ces innovations signalent une priorité déplacée vers des modèles génératifs multimodaux et polyvalents. Les concurrences continuent de s’intensifier entre les entreprises comme Google, Meta, Anthropic et Cohere qui cherchent à repousser les limites du développement de l’IA responsable.
L’évolution de la recherche en IA
À mesure que les capacités ont augmenté, les tendances et les priorités de la recherche ont également changé, souvent en correspondance avec des jalons technologiques. La montée de l’apprentissage profond a ravivé l’intérêt pour les réseaux de neurones, tandis que le traitement du langage naturel a connu un essor avec des modèles de type ChatGPT. Pendant ce temps, l’attention portée à l’éthique persiste comme une priorité constante au milieu des progrès rapides.
Les dépôts de prépublications comme arXiv ont également connu une croissance exponentielle des soumissions d’IA, permettant une diffusion plus rapide mais réduisant la révision par les pairs et augmentant le risque d’erreurs ou de biais non vérifiés. L’interaction entre la recherche et l’impact réel reste complexe, nécessitant des efforts plus coordonnés pour guider les progrès.
MoE et systèmes multimodaux – La prochaine vague de l’IA générative
Pour permettre des IA plus polyvalentes et sophistiquées à travers diverses applications, deux approches gagnent en importance : les mélanges d’experts (MoE) et l’apprentissage multimodal.
Les architectures MoE combinent plusieurs réseaux de neurones spécialisés « experts » optimisés pour différentes tâches ou types de données. Google’s Gemini utilise MoE pour maîtriser à la fois les échanges conversationnels longs et les réponses concises aux questions. MoE permet de gérer une plus grande variété d’entrées sans augmenter la taille du modèle.
Les systèmes multimodaux comme Google’s Gemini établissent de nouvelles références en traitant des modalités variées au-delà du texte seul. Cependant, réaliser le potentiel de l’IA multimodale nécessite de surmonter des obstacles techniques et éthiques clés.
Gemini : Redéfinir les références en multimodalité
Gemini est un modèle conversationnel multimodal, conçu pour comprendre les liens entre le texte, les images, l’audio et la vidéo. Sa structure à double encodeur, son attention cross-modale et sa décodage multimodal permettent une compréhension contextuelle sophistiquée. Gemini est censé dépasser les systèmes à encodeur unique dans l’association de concepts textuels avec des régions visuelles. En intégrant des connaissances structurées et une formation spécialisée, Gemini dépasse ses prédécesseurs comme GPT-3 et GPT-4 en :
- La largeur des modalités traitées, y compris l’audio et la vidéo
- Les performances sur des références comme la compréhension massive du langage
- La génération de code à travers les langages de programmation
- La scalabilité via des versions personnalisées comme Gemini Ultra et Nano
- La transparence à travers les justifications des sorties
Obstacles techniques dans les systèmes multimodaux
La réalisation d’une IA multimodale robuste nécessite de résoudre des problèmes de diversité des données, de scalabilité, d’évaluation et d’interprétabilité. Les ensembles de données déséquilibrés et les incohérences d’annotation conduisent à des biais. Le traitement de plusieurs flux de données sollicite les ressources de calcul, exigeant des architectures de modèle optimisées. Des progrès dans les mécanismes d’attention et les algorithmes sont nécessaires pour intégrer des entrées multimodales contradictoires. Les problèmes de scalabilité persistent en raison de la charge computationnelle importante. L’amélioration des métriques d’évaluation via des références complètes est cruciale. L’amélioration de la confiance de l’utilisateur via une IA explicite reste également vitale. La résolution de ces obstacles techniques sera clé pour débloquer les capacités de l’IA multimodale.
Des techniques d’apprentissage avancées comme l’apprentissage auto-supervisé, l’apprentissage meta et la fine-tuning sont à la pointe de la recherche en IA, améliorant l’autonomie, l’efficacité et la polyvalence des modèles d’IA.
Apprentissage auto-supervisé : Autonomie dans la formation de modèle
L’apprentissage auto-supervisé met l’accent sur la formation autonome de modèle en utilisant des données non étiquetées, réduisant ainsi les efforts d’étiquetage manuel et les biais de modèle. Il intègre des modèles génératifs comme les auto-encodeurs et les GAN pour l’apprentissage de la distribution des données et la reconstruction des entrées, et utilise des méthodes contrastives comme SimCLR et MoCo pour différencier les paires d’échantillons positives et négatives. Les stratégies d’auto-prédiction, inspirées par le traitement du langage naturel et améliorées par les récents Vision Transformers, jouent un rôle important dans l’apprentissage auto-supervisé, démontrant son potentiel pour faire progresser les capacités d’apprentissage autonome de l’IA.
Apprentissage meta
L’apprentissage meta, ou « apprentissage à apprendre », se concentre sur l’équipement des modèles d’IA avec la capacité de s’adapter rapidement à de nouvelles tâches en utilisant des échantillons de données limités. Cette technique est cruciale dans les situations où les données sont rares, garantissant que les modèles puissent s’adapter et performer sur une large gamme de tâches avec un minimum de données, soulignant son importance dans le développement de systèmes d’IA polyvalents et adaptables.
Fine-tuning : Personnalisation de l’IA pour des besoins spécifiques
La fine-tuning consiste à adapter des modèles pré-entraînés à des domaines ou à des préférences d’utilisateur spécifiques. Ses deux principales approches comprennent la fine-tuning de bout en bout, qui ajuste tous les poids de l’encodeur et du classifieur, et la fine-tuning d’extraction de fonctionnalités, où les poids de l’encodeur sont gelés pour la classification en aval. Cette technique garantit que les modèles génératifs sont efficacement adaptés à des besoins ou à des exigences de domaine spécifiques, améliorant leur applicabilité dans divers contextes.
Alignement des valeurs humaines : Harmonisation de l’IA avec l’éthique
L’alignement des valeurs humaines se concentre sur l’alignement des modèles d’IA avec les valeurs éthiques humaines, garantissant que leurs décisions reflètent les normes et les standards éthiques de la société. Cet aspect est crucial dans les scénarios où l’IA interagit étroitement avec les humains, comme dans les soins de santé et les assistants personnels, pour garantir que les systèmes d’IA prennent des décisions éthiques et socialement responsables.
Développement de l’IAG
L’IAG se concentre sur le développement d’une IA dotée d’une compréhension holistique et d’une capacité de raisonnement complexe, alignée sur les capacités cognitives humaines. Cette aspiration à long terme pousse continuellement les limites de la recherche et du développement de l’IA. La sécurité et la contention de l’IAG abordent les risques potentiels associés aux systèmes d’IA avancés, soulignant la nécessité de protocoles de sécurité rigoureux et d’un alignement éthique avec les valeurs humaines et les normes sociétales.
L’innovant MoE
L’architecture de modèle MoE représente une avancée significative dans les modèles de langage basés sur les transformateurs, offrant une scalabilité et une efficacité sans précédent. Les modèles MoE, comme le Switch Transformer et Mixtral, redéfinissent rapidement l’échelle et les performances des modèles sur diverses tâches de langage.
Concept de base
Les modèles MoE utilisent une architecture à base de parcimonie avec plusieurs réseaux de neurones experts et un mécanisme de contrôle trainable, optimisant les ressources computationnelles et s’adaptant à la complexité des tâches. Ils démontrent des avantages substantiels dans la vitesse de pré-entraînement mais font face à des défis dans la fine-tuning et nécessitent une grande quantité de mémoire pour l’inférence.
Les modèles MoE sont connus pour leur vitesse de pré-entraînement supérieure, avec des innovations comme DeepSpeed-MoE qui optimisent l’inférence pour atteindre une meilleure latence et une efficacité coût. Les récentes avancées ont effectivement résolu le goulet d’étranglement de la communication tout-à-tout, améliorant l’efficacité de la formation et de l’inférence.
Assemblage des briques pour l’intelligence artificielle générale
L’IAG représente la possibilité hypothétique de l’IA égalant ou dépassant l’intelligence humaine dans n’importe quel domaine. Alors que l’IA moderne excelle dans des tâches étroites, l’IAG reste loin et controversée compte tenu de ses risques potentiels.
Cependant, les progrès incrémentiels dans des domaines comme l’apprentissage de transfert, la formation multitâche, la capacité conversationnelle et l’abstraction rapprochent progressivement de la vision ambitieuse de l’IAG. Le projet spéculatif Q* d’OpenAI vise à intégrer l’apprentissage par renforcement dans les modèles de langage, comme une autre étape en avant.
Frontières éthiques et risques de manipulation des modèles d’IA
Les jailbreaks permettent aux attaquants de contourner les frontières éthiques établies lors du processus de fine-tuning de l’IA. Cela entraîne la génération de contenus nuisibles comme la désinformation, les discours de haine, les emails de phishing et les codes malveillants, posant des risques pour les individus, les organisations et la société dans son ensemble. Par exemple, un modèle jailbroken pourrait produire du contenu qui promeut des récits divisifs ou soutient les activités cybercriminelles. (En savoir plus)
Bien qu’il n’y ait pas eu d’attaques cybernétiques signalées utilisant des jailbreaks jusqu’à présent, de multiples preuves de concept de jailbreaks sont facilement disponibles en ligne et à la vente sur le dark web. Ces outils fournissent des invites conçues pour manipuler les modèles d’IA comme ChatGPT, permettant potentiellement aux hackers de faire fuiter des informations sensibles via les chatbots d’entreprise. La prolifération de ces outils sur des plateformes comme les forums de cybercriminalité souligne l’urgence de traiter cette menace. (Lire la suite)
Mitigation des risques de jailbreak
Pour contrer ces menaces, une approche multifacette est nécessaire :
- Fine-tuning robuste : L’inclusion de données diverses dans le processus de fine-tuning améliore la résistance du modèle à la manipulation adversative.
- Formation adversative : La formation avec des exemples adversatifs améliore la capacité du modèle à reconnaître et à résister aux entrées manipulées.
- Évaluation régulière : La surveillance continue des sorties aide à détecter les déviations par rapport aux lignes directrices éthiques.
- Supervision humaine : L’implication de réviseurs humains ajoute une couche de sécurité supplémentaire.
Menaces alimentées par l’IA : L’exploitation de l’hallucination
L’hallucination de l’IA, où les modèles génèrent des sorties non fondées sur leurs données d’entraînement, peut être utilisée comme une arme. Par exemple, des attaquants ont manipulé ChatGPT pour recommander des packages inexistantes, conduisant à la propagation de logiciels malveillants. Cela souligne la nécessité d’une vigilance continue et de contre-mesures robustes contre de telles exploitations. (Explorer plus loin)
Alors que les considérations éthiques entourant la poursuite de l’IAG restent controversées, sa poursuite aspirante continue d’influencer les directions de la recherche en IA générative – que les modèles actuels ressemblent à des pierres d’achoppement ou à des détours sur la route de l’IA de niveau humain.
