Modèles et plateformes d’IA

GPT-2, Générateur de Texte d’Intelligence Artificielle Est Publié en Intégralité

mm
Publié le
Mis à jour le
Ajouter Unite.AI à vos sources préférées sur Google

Comme TheNextWeb (TNW) le rapporte, OpenAI, l’organisation à but non lucratif derrière de nombreux projets d’intelligence artificielle, vient de publier le modèle final de la version planifiée de GPT-2, un générateur de texte qui a suscité un débat considérable depuis son annonce en février.

Selon la publication de recherche d’OpenAI intitulée Les Modèles de Langage sont des Apprentis Multitâches Non Supervisés, « GPT-2 utilise l’apprentissage automatique pour générer du texte basé sur une entrée limitée. » Cela signifie qu’un utilisateur peut saisir une phrase ou deux sur n’importe quel sujet et que le générateur de texte créera un texte lié à l’entrée originale. En essence, comme le note TNW, contrairement à la plupart des « générateurs de texte », il ne produit pas de chaînes de caractères prédéfinies. GPT-2 crée du texte qui n’existait pas auparavant. »

Dans son tweet, Scott B. Weingart, directeur de programme de la bibliothèque de l’Université Carnegie Mellon, donne un exemple concret:

 

OpenAI s’est initialement inquiété des utilisations potentiellement malveillantes de son système, donc en février 2019, il a décidé de publier GPT-2 en quatre parties sur huit mois. Comme ils l’ont expliqué dans leur blog, « En raison de nos inquiétudes concernant les applications malveillantes de la technologie, nous ne publions pas le modèle formé. À titre d’expérience de divulgation responsable, nous publions plutôt un modèle beaucoup plus petit pour que les chercheurs puissent l’expérimenter, ainsi qu’un document technique. »

Comme expliqué, le modèle complet contient 1,5 milliard de paramètres. « Le plus de paramètres qu’un modèle est formé, plus il semble « intelligent » – comme les humains, la pratique rend parfait. »

TNW note que OpenAI a initialement publié un modèle avec 124 millions de paramètres, suivi de publications avec 355 et 774 millions de paramètres. Selon eux, après avoir testé les modèles publiés, « chaque itération a montré une amélioration significative des capacités par rapport aux itérations précédentes. »

Pour prévenir les abus, OpenAI a publié des modèles de détection GPT-2 qui sont censés « combattre les abus de manière préventive. » Selon leur propre admission dans un article de blog, ces modèles de détection ont encore besoin de travail supplémentaire pour atteindre le niveau de qualité atteint jusqu’à présent dans GPT-2 lui-même.

Ceux qui sont intéressés peuvent télécharger le modèle GPT-2 ici sur Github, consulter la carte du modèle ici, et lire l’article de blog d’OpenAI ici.

mm

Ancien diplomate et traducteur pour les Nations Unies, actuellement journaliste/écrivain/chercheur free-lance, se concentrant sur la technologie moderne, l'intelligence artificielle et la culture moderne.