OpenAI va publier une version commerciale du célèbre modèle de génération de texte

Le laboratoire de recherche en intelligence artificielle OpenAI va rendre son outil de génération de texte célèbre GPT-3 disponible à l’achat, marquant le premier produit commercial produit par l’organisation à but non lucratif de l’apprentissage automatique.

En février de l’année dernière, OpenAI a rendu son modèle de génération de texte GPT-2 open source. GPT-2 était capable de générer un texte cohérent de manière impressionnante lorsqu’il était fourni avec une brève invite, et le modèle était considéré comme un pas important en avant dans les domaines du traitement automatique des langues et de l’intelligence artificielle. En fait, OpenAI a initialement refusé de publier le modèle GPT-2, affirmant qu’il était trop dangereux pour une publication open source, craignant une utilisation abusive. Cependant, après qu’une version du modèle ait été disponible pendant un certain temps, et que l’organisation à but non lucratif n’ait pas vu de preuve d’utilisation malveillante, la décision a été prise de rendre le modèle open source. Récemment, OpenAI a annoncé la suite de GPT-2, baptisée GPT-3.

Le modèle GPT-3 est environ 100 fois plus grand que son prédécesseur, et c’est ce modèle que l’entreprise propose comme produit commercial. Le modèle GPT-2 était composé d’environ 1,5 milliard de paramètres, tandis que GPT-3 est composé d’environ 175 milliards de paramètres. La sophistication et la fiabilité de la série de modèles GPT ont conduit les modèles à devenir la norme pour les projets d’apprentissage automatique impliquant du texte. Tout comme les réseaux de neurones convolutionnels sont devenus le modèle par défaut pour les projets liés aux images, les projets liés au texte utilisent de plus en plus GPT-2, et peut-être bientôt GPT-3.

Comme le rapporte The Verge, OpenAI semble vouloir faire avancer l’adoption d’une norme GPT en rendant son modèle GPT-3 commercialement disponible. Actuellement, l’accès à l’API GPT-3 est réservé aux invités. Cependant, il s’agit probablement d’un test et il est probable que GPT-3 soit rendu plus largement disponible plus tôt que plus tard. OpenAI a déclaré qu’il allait vérifier les clients de ses modèles pour prévenir l’abus de la technologie à des fins non éthiques comme le spam, la création de fausses informations ou le harcèlement.

Il est quelque peu incertain de savoir exactement comment GPT-3 est destiné à être utilisé par les clients. Cela est en partie dû au fait que GPT-3 est si flexible et a autant d’applications potentielles. Les modèles basés sur GPT peuvent être affinés au besoin pour générer du texte approprié pour des tâches spécifiques. Le modèle est capable de s’adapter à une grande variété de invites et de styles d’entrée différents, ce qui signifie qu’il pourrait être utilisé pour créer des outils de résumé de texte, répondre à des questions simples ou servir de base pour un chatbot sophistiqué. Comme l’a expliqué Greg Brockman, directeur technique d’OpenAI, à Wired :

« Le grand changement mental, c’est qu’il est beaucoup plus comme parler à un humain que de formater des choses pour une machine », déclare Greg Brockman, directeur technique d’OpenAI. « Vous lui donnez quelques questions et réponses et soudain, il est en mode Q&A. »

Il est inconnu de savoir exactement à quel point les modèles commerciaux dérivés de GPT-3 seront fiables. Bien que GPT-3 puisse générer un langage syntaxiquement correct et naturel, il manque d’une compréhension intuitive du monde réel et de la façon dont les concepts se rapportent les uns aux autres. Cela pourrait s’avérer problématique pour les utilisations où la préservation du contexte est particulièrement importante, comme les chatbots conçus pour le support client.

Joe Davison, ingénieur de recherche chez Hugging Face, a déclaré à Digital Trends que la taille considérable de GPT-3 pourrait limiter ses utilisations potentielles. Davison a fait valoir que même si OpenAI a avancé de manière significative l’état de l’art en matière de génération de texte, en démontrant que la création de modèles à usage général peut réduire le besoin de données spécifiques à une tâche, les ressources de calcul nécessaires pour utiliser GPT-3 la rendent assez impraticable pour de nombreuses entreprises.

OpenAI était initialement une entreprise à but non lucratif, mais depuis 2019, le laboratoire est passé à un modèle à but lucratif. GPT-3 est le premier produit commercial important produit par le laboratoire, et il reste à voir si le passage à un modèle à but lucratif modifiera les priorités de recherche d’OpenAI.