Relier les grands modèles de langage et les entreprises : LLMops

Les fondements des LLM tels que GPT-3 d’OpenAI ou son successeur GPT-4 reposent sur l’apprentissage profond, un sous-ensemble de l’IA, qui exploite des réseaux de neurones avec trois couches ou plus. Ces modèles sont formés sur des ensembles de données vastes et variés issus d’Internet. Grâce à la formation, les LLM apprennent à prédire le mot suivant dans une séquence, étant donné les mots qui les ont précédés. Cette capacité, simple dans son essence, sous-tend la capacité des LLM à générer du texte cohérent et pertinent sur des séquences étendues.

Les applications potentielles sont illimitées – de la rédaction d’e-mails, de la création de code, de la réponse à des questions, à même l’écriture créative. Cependant, avec une grande puissance vient une grande responsabilité, et la gestion de ces modèles géants dans un environnement de production n’est pas triviale. C’est là que LLMOps intervient, incarnant un ensemble de meilleures pratiques, d’outils et de processus pour assurer le fonctionnement fiable, sécurisé et efficace des LLM.

La feuille de route pour l’intégration des LLM comporte trois axes principaux :

1. Stimuler les LLM polyvalents :
   • Les modèles comme ChatGPT et Bard offrent un seuil de tolérance faible pour l’adoption avec des coûts initiaux minimaux, bien qu’avec un prix potentiel à long terme.
   • Cependant, les ombres de la confidentialité des données et de la sécurité planent, en particulier pour des secteurs comme la fintech et les soins de santé avec des cadres réglementaires stricts.
2. Affiner les LLM polyvalents :
   • Avec des modèles open source comme Llama, Falcon et Mistral, les organisations peuvent adapter ces LLM pour qu’ils résonnent avec leurs cas d’utilisation spécifiques avec seulement des ressources d’ajustement de modèle comme dépense.
   • Cette voie, tout en abordant les inquiétudes de confidentialité et de sécurité, exige une sélection de modèle plus approfondie, une préparation de données, un affinement, un déploiement et une surveillance.
   • La nature cyclique de cette voie nécessite un engagement durable, mais les innovations récentes comme LoRA (Low-Rank Adaptation) et Q(Quantized)-LoRa ont rationalisé le processus d’affinement, le rendant de plus en plus populaire.
3. Formation de LLM personnalisée :
   • Le développement d’un LLM à partir de zéro promet une précision sans pareil adaptée à la tâche en question. Cependant, les exigences élevées en expertise en IA, en ressources computationnelles, en données et en temps d’investissement posent des obstacles importants.

Parmi les trois, l’affinement des LLM polyvalents est l’option la plus favorable pour les entreprises. Créer un nouveau modèle de base peut coûter jusqu’à 100 millions de dollars, tandis que l’affinement des modèles existants varie entre 100 000 et 1 million de dollars. Ces chiffres proviennent de dépenses computationnelles, d’acquisition et d’étiquetage de données, ainsi que de dépenses d’ingénierie et de R&D.

LLMOps versus MLOps

Les opérations de machine learning (MLOps) ont été bien tracées, offrant un chemin structuré pour passer des modèles de machine learning (ML) du développement à la production. Cependant, avec l’émergence des grands modèles de langage (LLM), un nouveau paradigme opérationnel, appelé LLMOps, a émergé pour relever les défis uniques liés au déploiement et à la gestion des LLM. La différenciation entre LLMOps et MLOps repose sur plusieurs facteurs :

1. Ressources computationnelles :
   • Les LLM exigent une puissance computationnelle considérable pour la formation et l’affinement, nécessitant souvent du matériel spécialisé comme des GPU pour accélérer les opérations parallèles de données.
   • Le coût de l’inférence souligne encore l’importance des techniques de compression et de distillation de modèle pour réduire les dépenses computationnelles.
2. Apprentissage par transfert :
   • Contrairement aux modèles ML conventionnels souvent formés à partir de zéro, les LLM s’appuient fortement sur l’apprentissage par transfert, en commençant par un modèle pré-formé et en l’affinant pour des tâches de domaine spécifiques.
   • Cette approche économise des données et des ressources computationnelles tout en atteignant des performances de pointe.
3. Boucle de rétroaction humaine :
   • L’amélioration itérative des LLM est considérablement stimulée par l’apprentissage par renforcement à partir de la rétroaction humaine (RLHF).
   • L’intégration d’une boucle de rétroaction dans les pipelines LLMOps non seulement simplifie l’évaluation mais alimente également le processus d’affinement.
4. Ajustement des hyperparamètres :
   • Alors que le ML classique met l’accent sur l’amélioration de la précision via l’ajustement des hyperparamètres, dans l’arène des LLM, l’accent est également mis sur la réduction des exigences computationnelles.
   • L’ajustement de paramètres tels que les tailles de lots et les taux d’apprentissage peut marquement altérer la vitesse de formation et les coûts.
5. Métriques de performance :
   • Les modèles ML traditionnels adhèrent à des métriques de performance bien définies comme la précision, l’AUC ou le score F1, tandis que les LLM ont des ensembles de métriques différents comme BLEU et ROUGE.
   • BLEU et ROUGE sont des métriques utilisées pour évaluer la qualité des traductions et des résumés générés par machine. BLEU est principalement utilisé pour les tâches de traduction automatique, tandis que ROUGE est utilisé pour les tâches de résumé de texte.
   • BLEU mesure la précision, ou la mesure dans laquelle les mots des résumés générés par machine apparaissent dans les résumés de référence humains. ROUGE mesure le rappel, ou la mesure dans laquelle les mots des résumés de référence humains apparaissent dans les résumés générés par machine.
6. Ingénierie de prompt :
   • L’ingénierie de prompts précis est vitale pour éliciter des réponses précises et fiables des LLM, en atténuant les risques tels que la hallucination de modèle et le piratage de prompt.
7. Construction de pipelines LLM :
   • Des outils comme LangChain ou LlamaIndex permettent l’assemblage de pipelines LLM, qui entrelacent plusieurs appels LLM ou interactions avec des systèmes externes pour des tâches complexes comme les questions-réponses de base de connaissances.

https://www.fiddler.ai/llmops

Comprendre le flux de travail LLMOps : Une analyse approfondie

Les opérations de modèle de langage, ou LLMOps, sont similaires à la colonne vertébrale des grands modèles de langage, assurant un fonctionnement et une intégration sans heurts à travers diverses applications. Alors que cela semble une variante de MLOps ou de DevOps, LLMOps a des nuances uniques qui répondent aux exigences des grands modèles de langage. Plongeons dans le flux de travail LLMOps illustré, en explorant chaque étape de manière exhaustive.

1. Données de formation :
   • L’essence d’un modèle de langage réside dans ses données de formation. Cette étape consiste à collecter des ensembles de données, à les nettoyer, à les équilibrer et à les annoter correctement. La qualité et la diversité des données ont un impact significatif sur la précision et la polyvalence du modèle. Dans LLMOps, l’accent est mis non seulement sur le volume mais également sur l’alignement avec l’utilisation prévue du modèle.
2. Modèle de base open source :
   • L’illustration fait référence à un « Modèle de base open source », un modèle pré-formé souvent publié par des entités leaders en IA. Ces modèles, formés sur de grands ensembles de données, servent d’excellent point de départ, économisant du temps et des ressources, permettant l’affinement pour des tâches spécifiques plutôt que la formation à partir de zéro.
3. Formation / Affinement :
   • Avec un modèle de base et des données de formation spécifiques, l’affinement suit. Cette étape affine le modèle pour des objectifs spécialisés, comme l’affinement d’un modèle de texte général avec de la littérature médicale pour des applications de soins de santé. Dans LLMOps, un affinement rigoureux avec des vérifications constantes est crucial pour prévenir la sur-ajustement et assurer une bonne généralisation aux données non vues.
4. Modèle formé :
   • À la suite de l’affinement, un modèle formé prêt pour le déploiement émerge. Ce modèle, une version améliorée du modèle de base, est maintenant spécialisé pour une application particulière. Il peut être open source, avec des poids et une architecture accessibles au public, ou propriétaire, conservé privé par l’organisation.
5. Déploiement :
   • Le déploiement implique l’intégration du modèle dans un environnement de production pour le traitement de requêtes du monde réel. Cela implique des décisions concernant l’hébergement, soit sur site, soit sur des plateformes cloud. Dans LLMOps, les considérations autour de la latence, des coûts computationnels et de l’accessibilité sont cruciales, ainsi que l’assurance que le modèle s’adapte bien pour de nombreuses requêtes simultanées.
6. Prompt :
   • Dans les modèles de langage, un prompt est une requête ou une déclaration d’entrée. La création de prompts efficaces, souvent nécessitant une compréhension du comportement du modèle, est vitale pour éliciter les sorties souhaitées lorsque le modèle traite ces prompts.
7. Magasin d’incrustations ou bases de données vectorielles :
   • À la suite du traitement, les modèles peuvent renvoyer plus que des réponses textuelles simples. Les applications avancées peuvent nécessiter des incrustations – des vecteurs à haute dimension représentant le contenu sémantique. Ces incrustations peuvent être stockées ou proposées comme service, permettant un accès ou une comparaison rapides d’informations sémantiques, enrichissant la manière dont les capacités des modèles sont exploitées au-delà de la simple génération de texte.
8. Modèle déployé (auto-hébergé ou API) :
   • Une fois traité, la sortie du modèle est prête. Selon la stratégie, les sorties peuvent être accessibles via une interface auto-hébergée ou une API, la première offrant plus de contrôle à l’organisation hôte, et la seconde offrant une scalabilité et une intégration facile pour les développeurs tiers.
9. Sorties :
   • Cette étape produit le résultat tangible du flux de travail. Le modèle prend un prompt, le traite et renvoie une sortie, qui, selon l’application, peut être des blocs de texte, des réponses, des histoires générées ou même des incrustations comme discuté.

Les meilleures startups LLM

Le paysage des opérations de grands modèles de langage (LLMOps) a vu l’émergence de plateformes et de startups spécialisées. Voici deux startups et leurs descriptions liées à l’espace LLMOps :

Comet

Comet rationalise le cycle de vie de l’apprentissage automatique, en particulier pour le développement de grands modèles de langage. Il offre des installations pour suivre les expériences et gérer les modèles de production. La plateforme est adaptée aux grandes équipes d’entreprise, offrant diverses stratégies de déploiement, y compris les configurations privées, hybrides et sur site.

Dify

Dify est une plateforme LLMOps open source qui aide au développement d’applications d’IA utilisant de grands modèles de langage comme GPT-4. Elle présente une interface utilisateur conviviale et fournit un accès fluide aux modèles, un contrôle des coûts, des capacités d’annotation de données et d’embarquement de contexte. Les utilisateurs peuvent gérer leurs modèles visuellement et utiliser des documents, du contenu Web ou des notes Notion comme contexte d’IA, que Dify gère pour le prétraitement et d’autres opérations.

Portkey.ai

Portkey.ai est une startup indienne spécialisée dans les opérations de modèle de langage (LLMOps). Avec un financement initial de 3 millions de dollars mené par Lightspeed Venture Partners, Portkey.ai offre des intégrations avec des grands modèles de langage importants comme ceux d’OpenAI et d’Anthropic. Ses services sont destinés aux entreprises d’IA générative, en se concentrant sur l’amélioration de leur pile d’exploitation LLM, qui comprend des tests de canari en temps réel et des capacités d’affinement de modèle.