Comment les grands modèles de langage (LLM) alimenteront les applications de demain

Le modèle de langage génératif et plus particulièrement la variante langage – ChatGPT est partout. La technologie de grand modèle de langage (LLM) jouera un rôle important dans le développement des applications futures. Les LLM sont très bons pour comprendre le langage en raison de l’entraînement préalable extensif qui a été effectué pour les modèles de base sur des milliards de lignes de texte de domaine public, y compris le code. Des méthodes telles que l’ajustement fin supervisé et l’apprentissage renforcé avec une rétroaction humaine (RLHF) rendent ces LLM encore plus efficaces pour répondre à des questions spécifiques et discuter avec les utilisateurs. Alors que nous entrons dans la prochaine phase d’applications d’IA alimentées par les LLM, les composants clés suivants seront cruciaux pour ces applications de nouvelle génération. La figure ci-dessous montre cette progression, et à mesure que vous montez dans la chaîne, vous construisez plus d’intelligence et d’autonomie dans vos applications. Examinons ces différents niveaux.

Appels LLM:

Ce sont des appels directs aux modèles de complétion ou de conversation par un fournisseur LLM comme Azure OpenAI ou Google PaLM ou Amazon Bedrock. Ces appels ont une invite très basique et utilisent principalement la mémoire interne du LLM pour produire la sortie.

Exemple: Demander à un modèle de base comme « text-davinci » de « raconter une blague ». Vous donnez très peu de contexte et le modèle s’appuie sur sa mémoire pré-entraînée interne pour trouver une réponse (surlignée en vert dans la figure ci-dessous – en utilisant Azure OpenAI).

Invites:

Le niveau d’intelligence suivant consiste à ajouter de plus en plus de contexte aux invites. Il existe des techniques d’ingénierie d’invite qui peuvent être appliquées aux LLM pour leur faire donner des réponses personnalisées. Par exemple, lors de la génération d’un e-mail à un utilisateur, certains contextes sur l’utilisateur, les achats précédents et les modèles de comportement peuvent servir d’invite pour personnaliser l’e-mail. Les utilisateurs familiers avec ChatGPT connaissent différentes méthodes d’invitation, comme donner des exemples qui sont utilisés par le LLM pour construire la réponse. Les invites complètent la mémoire interne du LLM avec un contexte supplémentaire. Exemple ci-dessous.

Intégrations:

Les intégrations portent les invites au niveau suivant en recherchant un magasin de connaissances pour le contexte et en obtenant ce contexte et en l’ajoutant à l’invite. Ici, la première étape consiste à créer un grand magasin de documents avec du texte non structuré pouvant être recherché en indexant le texte et en peuplant une base de données de vecteurs. Pour cela, un modèle d’intégration comme « ada » d’OpenAI est utilisé, qui prend un morceau de texte et le convertit en un vecteur à n dimensions. Ces intégrations capturent le contexte du texte, de sorte que les phrases similaires auront des intégrations proches les unes des autres dans l’espace vectoriel. Lorsqu’un utilisateur saisit une requête, la requête est également convertie en intégration et que le vecteur est comparé aux vecteurs de la base de données. Ainsi, nous obtenons les 5 ou 10 morceaux de texte les plus correspondants à la requête, qui forment le contexte. La requête et le contexte sont transmis au LLM pour répondre à la question de manière humaine.

Chaînes:

Aujourd’hui, les chaînes sont la technologie la plus avancée et la plus mature disponible, qui est largement utilisée pour construire des applications LLM. Les chaînes sont déterministes où une séquence d’appels LLM est jointe avec la sortie de l’un des LLM. Par exemple, nous pourrions avoir un appel LLM qui interroge une base de données SQL et obtient une liste d’e-mails de clients et envoie cette liste à un autre LLM qui générera des e-mails personnalisés aux clients. Ces chaînes LLM peuvent être intégrées dans les flux d’applications existants pour générer des résultats plus précieux. En utilisant les chaînes, nous pourrions compléter les appels LLM avec des entrées externes comme des appels d’API et des intégrations avec des graphes de connaissances pour fournir un contexte. De plus, aujourd’hui, avec de nombreux fournisseurs LLM disponibles comme OpenAI, AWS Bedrock, Google PaLM, MosaicML, etc., nous pourrions combiner et faire correspondre les appels LLM dans les chaînes. Pour les éléments de chaîne avec une intelligence limitée, un LLM inférieur comme « gpt3.5-turbo » pourrait être utilisé, tandis que pour des tâches plus avancées, « gpt4 » pourrait être utilisé. Les chaînes offrent une abstraction pour les données, les applications et les appels LLM.

Agents:

Les agents sont un sujet de nombreux débats en ligne, en particulier en ce qui concerne l’intelligence artificielle générale (AGI). Les agents utilisent un LLM avancé comme « gpt4 » ou « PaLM2 » pour planifier des tâches plutôt que d’avoir des chaînes prédéfinies. Ainsi, lorsque des demandes d’utilisateurs sont reçues, en fonction de la requête, l’agent décide de l’ensemble de tâches à appeler et construit dynamiquement une chaîne. Par exemple, lorsque nous configurons un agent avec une commande comme « notifier les clients lorsque le taux d’APR des prêts change en raison d’une mise à jour de la réglementation gouvernementale ». Le cadre de l’agent effectue un appel LLM pour décider des étapes à suivre ou des chaînes à construire. Ici, cela impliquera d’appeler une application qui scrape les sites Web réglementaires et extrait le dernier taux d’APR, puis un appel LLM recherche la base de données et extrait les e-mails des clients qui sont affectés, et enfin un e-mail est généré pour notifier tout le monde.

Pensées finales

Le LLM est une technologie en constante évolution et de meilleurs modèles et applications sont lancés chaque semaine. LLM vers les agents est l’échelle d’intelligence et à mesure que nous montons, nous construisons des applications autonomes complexes. De meilleurs modèles signifieront des agents plus efficaces et les applications de nouvelle génération seront alimentées par ceux-ci. Le temps dira à quel point les prochaines applications seront avancées et quels modèles elles seront alimentées par.