Déplacer les grands modèles de langage (LLM) vers des applications métier du monde réel

Les grands modèles de langage sont partout. Chaque conversation avec un client ou une présentation de VC implique des questions sur la préparation de la technologie LLM et sur la façon dont elle entraînera des applications futures. J’ai abordé certains modèles à ce sujet dans mon précédent article. Ici, je vais parler de certains modèles du monde réel pour une application dans l’industrie pharmaceutique sur laquelle Persistent Systems a travaillé.

Les grands modèles de langage et les forces principales

Les LLM sont bons pour comprendre le langage, c’est leur force. Le modèle le plus courant que nous voyons avec les applications est la génération augmentée de récupération (RAG), où les connaissances sont compilées à partir de sources de données et fournies dans le contexte d’une invite pour que le LLM paraphrase une réponse. Dans ce cas, des mécanismes de recherche ultra-rapides comme les bases de données vectorielles et les moteurs basés sur Elasticsearch servent de première ligne de recherche. Ensuite, les résultats de la recherche sont compilés dans une invite et envoyés au LLM, principalement sous forme d’appel d’API.

Un autre modèle est la génération d’une requête sur des données structurées en alimentant le LLM avec un modèle de données en tant qu’invite et une requête spécifique de l’utilisateur. Ce modèle pourrait être utilisé pour développer une interface avancée “parlez à vos données” pour les bases de données SQL comme Snowflake, ainsi que pour les bases de données graphiques comme Neo4j.

Exploitation des modèles LLM pour des insights du monde réel

Persistent Systems a récemment examiné un modèle pour Blast Motion, une société de télémétrie sportive (analyse de swing pour le baseball, le golf, etc.), où nous avons analysé des données de séries chronologiques de résumés de joueurs pour obtenir des recommandations.

Pour des applications plus complexes, nous devons souvent enchaîner les requêtes LLM avec un traitement entre les appels. Pour une société pharmaceutique, nous avons développé une application intelligente de traçage qui filtre les patients pour les essais cliniques en fonction des critères extraits des documents d’essai clinique. Ici, nous avons utilisé une approche de chaîne LLM. Tout d’abord, nous avons développé un LLM pour lire le document PDF d’essai et utiliser le modèle RAG pour extraire les critères d’inclusion et d’exclusion.

Cela a nécessité un LLM relativement plus simple comme GPT-3.5-Turbo (ChatGPT). Ensuite, nous avons combiné ces entités extraites avec le modèle de données de la base de données SQL des patients dans Snowflake, pour créer une invite. Cette invite a été alimentée à un LLM plus puissant comme GPT4, ce qui nous a donné une requête SQL pour filtrer les patients, prête à être exécutée sur Snowflake. Puisque nous utilisons l’enchaînement LLM, nous pouvons utiliser plusieurs LLM pour chaque étape de la chaîne, ce qui nous permet de gérer les coûts.

Actuellement, nous avons décidé de garder cette chaîne déterministe pour un meilleur contrôle. C’est-à-dire que nous avons décidé d’avoir plus d’intelligence dans les chaînes et de garder l’orchestration très simple et prévisible. Chaque élément de la chaîne est une application complexe en soi qui aurait pris quelques mois à développer dans les jours précédant les LLM.

Alimenter des cas d’utilisation plus avancés

Pour un cas plus avancé, nous pourrions utiliser des agents comme ReAct pour inciter le LLM à créer des instructions étape par étape à suivre pour une requête spécifique de l’utilisateur. Cela nécessiterait bien sûr un LLM de haute finition comme GPT4 ou Cohere ou Claude 2. Cependant, il y a alors un risque que le modèle prenne une étape incorrecte qui devra être vérifiée à l’aide de garde-fous. C’est un compromis entre déplacer l’intelligence dans des liens contrôlables de la chaîne ou rendre toute la chaîne autonome.

Aujourd’hui, alors que nous nous habituons à l’ère de l’IA générative pour le langage, l’industrie commence à adopter des applications LLM avec des chaînes prévisibles. À mesure que cette adoption grandit, nous allons bientôt commencer à expérimenter avec plus d’autonomie pour ces chaînes via des agents. C’est ce dont débat la question de l’AGI et nous sommes intéressés à voir comment tout cela évolue avec le temps.