Mover modelos de lenguaje grande (LLM) a aplicaciones comerciales del mundo real

Los modelos de lenguaje grande están en todas partes. Cada conversación con un cliente o una presentación de VC implica preguntas sobre cuán listo está la tecnología LLM y cómo impulsará las aplicaciones futuras. Cubrí algunos patrones sobre esto en mi publicación anterior. Aquí hablaré sobre algunos patrones del mundo real para una aplicación en la industria farmacéutica que Persistent Systems trabajó.

Modelos de lenguaje grande y fortalezas básicas

Los LLM son buenos para entender el lenguaje, esa es su fortaleza. El patrón más común que estamos viendo con las aplicaciones es la generación aumentada de recuperación (RAG), donde el conocimiento se compila externamente desde fuentes de datos y se proporciona en contexto como una llamada para que el LLM parafrasee una respuesta. En este caso, mecanismos de búsqueda super rápidos como bases de datos vectoriales y motores basados en Elasticsearch sirven como una primera línea de búsqueda. Luego, los resultados de la búsqueda se compilan en una llamada y se envían al LLM principalmente como una llamada de API.

Otro patrón es generar una consulta en datos estructurados alimentando al LLM con un modelo de datos como llamada y una consulta de usuario específica. Este patrón podría usarse para desarrollar una interfaz avanzada “hablar con sus datos” para bases de datos SQL como Snowflake, así como bases de datos de grafos como Neo4j.

Aprovechando patrones de LLM para obtener conocimientos del mundo real

Persistent Systems examinó recientemente un patrón para Blast Motion, una empresa de telemetría deportiva (análisis de swing para béisbol, golf, etc.), donde analizamos datos de series temporales de resúmenes de jugadores para obtener recomendaciones.

Para aplicaciones más complejas, a menudo necesitamos encadenar las solicitudes de LLM con el procesamiento entre llamadas. Para una empresa farmacéutica, desarrollamos una aplicación inteligente de ensayos clínicos que filtra a los pacientes para ensayos clínicos según los criterios extraídos del documento del ensayo clínico. Aquí usamos un enfoque de cadena de LLM. Primero, desarrollamos un LLM para leer el documento del ensayo clínico en PDF y usar el patrón RAG para extraer los criterios de inclusión y exclusión.

Para esto, se utilizó un LLM relativamente más simple como GPT-3.5-Turbo (ChatGPT). Luego, combinamos estas entidades extraídas con el modelo de datos de la base de datos SQL de pacientes en Snowflake, para crear una llamada. Esta llamada se alimenta a un LLM más potente como GPT4, lo que nos da una consulta SQL para filtrar a los pacientes, lista para ejecutarse en Snowflake. Dado que usamos la cadena de LLM, podemos usar varios LLM para cada paso de la cadena, lo que nos permite gestionar el costo.

Actualmente, decidimos mantener esta cadena determinista para un mejor control. Es decir, decidimos tener más inteligencia en las cadenas y mantener la orquestación muy simple y predecible. Cada elemento de la cadena es una aplicación compleja por sí misma que tomaría varios meses desarrollar en los días previos a LLM.

Impulsar casos de uso más avanzados

Para un caso más avanzado, podríamos usar agentes como ReAct para que el LLM cree instrucciones paso a paso para seguir una consulta de usuario específica. Esto, por supuesto, necesitaría un LLM de alto rendimiento como GPT4 o Cohere o Claude 2. Sin embargo, entonces hay un riesgo de que el modelo tome un paso incorrecto que necesitará ser verificado utilizando guardias. Esto es un trade-off entre mover la inteligencia en enlaces controlables de la cadena o hacer que toda la cadena sea autónoma.

Hoy en día, a medida que nos acostumbramos a la era de la inteligencia artificial generativa para el lenguaje, la industria está empezando a adoptar aplicaciones de LLM con cadenas predecibles. A medida que esta adopción crece, pronto empezaremos a experimentar con más autonomía para estas cadenas a través de agentes. Eso es lo que se debate sobre la IA general y estamos interesados en ver cómo todo esto evoluciona con el tiempo.