Cómo los modelos de lenguaje grande (LLM) impulsarán las aplicaciones del futuro

IA generativa y, en particular, su sabor lingüístico: ChatGPT está en todas partes. La tecnología Large Language Model (LLM) desempeñará un papel importante en el desarrollo de futuras aplicaciones. Los LLM son muy buenos para comprender el lenguaje debido a la amplia capacitación previa que se ha realizado para los modelos básicos en billones de líneas de texto de dominio público, incluido el código. Métodos como el ajuste fino supervisado y el aprendizaje reforzado con retroalimentación humana (RLHF) hacen que estos LLM sean aún más eficientes para responder preguntas específicas y conversar con los usuarios. A medida que avanzamos en la siguiente fase de las aplicaciones de IA impulsadas por LLM, los siguientes componentes clave serán cruciales para estas aplicaciones de próxima generación. La siguiente figura muestra esta progresión y, a medida que avanza en la cadena, crea más inteligencia y autonomía en sus aplicaciones. Veamos estos diversos niveles.

LLM llamadas:

Estas son llamadas directas a finalización o modelos de chat de un proveedor de LLM como Azure OpenAI o Google PaLM o Amazon Bedrock. Estas llamadas tienen un aviso muy básico y en su mayoría utilizan la memoria interna del LLM para producir la salida.

Ejemplo: Pedir un modelo básico como “text-davinci” para “contar un chiste”. Brinda muy poco contexto y el modelo se basa en su memoria interna previamente entrenada para generar una respuesta (resaltada en verde en la figura a continuación, usando Azure OpenAI).

Indicaciones:

El siguiente nivel de inteligencia consiste en agregar más y más contexto a las indicaciones. Existen técnicas de ingeniería rápida que se pueden aplicar a los LLM para que den respuestas personalizadas. Por ejemplo, al generar un correo electrónico para un usuario, algún contexto sobre el usuario, las compras anteriores y los patrones de comportamiento pueden servir como indicación para personalizar mejor el correo electrónico. Los usuarios familiarizados con ChatGPT conocerán diferentes métodos de solicitud, como dar ejemplos que utiliza el LLM para generar respuestas. Las indicaciones aumentan la memoria interna del LLM con contexto adicional. El ejemplo está abajo.

Incrustaciones:

Las incrustaciones llevan las indicaciones al siguiente nivel al buscar contexto en un almacén de conocimiento y obtener ese contexto y agregarlo a la indicación. Aquí, el primer paso es crear un gran almacén de documentos con texto no estructurado que se pueda buscar mediante la indexación del texto y el llenado de una base de datos vectorial. Para esto, se utiliza un modelo de incrustación como 'ada' de OpenAI que toma un fragmento de texto y lo convierte en un vector n-dimensional. Estas incrustaciones capturan el contexto del texto, por lo que oraciones similares tendrán incrustaciones cercanas entre sí en el espacio vectorial. Cuando el usuario ingresa una consulta, esa consulta también se convierte en incrustación y ese vector se compara con los vectores en la base de datos. Por lo tanto, obtenemos los 5 o 10 mejores fragmentos de texto coincidentes para la consulta que forman el contexto. La consulta y el contexto se pasan a LLM para responder a la pregunta de una manera similar a la humana.

cadenas:

Hoy en día, Chains es la tecnología disponible más avanzada y madura que se utiliza ampliamente para crear aplicaciones LLM. Las cadenas son deterministas cuando una secuencia de llamadas LLM se unen y la salida de una fluye hacia uno o más LLM. Por ejemplo, podríamos hacer que una llamada LLM consulte una base de datos SQL y obtenga una lista de correos electrónicos de clientes y envíe esa lista a otro LLM que generará correos electrónicos personalizados para los clientes. Estas cadenas LLM se pueden integrar en los flujos de aplicaciones existentes para generar resultados más valiosos. Usando cadenas, podríamos aumentar las llamadas LLM con entradas externas como llamadas API e integración con gráficos de conocimiento para proporcionar contexto. Además, hoy en día, con múltiples proveedores de LLM disponibles como OpenAI, AWS Bedrock, Google PaLM, MosaicML, etc., podemos mezclar y combinar llamadas de LLM en cadenas. Para elementos de cadena con inteligencia limitada, se podría usar un LLM más bajo como 'gpt3.5-turbo', mientras que para tareas más avanzadas se podría usar 'gpt4'. Las cadenas brindan una abstracción para datos, aplicaciones y llamadas LLM.

agentes:

Los agentes son un tema de muchos debates en línea, particularmente con respecto a ser inteligencia general artificial (AGI). Los agentes usan un LLM avanzado como 'gpt4' o 'PaLM2' para planificar tareas en lugar de tener cadenas predefinidas. Entonces, ahora, cuando hay solicitudes de usuarios, según la consulta, el agente decide qué conjunto de tareas llamar y construye dinámicamente una cadena. Por ejemplo, cuando configuramos un agente con un comando como "notificar a los clientes cuando cambie la APR del préstamo debido a la actualización de la regulación gubernamental". El marco del agente hace una llamada LLM para decidir los pasos a seguir o las cadenas a construir. Aquí implicará invocar una aplicación que extrae sitios web regulatorios y extrae la tasa APR más reciente, luego una llamada LLM busca en la base de datos y extrae los correos electrónicos de los clientes que se ven afectados y, finalmente, se genera un correo electrónico para notificar a todos.

Consideraciones Finales:

LLM es una tecnología en constante evolución y cada semana se lanzan mejores modelos y aplicaciones. LLM to Agents es la escalera de inteligencia y, a medida que avanzamos, construimos aplicaciones autónomas complejas. Mejores modelos significarán agentes más efectivos y las aplicaciones de próxima generación estarán impulsadas por estos. El tiempo dirá qué tan avanzadas serán las aplicaciones de próxima generación y qué patrones utilizarán.