3 Formas de Mantener Hechos Desactualizados Frescos en Modelos de Lenguaje Grande

Los Modelos de Lenguaje Grande (LLM) como GPT3, ChatGPT y BARD son el centro de atención hoy en día. Todos tienen una opinión sobre cómo estas herramientas son buenas o malas para la sociedad y qué significan para el futuro de la IA. Google recibió muchas críticas por su nuevo modelo BARD, que respondió incorrectamente a una pregunta compleja (ligeramente). Cuando se le preguntó “¿Qué nuevos descubrimientos del telescopio espacial James Webb puedo contarle a mi hijo de 9 años?”, el chatbot proporcionó tres respuestas, de las cuales 2 eran correctas y 1 era incorrecta. La respuesta incorrecta fue que la primera “imagen de exoplaneta” fue tomada por JWST, lo que era incorrecto. Entonces, básicamente, el modelo tenía un hecho incorrecto almacenado en su base de conocimientos. Para que los modelos de lenguaje grande sean efectivos, necesitamos una forma de mantener estos hechos actualizados o aumentar los hechos con nuevos conocimientos.

Veamos primero cómo se almacenan los hechos dentro de un modelo de lenguaje grande (LLM). Los modelos de lenguaje grande no almacenan información y hechos de manera tradicional, como bases de datos o archivos. En su lugar, han sido entrenados con vastas cantidades de datos de texto y han aprendido patrones y relaciones en esos datos. Esto les permite generar respuestas similares a las humanas a preguntas, pero no tienen un lugar de almacenamiento específico para la información aprendida. Cuando responden a una pregunta, el modelo utiliza su entrenamiento para generar una respuesta basada en la entrada que recibe. La información y el conocimiento que tiene un modelo de lenguaje son el resultado de los patrones que ha aprendido en los datos en los que se entrenó, no el resultado de que se almacene explícitamente en la memoria del modelo. La arquitectura de Transformadores en la que se basan la mayoría de los LLM modernos tiene una codificación interna de hechos que se utiliza para responder a la pregunta formulada en el prompt.

Entonces, si los hechos dentro de la memoria interna del LLM son incorrectos o desactualizados, se necesita proporcionar nueva información a través de un prompt. El prompt es el texto enviado al LLM con la consulta y la evidencia de apoyo que puede ser algunos hechos nuevos o corregidos. Aquí hay 3 formas de abordar esto.

1. Una forma de corregir los hechos codificados de un LLM es proporcionar nuevos hechos relevantes para el contexto utilizando una base de conocimientos externa. Esta base de conocimientos puede ser llamadas a API para obtener información relevante o una búsqueda en una base de datos SQL, No-SQL o Vector. Conocimientos más avanzados se pueden extraer de un gráfico de conocimiento que almacena entidades de datos y relaciones entre ellas. Dependiendo de la información que el usuario está consultando, se puede recuperar la información de contexto relevante y proporcionarla como hechos adicionales al LLM. Estos hechos también se pueden formatear para parecerse a ejemplos de entrenamiento para mejorar el proceso de aprendizaje. Por ejemplo, se puede pasar una serie de pares de preguntas y respuestas para que el modelo aprenda a proporcionar respuestas.

2. Una forma más innovadora (y más costosa) de aumentar el LLM es mediante un ajuste fino utilizando datos de entrenamiento. En lugar de consultar la base de conocimientos para obtener hechos específicos para agregar, se crea un conjunto de datos de entrenamiento mediante muestreo de la base de conocimientos. Utilizando técnicas de aprendizaje supervisado como el ajuste fino, se puede crear una nueva versión del LLM que se entrena en este conocimiento adicional. Este proceso suele ser costoso y puede costar varios miles de dólares para crear y mantener un modelo ajustado en OpenAI. Por supuesto, se espera que el costo disminuya con el tiempo.

3. Otra opción es utilizar métodos como el Aprendizaje de Refuerzo (RL) para entrenar a un agente con retroalimentación humana y aprender una política sobre cómo responder a preguntas. Este método ha sido muy efectivo para construir modelos con un tamaño de huella más pequeño que son buenos en tareas específicas. Por ejemplo, el famoso ChatGPT lanzado por OpenAI se entrenó con una combinación de aprendizaje supervisado y RL con retroalimentación humana.

En resumen, este es un espacio en constante evolución con cada gran empresa que quiere entrar y mostrar su diferenciación. Pronto veremos herramientas LLM importantes en la mayoría de las áreas, como la venta al por menor, la atención médica y la banca, que pueden responder de manera similar a la humana, entendiendo las sutilezas del lenguaje. Estas herramientas LLM integradas con datos empresariales pueden simplificar el acceso y hacer que los datos correctos estén disponibles para las personas correctas en el momento correcto.