ChatGPT y la Ingeniería de Prompts Avanzada: Impulsando la Evolución de la IA

OpenAI ha sido fundamental en el desarrollo de herramientas revolucionarias como el OpenAI Gym, diseñado para el entrenamiento de algoritmos de refuerzo, y los modelos GPT-n. También se destaca DALL-E, un modelo de IA que crea imágenes a partir de entradas textuales. Uno de los modelos que ha generado considerable atención es ChatGPT de OpenAI, un ejemplo destacado en el ámbito de los Grandes Modelos de Lenguaje.

GPT-4: Ingeniería de Prompts

ChatGPT ha transformado el panorama de los chatbots, ofreciendo respuestas similares a las humanas a las entradas del usuario y expandiendo sus aplicaciones en diversos dominios, desde el desarrollo y prueba de software hasta la comunicación empresarial y la creación de poesía.

En manos de empresas y particulares, GPT-4, por ejemplo, podría servir como un reservorio inagotable de conocimiento, versado en temas que van desde las Matemáticas y la Biología hasta los Estudios Legales. Estos modelos de IA sofisticados y accesibles están a punto de redefinir el futuro del trabajo, el aprendizaje y la creatividad.

Los modelos generativos como GPT-4 pueden producir nuevos datos basados en entradas existentes. Esta característica distintiva les permite realizar diversas tareas, incluyendo la generación de texto, imágenes, música y video.

En el contexto de ChatGPT y los modelos de OpenAI, un prompt es la entrada que los usuarios proporcionan a los modelos, generalmente en forma de texto. Los prompts sirven como el medio principal de controlar la salida generada por estos modelos, lo que los hace cruciales para conversaciones exitosas y relevantes.

El Impacto de la Calidad del Prompt

Utilizar prompts bien definidos es la clave para participar en conversaciones útiles y significativas con los sistemas de IA. Los prompts mal definidos pueden resultar en salidas que no son útiles para el usuario y pueden incluso llevar a contenido engañoso.

Para demostrar el impacto de la calidad del prompt, comparemos dos prompts diferentes dados a ChatGPT. El primer prompt, mal definido y que asume conocimiento previo, genera una respuesta potencialmente inútil para el usuario. Por otro lado, el segundo prompt proporciona más contexto y ejemplos, asegurando una respuesta más relevante y comprensible.

Prompt 1: “Hábleme sobre las Redes Neuronales Convolucionales.”

Respuesta 1: “Las Redes Neuronales Convolucionales (CNN) son redes de perceptrón multicapa que consisten en capas completamente conectadas y capas de pooling. Se utilizan comúnmente en tareas de reconocimiento de imágenes. El proceso implica aplicar filtros a las imágenes de entrada y reducirlas usando capas de pooling.”

Prompt 2: “Quiero aprender sobre las Redes Neuronales Convolucionales, pero no tengo conocimiento previo de Redes Neuronales Artificiales. ¿Puede proporcionarme una explicación para principiantes y un ejemplo de cómo las CNN se utilizan en el reconocimiento de imágenes?”

Respuesta 2: “Las Redes Neuronales Convolucionales (CNN) son un tipo de red neuronal primariamente utilizado para tareas de reconocimiento de imágenes. A diferencia de otras redes neuronales, aprovechan capas convolucionales y capas de pooling para procesar imágenes. Imagina que tienes una imagen de un gato. Las CNN pueden identificar diferentes características en la imagen, como bigotes, orejas y cola, aplicando filtros y reduciendo la imagen usando capas de pooling. Este proceso hace que las CNN sean muy efectivas para reconocer objetos en imágenes.”

Al comparar las dos respuestas, es evidente que un prompt bien definido conduce a una respuesta más relevante y amigable para el usuario. El diseño y la ingeniería de prompts son disciplinas en crecimiento que apuntan a optimizar la calidad de la salida de los modelos de IA como ChatGPT.

En las siguientes secciones de este artículo, exploraremos el ámbito de metodologías avanzadas destinadas a refinar los Grandes Modelos de Lenguaje (LLM), como técnicas de ingeniería de prompts y tácticas. Estas incluyen el aprendizaje de pocos ejemplos, ReAct, cadena de pensamiento, RAG y más.

Técnicas de Ingeniería Avanzadas

Antes de proceder, es importante entender un problema clave con los LLM, conocido como “alucinación”. En el contexto de los LLM, “alucinación” se refiere a la tendencia de estos modelos a generar salidas que pueden parecer razonables pero no están arraigadas en la realidad factual o el contexto de entrada dado.

Este problema se destacó en un caso judicial reciente donde un abogado defensor utilizó ChatGPT para investigación legal. La herramienta de IA, fallando debido a su problema de alucinación, citó casos legales inexistentes. Este paso en falso tuvo repercusiones significativas, causando confusión y socavando la credibilidad durante los procedimientos. Este incidente sirve como un recordatorio tajante de la necesidad urgente de abordar el problema de “alucinación” en los sistemas de IA.

Nuestra exploración en técnicas de ingeniería de prompts apunta a mejorar estos aspectos de los LLM. Al aumentar su eficiencia y seguridad, allanamos el camino para aplicaciones innovadoras como la extracción de información. Además, abre las puertas a integrar los LLM con herramientas y fuentes de datos externas de manera fluida, ampliando el rango de sus usos potenciales.

Aprendizaje de Cero y Pocos Ejemplos: Optimización con Ejemplos

Los Modelos Generativos Preentrenados de Transformadores (GPT-3) marcaron un punto de inflexión importante en el desarrollo de los Modelos Generativos de IA, al introducir el concepto de “aprendizaje de pocos ejemplos“. Este método fue un juego cambiador debido a su capacidad de operar de manera efectiva sin la necesidad de un ajuste fino exhaustivo. El marco de GPT-3 se discute en el artículo “Los Modelos de Lenguaje son Aprendices de Pocos Ejemplos“, donde los autores demuestran cómo el modelo sobresale en diversas aplicaciones sin necesidad de conjuntos de datos personalizados o código.

A diferencia del ajuste fino, que exige esfuerzo continuo para resolver diferentes casos de uso, los modelos de pocos ejemplos demuestran una adaptabilidad más fácil a una amplia gama de aplicaciones. Mientras que el ajuste fino puede proporcionar soluciones robustas en algunos casos, puede ser costoso a gran escala, lo que hace que el uso de modelos de pocos ejemplos sea un enfoque más práctico, especialmente cuando se integra con la ingeniería de prompts.

Imagina que estás tratando de traducir del inglés al francés. En el aprendizaje de pocos ejemplos, le proporcionarías a GPT-3 algunos ejemplos de traducciones como “nutria de mar -> loutre de mer”. GPT-3, siendo el modelo avanzado que es, es entonces capaz de continuar proporcionando traducciones precisas. En el aprendizaje de cero ejemplos, no proporcionarías ejemplos, y GPT-3 aún sería capaz de traducir del inglés al francés de manera efectiva.

El término “aprendizaje de pocos ejemplos” proviene de la idea de que el modelo se le proporciona un número limitado de ejemplos para “aprender”. Es importante destacar que “aprender” en este contexto no implica actualizar los parámetros o pesos del modelo, sino que influye en el rendimiento del modelo.

Aprendizaje de Pocos Ejemplos como se Demuestra en el Artículo de GPT-3

El aprendizaje de cero ejemplos lleva este concepto un paso más allá. En el aprendizaje de cero ejemplos, no se proporcionan ejemplos de la tarea al modelo. El modelo se espera que realice bien basándose en su entrenamiento inicial, lo que hace que esta metodología sea ideal para escenarios de respuesta a preguntas en dominio abierto como ChatGPT.

En muchas instancias, un modelo diestro en el aprendizaje de cero ejemplos puede realizar bien cuando se le proporcionan pocos ejemplos o incluso un solo ejemplo. Esta capacidad de cambiar entre escenarios de cero, uno y pocos ejemplos subraya la adaptabilidad de los grandes modelos, mejorando sus aplicaciones potenciales en diferentes dominios.

Los métodos de aprendizaje de cero ejemplos están volviéndose cada vez más comunes. Estos métodos se caracterizan por su capacidad para reconocer objetos no vistos durante el entrenamiento. Aquí hay un ejemplo práctico de un Prompt de Pocos Ejemplos:

Traduce las siguientes frases del inglés al francés:

'nutria de mar' se traduce a 'loutre de mer'
'cielo' se traduce a 'ciel'
¿A qué se traduce 'nube' en francés?"

Al proporcionarle al modelo algunos ejemplos y luego hacer una pregunta, podemos guiar efectivamente al modelo para generar la salida deseada. En este caso, GPT-3 probablemente traduciría correctamente ‘nube’ a ‘nuage’ en francés.

Exploraremos más a fondo las diversas nuances de las técnicas de ingeniería de prompts y su papel esencial en la optimización del rendimiento del modelo durante la inferencia. También examinaremos cómo se pueden utilizar para crear soluciones rentables y escalables en una amplia gama de casos de uso.

Al profundizar en la complejidad de las técnicas de ingeniería de prompts en los modelos GPT, es importante destacar nuestro último artículo ‘Guía Esencial para la Ingeniería de Prompts en ChatGPT‘. Esta guía proporciona información sobre las estrategias para instruir modelos de IA de manera efectiva en una variedad de casos de uso.

En nuestras discusiones anteriores, exploramos métodos de prompts fundamentales para grandes modelos de lenguaje (LLM) como el aprendizaje de cero y pocos ejemplos, así como la instrucción de prompts. Dominar estas técnicas es crucial para navegar los desafíos más complejos de la ingeniería de prompts que exploraremos aquí.

El aprendizaje de pocos ejemplos puede ser limitado debido a la ventana de contexto restringida de la mayoría de los LLM. Además, sin las salvaguardas adecuadas, los LLM pueden ser engañados para entregar salidas potencialmente dañinas. Además, muchos modelos luchan con tareas de razonamiento o seguir instrucciones multi-paso.

Dadas estas limitaciones, el desafío radica en aprovechar los LLM para abordar tareas complejas. Una solución obvia podría ser desarrollar LLM más avanzados o refinar los existentes, pero eso podría implicar un esfuerzo sustancial. Así que surge la pregunta: ¿cómo podemos optimizar los modelos actuales para una mejor resolución de problemas?

Es igualmente fascinante explorar cómo esta técnica se cruza con aplicaciones creativas en la guía de Unite AI ‘Dominar el Arte de IA: Una Guía Concisa para Midjourney y la Ingeniería de Prompts‘, que describe cómo la fusión del arte y la IA puede resultar en arte impresionante.

Prompt de Cadena de Pensamiento

El prompt de cadena de pensamiento aprovecha las propiedades auto-regresivas inherentes de los grandes modelos de lenguaje (LLM), que sobresalen en la predicción de la próxima palabra en una secuencia dada. Al solicitarle al modelo que aclare su proceso de pensamiento, induce una generación más minuciosa y metódica de ideas, que tiende a alinearse estrechamente con información precisa. Esta alineación se deriva de la tendencia del modelo a procesar y entregar información de manera reflexiva y ordenada, similar a un experto humano que guía a un oyente a través de un concepto complejo. Una simple afirmación como “explícame paso a paso cómo…” es a menudo suficiente para desencadenar esta salida más detallada y completa.

Prompt de Cadena de Pensamiento de Cero Ejemplos

Mientras que el prompt de cadena de pensamiento convencional requiere un entrenamiento previo con demostraciones, un área emergente es el prompt de cadena de pensamiento de cero ejemplos. Este enfoque, introducido por Kojima et al. (2022), innovadoramente agrega la frase “Pensemos paso a paso” al prompt original.

Crearemos un prompt avanzado donde ChatGPT se encarga de resumir los puntos clave de investigaciones y artículos de IA y NLP.

En esta demostración, utilizaremos la capacidad del modelo para comprender y resumir información compleja de textos académicos. Utilizando el enfoque de aprendizaje de pocos ejemplos, enseñaremos a ChatGPT a resumir los hallazgos clave de artículos de investigación de IA y NLP:

1. Título del Artículo: "Atención es todo lo que necesitas"
Punto Clave: Se presentó el modelo de transformador, enfatizando la importancia de los mecanismos de atención sobre las capas recurrentes para tareas de transducción de secuencias.

2. Título del Artículo: "BERT: Pre-entrenamiento de Transformadores Profundos Bidireccionales para la Comprensión del Lenguaje"
Punto Clave: Se presentó BERT, demostrando la eficacia del pre-entrenamiento de modelos bidireccionales profundos, logrando resultados de estado del arte en diversas tareas de NLP.

Ahora, con el contexto de estos ejemplos, resume los hallazgos clave del siguiente artículo:

Título del Artículo: "Ingeniería de Prompts en Grandes Modelos de Lenguaje: Un Examen"

Este prompt no solo mantiene una clara cadena de pensamiento sino que también aprovecha el enfoque de aprendizaje de pocos ejemplos para guiar al modelo. Se relaciona con nuestros temas clave al centrarse en los dominios de IA y NLP, específicamente encargando a ChatGPT realizar una operación compleja relacionada con la ingeniería de prompts: resumir artículos de investigación.

Prompt ReAct

ReAct, o “Razonar y Actuar”, fue introducido por Google (GOOGL ) en el artículo “ReAct: Sinergizando el Razonamiento y la Acción en Modelos de Lenguaje“, y revolucionó la forma en que los modelos de lenguaje interactúan con una tarea, solicitando al modelo que genere dinámicamente tanto trazas de razonamiento verbales como acciones específicas de la tarea.

Imagina a un chef humano en la cocina: no solo realiza una serie de acciones (cortar verduras, hervir agua, revolver ingredientes) sino que también participa en razonamiento verbal o discurso interno (“ahora que las verduras están picadas, debería poner la olla en la estufa”). Este diálogo mental continuo ayuda en la estrategia del proceso, adaptándose a cambios repentinos (“estoy sin aceite de oliva, usaré mantequilla en su lugar”) y recordando la secuencia de tareas. ReAct imita esta capacidad humana, permitiendo que el modelo aprenda rápidamente nuevas tareas y tome decisiones robustas, al igual que un humano bajo circunstancias nuevas o inciertas.

ReAct puede abordar la alucinación, un problema común con los sistemas de Cadena de Pensamiento (CoT). CoT, aunque es una técnica efectiva, carece de la capacidad de interactuar con el mundo exterior, lo que podría potencialmente llevar a la alucinación de hechos y la propagación de errores. ReAct, sin embargo, compensa esto interactuando con fuentes de información externas. Esta interacción permite al sistema no solo validar su razonamiento sino también actualizar su conocimiento basándose en la información más reciente del mundo exterior.

La operación fundamental de ReAct se puede explicar a través de un ejemplo de HotpotQA, una tarea que requiere razonamiento de alto orden. Al recibir una pregunta, el modelo ReAct descompone la pregunta en partes manejables y crea un plan de acción. El modelo genera una traza de razonamiento (pensamiento) e identifica una acción relevante. Puede decidir buscar información sobre el Control Remoto de Apple (AAPL ) en una fuente externa como Wikipedia (acción) y actualizar su comprensión basándose en la información obtenida (observación). A través de múltiples pasos de pensamiento-acción-observación, ReAct puede recuperar información para respaldar su razonamiento mientras refina lo que necesita recuperar a continuación.

Nota:

HotpotQA es un conjunto de datos, derivado de Wikipedia, compuesto por 113k pares de preguntas y respuestas diseñados para entrenar sistemas de IA en razonamiento complejo, ya que las preguntas requieren razonamiento sobre múltiples documentos para responder. Por otro lado, CommonsenseQA 2.0, construido a través de la gamificación, incluye 14,343 preguntas de sí/no y está diseñado para desafiar la comprensión de la IA del sentido común, ya que las preguntas están intencionalmente diseñadas para engañar a los modelos de IA.

El proceso podría parecerse a esto:

1. Pensamiento: “Necesito buscar el Control Remoto de Apple y sus dispositivos compatibles.”
2. Acción: Busca “dispositivos compatibles con el Control Remoto de Apple” en una fuente externa.
3. Observación: Obtiene una lista de dispositivos compatibles con el Control Remoto de Apple de los resultados de la búsqueda.
4. Pensamiento: “Basándome en los resultados de la búsqueda, varios dispositivos, aparte del Control Remoto de Apple, pueden controlar el programa para el que fue diseñado originalmente.”

El resultado es un proceso dinámico y basado en el razonamiento que puede evolucionar según la información con la que interactúa, lo que conduce a respuestas más precisas y confiables.

Visualización comparativa de cuatro métodos de prompting – Estándar, Cadena de Pensamiento, Act-Only y ReAct, en la resolución de HotpotQA y AlfWorld (https://arxiv.org/pdf/2210.03629.pdf)

Diseñar agentes ReAct es una tarea especializada, dada su capacidad para lograr objetivos intrincados. Por ejemplo, un agente conversacional, construido sobre el modelo ReAct base, incorpora memoria conversacional para proporcionar interacciones más ricas. Sin embargo, la complejidad de esta tarea se simplifica con herramientas como Langchain, que se ha convertido en el estándar para diseñar estos agentes.

Prompting Fiel al Contexto

El artículo ‘Prompting Fiel al Contexto para Grandes Modelos de Lenguaje‘ subraya que, aunque los LLM han demostrado un gran éxito en tareas de NLP impulsadas por el conocimiento, su excesiva dependencia del conocimiento paramétrico puede llevarlos por mal camino en tareas sensibles al contexto. Por ejemplo, cuando un modelo de lenguaje se entrena con hechos obsoletos, puede producir respuestas incorrectas si pasa por alto las pistas contextuales.

Este problema es evidente en casos de conflicto de conocimiento, donde el contexto contiene hechos que difieren del conocimiento preexistente del LLM. Considera un caso en el que un LLM, entrenado con datos antes de la Copa Mundial de 2022, se le da un contexto que indica que Francia ganó el torneo. Sin embargo, el LLM, confiando en su conocimiento preentrenado, continúa afirmando que el equipo ganador anterior, es decir, el que ganó en la Copa Mundial de 2018, es el actual campeón. Esto demuestra un caso clásico de ‘conflicto de conocimiento’.

En esencia, el conflicto de conocimiento en un LLM surge cuando la nueva información proporcionada en el contexto contradice el conocimiento preexistente con el que se entrenó el modelo. La tendencia del modelo a confiar en su entrenamiento previo en lugar del contexto recién proporcionado puede resultar en salidas incorrectas. Por otro lado, la alucinación en los LLM es la generación de respuestas que pueden parecer plausibles pero no están arraigadas en los datos de entrenamiento del modelo o en el contexto proporcionado.

Otro problema surge cuando el contexto proporcionado no contiene suficiente información para responder a una pregunta con precisión, una situación conocida como predicción con abstención. Por ejemplo, si un LLM se le pregunta sobre el fundador de Microsoft (MSFT ) basándose en un contexto que no proporciona esta información, idealmente debería abstenerse de adivinar.

Más Ejemplos de Conflicto de Conocimiento y el Poder de la Abstención

Para mejorar la fidelidad contextual de los LLM en estos escenarios, los investigadores propusieron una serie de estrategias de prompting. Estas estrategias apuntan a hacer que las respuestas del LLM estén más atentas al contexto en lugar de confiar en su conocimiento codificado.

Una de estas estrategias es enmarcar los prompts como preguntas basadas en opiniones, donde el contexto se interpreta como una declaración del narrador, y la pregunta se refiere a la opinión de este narrador. Este enfoque reorienta la atención del LLM hacia el contexto presentado en lugar de recurrir a su conocimiento preexistente.

Agregar demostraciones contrafácticas a los prompts también se ha identificado como una forma efectiva de aumentar la fidelidad en casos de conflicto de conocimiento. Estas demostraciones presentan escenarios con hechos falsos, que guían al modelo para prestar mayor atención al contexto y proporcionar respuestas precisas.

Ajuste Fino de Instrucciones

El ajuste fino de instrucciones es una fase de aprendizaje supervisado que aprovecha proporcionar al modelo instrucciones específicas, por ejemplo, “Explica la distinción entre un amanecer y un atardecer”. La instrucción se empareja con una respuesta adecuada, algo como, “Un amanecer se refiere al momento en que el sol aparece sobre el horizonte en la mañana, mientras que un atardecer marca el punto en que el sol desaparece debajo del horizonte en la tarde”. A través de este método, el modelo aprende esencialmente a adherirse a y ejecutar instrucciones.

Este enfoque influye significativamente en el proceso de prompting a los LLM. Lleva a un cambio radical en el estilo de prompting. Un LLM ajustado con instrucciones permite la ejecución inmediata de tareas de cero ejemplos, proporcionando un rendimiento de tareas sin esfuerzo. Si el LLM aún no ha sido ajustado, se puede requerir un enfoque de aprendizaje de pocos ejemplos, incorporando algunos ejemplos en su prompt para guiar al modelo hacia la respuesta deseada.

“Ajuste de Instrucciones con GPT-4” discute el intento de utilizar GPT-4 para generar datos de seguimiento de instrucciones para el ajuste fino de LLM. Utilizaron un conjunto de datos rico, que comprende 52,000 entradas únicas de seguimiento de instrucciones en inglés y chino.

El conjunto de datos juega un papel crucial en el ajuste de instrucciones de los modelos LLaMA, una serie de LLM de código abierto, lo que resulta en un mejor desempeño de cero ejemplos en nuevas tareas. Proyectos notables como Stanford Alpaca han empleado con éxito el Ajuste de Instrucciones Auto-generado, un método eficiente para alinear los LLM con la intención humana, aprovechando datos generados por modelos de instrucciones avanzados y ajustados.

El objetivo principal de la investigación de ajuste de instrucciones es mejorar las capacidades de generalización de cero y pocos ejemplos de los LLM. Un mayor tamaño de datos y escalado de modelos pueden proporcionar valiosas perspectivas. Con el tamaño actual de datos de GPT-4 en 52K y el tamaño base del modelo LLaMA en 7 mil millones de parámetros, hay un enorme potencial para recopilar más datos de seguimiento de instrucciones de GPT-4 y combinarlos con otras fuentes de datos, lo que lleva al entrenamiento de modelos LLaMA más grandes para un mejor desempeño.

STaR: Arranque de Razonamiento con Razonamiento

El potencial de los LLM es particularmente visible en tareas de razonamiento complejas como las matemáticas o la respuesta a preguntas de sentido común. Sin embargo, el proceso de inducir a un modelo de lenguaje a generar razonamientos, una serie de justificaciones paso a paso o “cadena de pensamiento”, tiene su propio conjunto de desafíos. A menudo requiere la construcción de grandes conjuntos de datos de razonamientos o un sacrificio en precisión debido a la dependencia de la inferencia de pocos ejemplos.

“Autoaprendiz de Razonamiento” (STaR) ofrece una solución innovadora a estos desafíos. Utiliza un bucle simple para mejorar continuamente la capacidad de razonamiento del modelo. Este proceso iterativo comienza generando razonamientos para responder a múltiples preguntas utilizando algunos ejemplos racionales. Si las respuestas generadas son incorrectas, el modelo intenta generar un razonamiento nuevamente, esta vez proporcionando la respuesta correcta. El modelo se ajusta entonces en todos los razonamientos que resultaron en respuestas correctas, y el proceso se repite.

Metodología STaR, demostrando su bucle de ajuste fino y una generación de razonamiento de ejemplo en el conjunto de datos CommonsenseQA (https://arxiv.org/pdf/2203.14465.pdf)

Para ilustrar esto con un ejemplo práctico, considera la pregunta “¿Qué se puede usar para llevar a un perro pequeño?” con opciones de respuesta que van desde una piscina hasta una cesta. El modelo STaR genera un razonamiento, identificando que la respuesta debe ser algo capaz de llevar a un perro pequeño y llega a la conclusión de que una cesta, diseñada para contener cosas, es la respuesta correcta.

El enfoque de STaR es único en que aprovecha la capacidad de razonamiento preexistente del modelo de lenguaje. Emplea un proceso de auto-generación y refinamiento de razonamientos, mejorando iterativamente las capacidades de razonamiento del modelo. Sin embargo, el bucle de STaR tiene sus limitaciones. El modelo puede fallar al resolver nuevos problemas en el conjunto de entrenamiento porque no recibe una señal de entrenamiento directa para los problemas que no puede resolver. Para abordar este problema, STaR introduce la racionalización. Para cada problema que el modelo no puede responder correctamente, genera un nuevo razonamiento proporcionando al modelo la respuesta correcta, lo que permite al modelo razonar hacia atrás.

STaR, por lo tanto, se establece como un método de arranque escalable que permite a los modelos aprender a generar sus propios razonamientos mientras también aprenden a resolver problemas cada vez más difíciles. La aplicación de STaR ha mostrado resultados prometedores en tareas que involucran aritmética, problemas de palabras matemáticas y razonamiento de sentido común. En CommonsenseQA, STaR mejoró tanto el baseline de pocos ejemplos como un baseline ajustado para predecir respuestas directamente y realizó de manera comparable a un modelo que es 30 veces más grande.

Prompts de Contexto Etiquetados

El concepto de ‘Prompts de Contexto Etiquetados‘ gira en torno a proporcionar al modelo de IA una capa adicional de contexto etiquetando cierta información dentro de la entrada. Estas etiquetas actúan esencialmente como señales para la IA, guiándola sobre cómo interpretar el contexto con precisión y generar una respuesta que sea tanto relevante como factual.

Imagina que estás teniendo una conversación con un amigo sobre un tema específico, digamos ‘ajedrez’. Haces una afirmación y luego etiquetas con una referencia, como ‘(fuente: Wikipedia)’. Ahora, tu amigo, que en este caso es el modelo de IA, sabe exactamente de dónde proviene tu información. Este enfoque apunta a hacer que las respuestas de la IA sean más confiables al reducir el riesgo de alucinaciones, o la generación de hechos falsos.

Un aspecto único de los prompts de contexto etiquetados es su potencial para mejorar la ‘inteligencia contextual’ de los modelos de IA. Por ejemplo, el artículo demuestra esto utilizando un conjunto diverso de preguntas extraídas de múltiples fuentes, como artículos de Wikipedia resumidos sobre varios temas y secciones de un libro recientemente publicado. Las preguntas están etiquetadas, proporcionando al modelo de IA información adicional sobre la fuente de la información.

Esta capa adicional de contexto puede ser increíblemente beneficiosa cuando se trata de generar respuestas que no solo son precisas sino que también se adhieren al contexto proporcionado, lo que hace que la salida de la IA sea más confiable y digna de confianza.

Conclusión: Una Mirada a Técnicas Prometedoras y Direcciones Futuras

ChatGPT de OpenAI muestra el potencial inexplorado de los Grandes Modelos de Lenguaje (LLM) para abordar tareas complejas con una eficiencia notable. Técnicas avanzadas como el aprendizaje de pocos ejemplos, ReAct, cadena de pensamiento y STaR permiten aprovechar este potencial en una amplia gama de aplicaciones. A medida que profundizamos en las nuances de estas metodologías, descubrimos cómo están dando forma al paisaje de la IA, ofreciendo interacciones más ricas y seguras entre humanos y máquinas.

A pesar de los desafíos como el conflicto de conocimiento, la dependencia excesiva del conocimiento paramétrico y el potencial de alucinación, estos modelos de IA, con la ingeniería de prompts adecuada, han demostrado ser herramientas transformadoras. El ajuste fino de instrucciones, el prompting fiel al contexto y la integración con fuentes de datos externas aún amplían su capacidad para razonar, aprender y adaptarse.