La guía esencial para la ingeniería rápida en ChatGPT

Desde su lanzamiento, ChatGPT ha estado haciendo olas en la esfera de la IA, atrayendo a más de 100 millones de usuarios en un tiempo récord. El ingrediente secreto del rendimiento y la versatilidad impresionantes de ChatGPT radica en un arte sutilmente anidado dentro de su programación: la ingeniería rápida.

Lanzado en 2022, DALL-E, MidJourney y StableDiffusion subrayaron el potencial disruptivo de la IA generativa. Pero fue AI abiertoChatGPT de 's que realmente ocupó el centro del escenario más adelante en 2022. Y este impulso no mostró signos de desaceleración.

Anuncio de Google de Bard y Lamma de Meta 2  La respuesta al ChatGPT de OpenAI ha amplificado significativamente el impulso de la carrera de la IA. Al proporcionar entradas a estos modelos, estamos guiando su comportamiento y sus respuestas. Esto nos convierte a todos en ingenieros rápidos hasta cierto punto. La industria tecnológica se ha dado cuenta. Los capitalistas de riesgo están invirtiendo fondos en nuevas empresas que se centran en la ingeniería rápida, como Vitela AI. Además, Forbes informa que los ingenieros rápidos ordenan salarios superiores a $ 300,000, indicativo de un mercado laboral próspero y valioso.

En este artículo, desmitificaremos el mundo de la ingeniería rápida en el contexto de ChatGPT. Exploraremos los principios y técnicas fundamentales y examinaremos sus aplicaciones comerciales.

Primero, comprendamos cómo funciona ChatGPT y el papel fundamental que desempeña la ingeniería rápida en este proceso.

La mecánica detrás de la ingeniería de avisos de ChatGPT

El ingrediente secreto detrás del éxito de ChatGPT es su capacidad para comprender e imitar los matices de la conversación humana. El modelo se entrena en una amplia gama de textos de Internet, pero, lo que es más importante, no conoce documentos o fuentes específicos en su conjunto de entrenamiento, lo que garantiza la generalización sobre la especificidad. Este enfoque de capacitación permite que ChatGPT genere respuestas creativas, navegue por diálogos complejos e incluso muestre sentido del humor. Sin embargo, es importante recordar que ChatGPT realmente no entiende ni tiene creencias; genera respuestas basadas en patrones que aprendió durante el entrenamiento.

La capacidad de ChatGPT para comprender y responder al lenguaje humano de una manera matizada y consciente del contexto las convierte en herramientas increíblemente versátiles.

La mecánica de estos modelos se basa en el concepto de 'tokens': fragmentos discretos de lenguaje que pueden variar desde un solo carácter hasta una palabra completa. Estos modelos funcionan con un número específico de tokens a la vez (4096 para GPT-3.5-Turbo o 8192 o 32768 para GPT-4), prediciendo la siguiente secuencia de tokens probables. Los modelos procesan las fichas utilizando álgebra lineal compleja, prediciendo la ficha posterior más probable.

Por ejemplo, una oración simple de nueve palabras podría convertirse en diez fichas. Incluso una sola palabra compleja podría convertirse en múltiples tokens, lo que ayuda al modelo a comprender y generar mejor el lenguaje. Incluso los idiomas con estructuras de palabras complejas, como el alemán, se gestionan mediante tokenización.

Los modelos GPT (Transformador preentrenado generativo) funcionan generando un token a la vez, comenzando desde el primer token y continuando hasta el último. Después de generar cada token, el modelo vuelve a visitar la secuencia completa y la procesa nuevamente para generar el siguiente token. Este proceso iterativo continúa hasta que se genera el token final, lo que hace que la generación de texto sea similar a un gran bucle for.

Pero aquí está el problema: la calidad de estas respuestas depende en gran medida de las indicaciones que recibe. Al igual que dirigir una conversación con un ser humano, guiar un diálogo con ChatGPT requiere un cierto nivel de habilidad y comprensión. Ahí es donde entra en juego la ingeniería rápida.

¿Qué es Ingeniería Rápida?

Prompt Engineering es el arte de crear indicaciones/entradas precisas y efectivas para guiar a la IA (PNL/Vision) como ChatGPT para generar los resultados más rentables, precisos, útiles y seguros.

La ingeniería rápida no se limita solo a la generación de texto, sino que tiene una amplia gama de aplicaciones en todo el dominio de la IA. Se emplea cada vez más en áreas como robots de automatización de procesos robóticos, activos 3D, scripts, instrucciones de robots y otros tipos de contenido y medios digitales. Proporciona una combinación única de lógica, codificación, arte y, en ciertos casos, modificadores especiales.

Si bien un aviso puede incluir texto en lenguaje natural, imágenes u otros tipos de datos de entrada, la salida puede variar significativamente entre los servicios y herramientas de IA. Cada herramienta tiene sus modificadores especiales que describen el peso de las palabras, estilos, perspectivas, diseño u otras propiedades de la respuesta deseada.

Este campo es esencial para crear mejores servicios impulsados ​​por IA y obtener resultados superiores de las herramientas de IA generativa existentes. Los desarrolladores empresariales, por ejemplo, a menudo utilizan ingeniería rápida para adaptar Modelos de lenguaje extenso (LLM) como GPT-3 para potenciar una interfaz orientada al cliente. chatterbot o manejar tareas como la creación de contratos específicos de la industria.

Este proceso iterativo de refinamiento rápido y medición del rendimiento de la IA es un elemento clave para permitir que los modelos de IA generen respuestas útiles y altamente específicas en diversos contextos.

Convertirse en un ingeniero rápido

La destreza del modelo GPT-4 para comprender instrucciones complejas y resolver problemas intrincados con precisión lo convierte en un recurso invaluable. Sin embargo, existen diferentes métodos para acceder a las capacidades de este modelo, y comprenderlos puede ser crucial para el papel de un ingeniero rápido en la optimización de la eficiencia y la rentabilidad.

Básicamente, hay dos formas de interactuar con modelos GPT como GPT-4. Una forma es a través de la API de OpenAI, donde los costos se calculan por tokens de entrada y salida. En este escenario, los costos por tokens de 1K pueden fluctuar según el tamaño del contexto. Por ejemplo, en un contexto mayor de 32 0.06, el costo podría subir hasta $0.12 para tokens de entrada y $XNUMX para tokens de salida. Por lo tanto, cuando se maneja un gran volumen de solicitudes, el costo de uso puede acumularse rápidamente.

Alternativamente, ChatGPT, que aprovecha el modelo GPT-4, opera en un modelo basado en suscripción.

Otra tarea clave en la ingeniería rápida implica el ajuste de los parámetros del modelo. Este proceso implica ajustar las variables que utiliza el modelo para hacer predicciones. Al ajustar estos parámetros, los ingenieros rápidos pueden mejorar la calidad y la precisión de las respuestas del modelo, haciéndolas más relevantes y útiles en el contexto.

Aunque muchos ingenieros rápidos provienen de una formación tecnológica, la naturaleza multidisciplinaria del campo lo hace accesible a personas de diversos antecedentes profesionales. Cada vez más, escritores, investigadores e incluso artistas aprovechan sus habilidades únicas para mejorar la eficacia de los modelos de IA. Este cambio también se refleja en el mercado laboral, con un número creciente de empresas que buscan ingenieros rápidos con una amplia gama de habilidades y antecedentes.

Diseño rápido e ingeniería en ChatGPT

El diseño y la ingeniería rápidos juegan un papel fundamental en la optimización del rendimiento de los modelos de lenguaje e involucran más que solo preguntas de elaboración; requieren una comprensión profunda del modelo de IA y un enfoque altamente iterativo y refinado.

Diseño rápido

El diseño de avisos, en esencia, es el arte y la ciencia de crear el aviso perfecto para un modelo de lenguaje grande (LLM) dado, como ChatGPT, para lograr un objetivo claramente establecido. Es una mezcla de:

• Comprensión del LLM: diferentes modelos de lenguaje pueden responder de manera variable al mismo mensaje. Además, ciertos modelos de lenguaje pueden tener palabras clave o disparadores únicos, que interpretan de una manera específica.
• Conocimiento del dominio: la experiencia en el campo relevante es crucial al diseñar indicaciones. Por ejemplo, generar un aviso para inferir un diagnóstico médico requeriría conocimientos médicos.
• Enfoque iterativo y medición de la calidad: el proceso de creación del indicador ideal a menudo implica prueba y error. Por lo tanto, tener una forma de evaluar la calidad de salida más allá del juicio subjetivo es vital, particularmente cuando se usa el mensaje a una escala mayor.

Ingeniería rápida

La ingeniería rápida es un ámbito extendido del diseño rápido que incluye varios procesos críticos:

• Diseño de avisos a escala: este proceso incluye el diseño de meta avisos (avisos que generan otros avisos) y plantillas de avisos, que son avisos parametrizados de los que se pueden crear instancias en tiempo de ejecución.
• Diseño e integración de herramientas: las solicitudes a veces pueden incluir resultados de herramientas externas, y la integración perfecta de estas herramientas en el sistema es crucial.
• Flujo de trabajo, planificación y administración de avisos: la implementación de una aplicación LLM, como un chatbot, a menudo requiere administrar bibliotecas de avisos, planificar y elegir los avisos correctos e integrar de manera eficiente varias herramientas.
• Evaluación y control de calidad de los avisos: este aspecto incluye la definición de métricas y procesos para evaluar los avisos de forma automática y con participación humana.
• Optimización de solicitud: el costo y la latencia del modelo de IA pueden depender de la elección del modelo y la duración de la solicitud (número de tokens).

Se han desarrollado muchos enfoques, herramientas y marcos de diseño de avisos automatizados para administrar avisos a escala. Sin embargo, es importante comprender que ninguna de estas herramientas puede reemplazar la comprensión matizada, el juicio y la experiencia de un ingeniero rápido experimentado.

Ingeniería rápida: técnicas y mejores prácticas

1) Ubicación y descripción rápidas

Colocar instrucciones al comienzo del mensaje puede afectar significativamente la comprensión y la respuesta de la IA. Considere la tarea de resumir un texto en un formato de viñetas. Un enfoque menos eficaz sería:

Usuario: Resuma el texto a continuación como una lista de viñetas de los puntos más importantes.
{entrada de texto aquí}

Por otro lado, una técnica más efectiva podría ser:

Usuario: Resuma el texto a continuación como una lista de viñetas de los puntos más importantes.
Texto: """
{entrada de texto aquí}
"" "

Al separar claramente las instrucciones y el contexto con símbolos como ### o “””, el modelo de IA puede delinear mejor su tarea y el texto que necesita procesar, dando así respuestas más precisas y relevantes.

En segundo lugar, ser específico, descriptivo y detallado sobre el contexto, el resultado esperado, la duración, el formato, el estilo, etc., puede mejorar significativamente la precisión de las respuestas de la IA. Suponga que necesita generar una breve descripción general de un artículo científico en un estilo atractivo y fácil de usar. Una instrucción vaga como "Resumir el artículo científico" produciría resultados menos efectivos en comparación con un mensaje específico y detallado:

Usuario: Genere un resumen breve (aprox. 200 palabras) y atractivo del siguiente artículo científico. El resumen debe ser comprensible para alguien sin antecedentes científicos, al mismo tiempo que refleja con precisión los hallazgos clave del artículo.
Papel: """
{texto de artículo científico aquí}
"" "

2) Patrón de Persona

El Patrón de Persona es una estrategia que establece que la IA funcione desde una cierta perspectiva, como un rol profesional o un personaje ficticio. Esta táctica permite que el modelo proporcione resultados relacionados con los roles específicos que manejaría la persona. Por ejemplo, se podría indicar a la IA que actúe como experto en ciberseguridad durante una revisión de código. Este patrón es particularmente útil cuando los usuarios necesitan ayuda pero no están seguros de los detalles exactos que se requieren en la salida.

Tome lo siguiente como ejemplo:

Usuario: “Asumir la personalidad de un historiador senior especializado en la Revolución Francesa. Dada esa personalidad, explique los eventos clave y las razones que llevaron a la caída de la monarquía francesa”.

En este escenario, se espera que la IA responda con un análisis en profundidad de la Revolución Francesa, centrándose en la caída de la monarquía, como lo haría un historiador.

Introducción de nueva información

ChatGPT no posee conocimiento más allá de su límite de entrenamiento, por lo tanto, no puede proporcionar información sobre eventos recientes o actualizaciones posteriores a su entrenamiento. Sin embargo, puede introducir nueva información en el modelo a través de sus indicaciones.

Usuario: “¿Qué es la criptomoneda?”
ChatGPT: “Criptomoneda es un tipo de moneda digital o virtual que utiliza criptografía por seguridad. La criptomoneda más conocida es Bitcoin”.

Ahora, si agregamos un poco más de contexto al indicador, podemos hacer que la explicación sea aún más intuitiva:

Usuario: “Explicar el concepto de criptomoneda a un estudiante de secundaria que estudia finanzas digitales”
ChatGPT: “Imagina que estás jugando un videojuego en línea y hay dinero del juego que puedes ganar para comprar actualizaciones o nuevos personajes. La criptomoneda es algo así, pero en lugar de estar limitada al juego, puedes usarla para comprar bienes y servicios del mundo real. Es como el dinero digital que ningún banco o gobierno controla”.

3) Limitaciones de tamaño de solicitud

Comprender la limitación de tamaño de ChatGPT es esencial, ya que afecta directamente el volumen y el tipo de información que podemos ingresar. Los modelos de lenguaje no están diseñados para procesar datos ilimitados a la vez. Tienen una restricción inherente sobre el tamaño del aviso que podemos crear e ingresar. Esta limitación tiene profundas implicaciones para el diseño y la ejecución de las indicaciones.

ChatGPT tiene un límite de tokens (generalmente 2048 tokens), que incluye tanto el aviso como la respuesta generada. Esto significa que las indicaciones largas pueden limitar la duración de la respuesta. Por lo tanto, es importante que las indicaciones sean concisas pero informativas.

En el uso práctico, debemos actuar como editores, eligiendo selectivamente la información más relevante para la tarea en cuestión. Imagine escribir un documento o un artículo con un límite de palabras o páginas: no puede simplemente volcar hechos al azar, sino seleccionar y estructurar cuidadosamente la información relevante para el tema.

Usuario: “Dadas las limitaciones simbólicas del modelo, resuma los eventos clave de la Segunda Guerra Mundial en menos de 1000 palabras”.

Al reconocer las limitaciones de los tokens del modelo, este aviso indica a la IA que proporcione un resumen conciso pero completo de la Segunda Guerra Mundial.

Indicaciones para uso repetido: en un escenario conversacional, puede reutilizar las indicaciones o refinarlas en función de las respuestas anteriores. Esto da un flujo conversacional y mantiene el contexto en la interacción.

4) Patrón de refinamiento de preguntas

ChatGPT también puede ayudar a refinar sus preguntas. Por ejemplo, si hace una pregunta, puede sugerir una pregunta mejor formulada para obtener resultados más precisos.

El patrón de refinamiento de preguntas implica que el LLM refina las preguntas formuladas por el usuario. Es particularmente útil cuando los usuarios no son expertos en un dominio o no están seguros de cómo formular su pregunta.

Un mensaje de ejemplo puede verse así:

Usuario: “Cada vez que hago una pregunta sobre ciencia de datos, sugiera una pregunta más refinada considerando los detalles del análisis estadístico y pregunte si quiero continuar con la pregunta refinada”.

Aquí, se espera que la IA refine las preguntas generales de ciencia de datos del usuario a preguntas más detalladas que consideren aspectos de análisis estadístico.

5) Patrón Verificador Cognitivo

El patrón de verificación cognitiva divide las preguntas complejas en subpreguntas más pequeñas y manejables. Las respuestas a estas subpreguntas se combinan luego para proporcionar una respuesta integral a la pregunta principal. Este enfoque es útil cuando las preguntas iniciales son de demasiado alto nivel o cuando se necesita mayor claridad para brindar una respuesta completa.

Por ejemplo:

Usuario: “Si hago una pregunta sobre el cambio climático, divídala en tres preguntas más pequeñas que le ayuden a dar una respuesta más precisa. Combine las respuestas a estas subpreguntas para dar la respuesta final”.

En este escenario, la IA dividirá la pregunta compleja sobre el cambio climático en tres subpreguntas manejables. Después de recibir las respuestas a estas subpreguntas, la IA las combinará para brindar una respuesta más completa y precisa.

Este patrón implica generar múltiples preguntas para obtener una respuesta final más precisa. Es un proceso de verificación y consolidación de información para un producto final robusto

6) Enfoque de impulso de pocos disparos

Las indicaciones de pocos disparos son un enfoque poderoso para enseñar a los modelos de IA a seguir patrones específicos o realizar tareas. La idea es alimentar el modelo con una serie de ejemplos antes de hacer la pregunta deseada. Esto ayuda a establecer el comportamiento deseado y guiar las respuestas del modelo.

Considere un escenario en el que un usuario intenta redactar una copia de marketing convincente y concisa para un nuevo dispositivo tecnológico:

Usuario: “Aquí hay algunos ejemplos de copias de marketing tecnológico: 'Experimente la música como nunca antes con nuestros auriculares inalámbricos de última generación'. 'Captura tu mundo en impresionante 4K con nuestra cámara de acción ultraelegante'. Teniendo en cuenta estos ejemplos, redacte una copia de marketing para nuestro nuevo reloj inteligente impulsado por IA”.

ChatGPT: “Potencia tu estilo de vida con nuestro reloj inteligente impulsado por IA, tu compañero para la salud, la conectividad y la productividad”. La característica notable del aprendizaje de pocos disparos es que no requiere una descripción detallada de cómo realizar la tarea. En cambio, requiere demostraciones de lo que se está haciendo, lo que puede hacer que se adapte bien a muchas aplicaciones.

Además, esta técnica se extiende más allá del simple emparejamiento de entrada-salida. También se le puede enseñar al modelo a manejar pasos intermedios para lograr una meta.

7) Incitación a la cadena de pensamientos

En su reciente trabajo de investigación, “Las indicaciones de la cadena de pensamientos provocan el razonamiento en modelos de lenguaje extensoLos autores Jason Wei y el equipo tienen como objetivo estimular el razonamiento dentro de grandes modelos de lenguaje. En lugar de utilizar indicaciones directas tradicionales, el equipo utiliza una serie de indicaciones interconectadas, formando una "cadena de ideas".

Por ejemplo, un usuario podría estar interesado en el impacto potencial de la inteligencia artificial en los mercados laborales:

Usuario: “¿Podría explicar brevemente el concepto de inteligencia artificial?”

ChatGPT: “La inteligencia artificial, o IA, se refiere a la capacidad de una máquina para imitar el comportamiento humano inteligente. Se trata de diseñar máquinas que puedan pensar y aprender como humanos, permitiéndoles realizar tareas como la traducción de idiomas, la toma de decisiones y la resolución de problemas, entre otras”.

Usuario: “¿Cómo está influyendo la IA en el mercado laboral actual?”

ChatGPT: “La IA está creando nuevos empleos y cambiando la naturaleza de los existentes. Por un lado, automatiza tareas rutinarias, lo que provoca despidos en determinados sectores. Por otro lado, está creando una demanda de roles que antes no existían, como responsables de ética de IA, analistas de datos e ingenieros de aprendizaje automático. Además, la IA puede aumentar los roles humanos, permitiendo a las personas realizar tareas de manera más eficiente y precisa”.

Las indicaciones de cadena de pensamientos siguen una progresión de indicaciones relacionadas, manteniendo una "conversación" con el modelo que lo guía hacia respuestas más precisas y contextualmente apropiadas.

Comprender la API de ChatGPT y la ingeniería rápida desde la perspectiva de un desarrollador

Desde la perspectiva de un desarrollador o investigador, la ingeniería rápida es un proceso más complejo. Implica el diseño de algoritmos y técnicas para ayudar al modelo de IA a comprender y responder a las indicaciones de manera más efectiva. Esto podría incluir estrategias para manejar indicaciones ambiguas, identificar el contexto de las indicaciones o encadenar indicaciones para estimular procesos de pensamiento más complejos en la IA.

En la ilustración anterior, un usuario interactúa con una interfaz de chat, con tecnología GPT-4. Su entrada se mejora para mayor claridad y coherencia contextual mediante un módulo especializado antes de alimentar el modelo de IA. La función de este módulo es refinar y mejorar la entrada del usuario para una mejor comprensión y, al mismo tiempo, mantener el contexto de la conversación. La respuesta de la IA, elaborada en base al aviso refinado, se devuelve al usuario a través de la interfaz de chat. El historial de interacciones se actualiza constantemente, manteniendo el contexto conversacional. En general, este diagrama ilustra un flujo de conversación dinámico entre el usuario y la IA habilitado por técnicas de ingeniería rápidas.

El API de ChatGPT La interfaz está diseñada con varios hiperparámetros que permiten a los usuarios refinar las respuestas de la IA a las indicaciones, haciéndolas más efectivas y versátiles. Estos incluyen los parámetros Temperatura, Longitud máxima y Secuencias de parada. Exploremos cómo funcionan y cómo se pueden utilizar en diferentes contextos.

1) Temperatura

El parámetro de temperatura influye en la aleatoriedad de las respuestas de la IA. Una temperatura más alta, como 1.0, fomenta una salida más aleatoria, lo que da como resultado respuestas diversas pero potencialmente fuera de tema. Por el contrario, una temperatura más baja, como 0.2, incita a la IA a seleccionar respuestas más deterministas, lo que puede ser beneficioso para resultados enfocados y específicos, pero puede carecer de variedad.

Ejemplo: si está escribiendo una historia creativa y desea elementos imaginativos e impredecibles, ajuste la temperatura a un valor más alto. Un mensaje podría ser: "Escribe una historia corta sobre un gato que viaja en el tiempo". Con una temperatura alta, puede obtener una historia salvaje y fantástica con giros y vueltas impredecibles.

2) Longitud máxima

Este parámetro controla la longitud máxima del token de la salida del modelo, que incluye tanto los tokens en la entrada como en la salida del mensaje. Establecer un límite más alto permite respuestas más extensas, mientras que un límite más bajo mantiene la salida breve y concisa.

Ejemplo: para respuestas breves a preguntas de trivia como "¿Quién ganó el Premio Nobel de Literatura en 2020?" es posible que desee establecer la longitud máxima en un valor bajo, asegurándose de que la respuesta sea concisa y directa.

3) Secuencias de parada

Las secuencias de parada son cadenas de texto específicas en las que, cuando el modelo las encuentra, deja de generar más resultados. Esta característica puede ser útil para controlar la longitud de la salida o indicarle al modelo que se detenga en puntos finales lógicos.

Ejemplo: para una carta formal, puede usar "Atentamente" como una secuencia de parada para asegurarse de que la IA no genere ningún texto adicional más allá del final adecuado de la carta.

4) P superior

El parámetro 'Top P', también conocido como muestreo de núcleo, es un método que proporciona una selección dinámica del número de palabras consideradas en cada paso de las predicciones del modelo. Un valor más bajo, como 0.5, conduce a resultados más seguros y enfocados. Un valor más alto, como 0.9, incluye una selección más amplia de palabras, lo que genera resultados más diversos.

Ejemplo: si está creando una IA para escribir poemas y quiere que use una amplia variedad de vocabulario y frases estilísticas, puede establecer 'Top P' en un valor más alto. Un mensaje podría ser: "Componga un poema sobre la belleza del otoño".

5) Penalización de Frecuencia

La penalización de frecuencia controla cuánto debe favorecer el modelo las palabras menos frecuentes. Una penalización más alta (hasta 1) anima al modelo a usar palabras menos comunes, mientras que un valor más bajo (hasta -1) anima al modelo a usar palabras más comunes.

Ejemplo: si intenta generar una propuesta comercial y desea evitar la jerga, puede establecer la penalización de frecuencia en un valor más bajo para mantener el lenguaje claro y accesible.

6) Penalización por presencia

El parámetro Penalización de presencia afecta cuánto se penaliza al modelo por generar nuevas ideas o temas que no estaban presentes en el historial de conversación. Los valores más altos animan al modelo a ceñirse a los temas ya mencionados, mientras que los valores más bajos permiten que el modelo introduzca nuevos conceptos con mayor libertad.

Ejemplo: para las sesiones de lluvia de ideas, puede establecer la penalización de presencia en un valor más bajo para fomentar una variedad diversa de ideas. Podría usar un mensaje como "Generar estrategias de marketing innovadoras para una plataforma educativa en línea".

Aplicación industrial de la ingeniería rápida