Cuando la IA Piensa como los Humanos: Explorando la Mente de LLMs y Agentes

Hoy en día, los LLMs y agentes aprenden, analizan y toman decisiones de maneras que pueden difuminar la línea entre su “pensamiento” algorítmico y la mente humana. Los enfoques en los que se basan ya imitan nuestros procesos cognitivos, y la escala de su capacitación supera la experiencia humana en varios órdenes de magnitud. Esto plantea la pregunta: ¿estamos creando una herramienta que amplía nuestras capacidades, o estamos dando lugar a un nuevo tipo de mente cuyas consecuencias aún son imposibles de predecir?

Cómo piensan los modelos

Es importante distinguir entre los conceptos de LLMs y agentes. Para dibujar una analogía con una computadora, un LLM se puede comparar con uno de sus componentes, por ejemplo, el procesador. Un agente, sin embargo, es el sistema completo, una “placa base” a la que se conectan varios módulos: memoria, tarjeta gráfica y red. De manera similar, un agente es un sistema complejo que puede incorporar uno o más LLMs, complementados con mecanismos de toma de decisiones y herramientas para interactuar con el entorno externo.

Si consideramos el trabajo de un solo LLM, todo se reduce a la coincidencia de patrones. Sin embargo, cuando un agente encadena múltiples LLMs, podemos decir que “piensa”, aunque este proceso aún se basa en patrones. El agente construye la lógica de interacción entre los modelos: por ejemplo, un LLM analiza la tarea, y en función de este análisis, el agente determina qué acción debe realizar otro LLM.

El pensamiento humano funciona de manera similar: nos basamos en el conocimiento y los patrones acumulados, los seleccionamos en el momento adecuado, los procesamos y formulamos conclusiones. Este proceso se llama razonamiento.

ChatGPT, al igual que un humano, tiene dos tipos de memoria: a corto plazo y a largo plazo. La diferencia es que en los humanos, el acceso a estos niveles de memoria es más complejo y no siempre lineal.

La memoria a corto plazo es la información con la que estamos trabajando en este momento. Para una persona, podría ser lo que dijiste hace cinco minutos: podría recordarlo o no. GPT, sin embargo, siempre tiene en cuenta todo dentro de su “ventana de contexto” – no puede saltar ni ignorar estos datos.

La memoria a largo plazo en los humanos consiste en recuerdos que no siempre están activos y pueden surgir solo con desencadenantes específicos: un recuerdo de la infancia, un trauma o, por ejemplo, trabajar con un psicólogo. GPT tiene una lógica similar: no “recuerda” la información por sí solo a menos que se active específicamente. Por ejemplo, una instrucción como “Nunca me preguntes esto de nuevo” o “Siempre háblame de manera formal” se puede almacenar en la memoria a largo plazo y aplicar durante cada sesión.

Otro ejemplo de memoria a largo plazo son los documentos guardados. Supongamos que subiste a GPT una instrucción para realizar una investigación de marketing. El modelo puede almacenarla en la memoria, pero eso no significa que se refiera a ese documento con cada pregunta. Si preguntas: “¿Puedes iluminar la Luna con una linterna?”, GPT ignorará la instrucción. Pero si la solicitud contiene palabras clave que coinciden con el texto del documento, el modelo puede “recordarlo”.

Este mecanismo se implementa a través de RAG (Generación mejorada con recuperación), un enfoque en el que el modelo obtiene acceso a la información almacenada activada por señalesizaciones relevantes a través de bases de datos vectoriales.

Así, se puede decir que el modelo realmente tiene memoria, pero funciona según una lógica más formalizada, distinta de la memoria humana.

¿Por qué una conversación con la IA a veces se siente terapéutica y otras veces fría y robótica?

Los modelos de lenguaje modernos son extremadamente grandes: almacenan una cantidad colossal de datos, conocimiento y contexto. Toda esta información se organiza en áreas temáticas y semánticas llamadas “clusters”. El modelo se entrenó con fuentes diversas, que van desde la ficción y los artículos científicos hasta los comentarios de YouTube.

Cuando interactúas con la IA, tu consulta (prompt) dirige efectivamente al modelo hacia un cluster determinado.

Por ejemplo, si escribes: “Eres un abogado de bienes raíces en Nueva York con 20 años de experiencia, ayúdame a comprar un apartamento”, el modelo activa varios clusters al mismo tiempo: abogado → Nueva York → bienes raíces. Como resultado, recibes una respuesta coherente, relevante y realista, como si realmente estuvieras consultando a un profesional experimentado.

Si la consulta se refiere a temas más personales o filosóficos, como el auto-desarrollo o las emociones, el modelo “cambia” a otros clusters, como la psicología, la filosofía o el trabajo interno. En este caso, sus respuestas pueden parecer sorprendentemente humanas y hasta terapéuticas.

Sin embargo, con un lenguaje demasiado general o vago, el modelo se “pierde” en su estructura de clusters y da una respuesta predeterminada, formal, distante y carente de tono emocional.

El estilo y la profundidad de la respuesta de la IA dependen de a qué cluster la diriges con tu prompt.

La filosofía del entrenamiento de modelos y RLHF

La inteligencia artificial tiene diferentes enfoques para aprender. No es tanto una filosofía como una estrategia.

La opción clásica es el aprendizaje supervisado, donde el modelo se le da una pregunta y la respuesta correcta. Aprende observando lo que se considera correcto y luego reproduce soluciones similares en el futuro.

Pero otro enfoque es RLHF (Aprendizaje por Refuerzo con Retroalimentación Humana). Este es un estilo diferente: el modelo intenta algo, recibe una “recompensa” por acciones exitosas y ajusta su comportamiento. Gradualmente, desarrolla una estrategia efectiva.

RLHF se puede comparar con el proceso de convertir materia prima en un producto terminado. Para hacer un modelo que sea conveniente de usar, se requiere una cantidad colossal de trabajo con retroalimentación humana.

Imagina que te muestro un objeto sin nombrarlo directamente. Tú dudas: “¿Es un estuche de cigarros? Un portatarjetas?” Solo te doy pistas como: “Más cerca”, “Más lejos”, “60% sí”. Después de cientos de estas iteraciones, adivinas: “Ah, es una cartera”.

Los LLMs se entrenan de esta manera. Los humanos, anotadores y profesionales en general, evalúan: esta respuesta es buena, esta es mala, y asignan puntuaciones. Empresas como Keymakr, que se especializan en anotación y validación de datos de alta calidad, juegan un papel clave en este proceso. La retroalimentación también proviene de usuarios comunes: me gusta, quejas y reacciones. El modelo interpreta estas señalesizaciones, formando patrones de comportamiento.

Cómo se ve el entrenamiento de modelos en la práctica

Un ejemplo vívido es el experimento de OpenAI entrenando agentes utilizando aprendizaje por refuerzo en el juego “Escondite”.

Participaron dos equipos en él: los “buscadores” (rojo) y los “escondidos” (azul). Las reglas eran simples: si un buscador atrapa a un escondido, gana un punto; si no, pierde uno. Inicialmente, los agentes solo tenían habilidades físicas básicas, correr y saltar, sin estrategias predefinidas.

Al principio, los buscadores actuaban de manera caótica, y atrapar a los oponentes sucedía por casualidad. Pero después de millones de iteraciones, su comportamiento evolucionó. Los escondidos comenzaron a usar objetos circundantes para bloquear puertas y construir barreras. Estas habilidades surgieron sin programación directa, puramente a través de intentos repetidos y recompensas por el éxito.

En respuesta, los buscadores comenzaron a usar saltos, una capacidad disponible desde el principio pero previamente ignorada. Después de una serie de fracasos, el uso aleatorio de saltos reveló su valor táctico. Luego, los escondidos complicaron su defensa aún más, quitando objetos de la línea de visión de los buscadores y construyendo refugios más seguros.

El experimento mostró que a través de billones de ciclos de prueba, error, recompensas y penalizaciones, se puede formar un comportamiento cooperativo complejo sin intervención del desarrollador. Además, los agentes comenzaron a actuar en coordinación, incluso aunque los mecanismos de comunicación no se programaron, simplemente porque el trabajo en equipo resultó más efectivo.

Es lo mismo con los grandes modelos de lenguaje. Es imposible escribir todos los escenarios: hay demasiadas situaciones y demasiada variabilidad en el mundo. Por lo tanto, no enseñamos al modelo reglas fijas; le enseñamos a aprender.

Este es el valor de RLHF. Sin él, un LLM y los agentes siguen siendo solo una biblioteca de textos. Con él, se convierte en un compañero de conversación capaz de adaptarse, corregirse a sí mismo y, esencialmente, evolucionar.

¿Qué viene a continuación?

Muchos se preguntan si el desarrollo de LLMs y agentes podría llevar a consecuencias indeseables o incluso peligrosas.

Es importante entender que lo que vemos hoy no es ni siquiera un MVP, sino simplemente un prototipo.

La verdadera revolución no será sobre ayudar a escribir una hermosa carta o traducirla al francés. Esas son cosas menores. La dirección principal es la automatización de microtareas y procesos rutinarios, dejando a los humanos solo tareas verdaderamente creativas, intelectuales o tiempo para descansar.

Las verdaderas innovaciones se centran en torno a los agentes, sistemas que pueden pensar, actuar y tomar decisiones de manera independiente en lugar de una persona. Esto es precisamente donde empresas como OpenAI, Google, Meta y otras están enfocando sus esfuerzos hoy en día.

Los grandes modelos de lenguaje son solo la base. El verdadero futuro radica en los agentes entrenados para vivir en un mundo dinámico, recibir retroalimentación y adaptarse a los cambios.