La nueva economía de la IA se basa en tokens, pero los medimos de manera incorrecta

Está sucediendo un cambio en la IA que la mayoría de las personas sienten pero no entienden completamente: hemos pasado de contar solicitudes a contar tokens.

En la era web, medíamos los sistemas en solicitudes por segundo. Era limpio, intuitivo y en gran medida preciso. Una solicitud llegaba, una respuesta salía y podías escalar la infraestructura alrededor de ese modelo.

Esa abstracción ha desaparecido.

En la IA, la unidad fundamental ya no es la solicitud, sino el token. Cada prompt, cada respuesta y cada cadena de razonamiento se descompone en tokens, que representan el trabajo que realiza el sistema, el costo incurrido y, cada vez más, el valor creado.

Naturalmente, la industria se ha reunido alrededor de este cambio, introduciendo métricas como tokens por segundo, costo por token y evenue por token. Parece que finalmente hemos encontrado una forma de cuantificar los sistemas de IA. Pero ese enfoque es incompleto.

El atajo de la industria: tokens equivalen a valor

Hay una narrativa creciente de que los tokens son la nueva moneda de la IA, es decir, que más tokens equivalen a más inteligencia y, por extensión, más ingresos. Es una idea atractiva, pero simplifica demasiado lo que realmente está sucediendo dentro de estos sistemas.

No todos los tokens son iguales. Algunos tokens representan un trabajo real: analizar datos, generar ideas, automatizar flujos de trabajo y respaldar decisiones que impulsan resultados comerciales. Otros son mucho menos significativos: generación de contenido casual, experimentación o casos de uso que nunca llegan a producción.

Ya puedes ver esto dentro de las empresas. Un equipo puede generar millones de tokens para respaldar la productividad de los desarrolladores o las operaciones de los clientes, lo que impacta directamente la eficiencia y los ingresos. Otro equipo puede generar el mismo volumen de tokens experimentando con herramientas que nunca van más allá de la exploración interna. En papel, las cuentas de tokens parecen idénticas. En realidad, el valor comercial es completamente diferente.

Tratar a todos los tokens como unidades intercambiables de valor crea una visión distorsionada de lo que la IA está haciendo realmente dentro de una organización. Los negocios no se basan en el volumen de tokens; se basan en lo que esos tokens permiten.

Para entender esa diferencia, debes mirar debajo de la superficie y ver cómo funcionan realmente estos sistemas.

Por qué tu segunda solicitud es más rápida que la primera

Si has utilizado alguna vez una herramienta como ChatGPT, probablemente hayas notado que tu segunda pregunta es a menudo más rápida que la primera. Ese comportamiento no se debe a que el modelo se vuelva más inteligente, sino a cómo el sistema reutiliza el contexto de las solicitudes anteriores.

Los sistemas de IA modernos no procesan cada solicitud de forma aislada. Construyen contexto, almacenando las solicitudes y respuestas anteriores en la memoria, a menudo en lo que se llama una caché KV. Esta caché se encuentra cerca de la GPU para que pueda accederse rápidamente cuando se generan respuestas de seguimiento.

La primera solicitud es costosa porque inicializa ese estado, asigna memoria, procesa la entrada y construye el contexto. Las solicitudes posteriores reutilizan ese estado, lo que reduce la latencia y mejora la respuesta.

Esta dinámica se vuelve más importante a medida que las ventanas de contexto se expanden de miles a cientos de miles, o incluso millones, de tokens. Cuanto más contexto retiene un sistema, más presión ejerce sobre la memoria y la infraestructura, lo que hace que sea fundamental decidir qué se almacena, se comprime o se descarta.

Desde la perspectiva del usuario, parece un sistema más rápido. Desde la perspectiva de la infraestructura, es un intercambio complejo entre memoria, latencia y costo.

Aquí es donde se realiza el verdadero trabajo: no solo en el modelo en sí, sino en el sistema que lo rodea.

La restricción última: la energía

Una vez que se va más allá del rendimiento del modelo, la conversación cambia rápidamente.

Los equipos que ejecutan la IA a gran escala no se preguntan principalmente qué modelo es el mejor. Se preguntan cómo mantenerlo.

La infraestructura de la IA está empujando los límites físicos: disponibilidad de energía, capacidad de enfriamiento y ancho de banda de memoria. Los centros de datos se están redesando alrededor de estas restricciones, y las organizaciones que despliegan sistemas de IA a gran escala están comenzando a operar más como servicios públicos que como empresas de software tradicionales.

Ya estamos viendo esto en grandes empresas que construyen infraestructura de IA, donde la energía y el enfriamiento, y no la capacidad del modelo, se están convirtiendo en la restricción principal.

Las cargas de trabajo de la IA no se escalan de manera limpia ni predecible. Generan demanda en compute, memoria y networking al mismo tiempo. Generar más tokens no es simplemente una cuestión de agregar más GPUs; es una cuestión de si la infraestructura subyacente puede soportar la carga de energía y térmica necesaria para mantener esos sistemas funcionando de manera eficiente.

El costo de generar un token, por lo tanto, se extiende más allá del compute. Incluye electricidad, enfriamiento, infraestructura física y la capacidad de mantener el rendimiento bajo carga sin degradación.

La mayoría de las discusiones sobre “costo por token” no reflejan completamente esta realidad. A gran escala, la energía se convierte en el presupuesto, no solo en otro artículo del presupuesto.

El futuro no son modelos más grandes, sino sistemas mejores

Durante los últimos dos años, la industria se ha centrado en comparaciones de modelos, mirando benchmarks, clasificaciones y mejoras incrementales en la capacidad.

Ese enfoque está empezando a cambiar.

En entornos de producción, el rendimiento es menos sobre qué modelo elijes y más sobre cómo lo usas. Las organizaciones se están moviendo hacia sistemas de modelos, combinando modelos grandes y pequeños, enrutando tareas de manera inteligente y optimizando para costo, latencia y rendimiento en todo el flujo de trabajo.

En lugar de enviar cada solicitud a un solo modelo grande, los sistemas descomponen las cargas de trabajo en componentes más pequeños. Las tareas más sencillas se pueden manejar con modelos más eficientes, mientras que el razonamiento más complejo se reserva para los modelos más grandes. El contexto se reutiliza siempre que sea posible, y se aplican estrategias de caché de manera agresiva.

Estas decisiones a menudo tienen un impacto mayor en el rendimiento y el costo que cambiar de un modelo a otro. En ese sentido, los tokens siguen siendo la unidad de trabajo, pero el sistema que los genera y los gestiona se convierte en el verdadero diferenciador.

La capa más descuidada en los sistemas de IA

La IA a menudo se describe en términos de modelos en un lado y aplicaciones en el otro, pero la capa intermedia es donde vive la mayoría de la complejidad y la oportunidad.

Esta capa no solo mueve solicitudes; las da forma. Determina cómo fluye el tráfico, cómo se aplican las decisiones y cómo se comportan los sistemas en condiciones del mundo real.

La entrega y la seguridad no se pueden tratar como preocupaciones separadas aquí. La misma capa que enruta solicitudes y gestiona el contexto también es donde se aplican las políticas, se mitigan los riesgos y se establece la confianza.

A medida que crece la complejidad, las soluciones puntuales se desmoronan. Lo que se necesita es una plataforma unificada que pueda coordinar estas funciones en tiempo real, en lugar de coserlas después del hecho.

Aquí es donde se toman las decisiones de intercambio. Es donde se controla el costo, se optimiza el rendimiento y se toman decisiones de seguridad en tiempo real. A medida que los sistemas de IA se escalan, esta capa se vuelve cada vez más importante. Es la diferencia entre un sistema que se desempeña bien en una demostración y uno que opera de manera confiable y eficiente en producción. Ese cambio tiene implicaciones reales para cómo las organizaciones diseñan y gestionan los sistemas de IA.

Qué significa esto para las organizaciones

A medida que las empresas llevan la IA a la producción, la pregunta no es solo qué modelo usar, sino cómo diseñar el sistema que lo rodea para que funcione.

Esto significa pensar más allá de las métricas de tokens y los benchmarks de modelos, y centrarse en cómo se enrutaron las solicitudes, cómo se gestiona el contexto y cómo se aplican las políticas en todo el flujo de trabajo.

La mayoría de las organizaciones todavía están cosiendo estas piezas, y ese enfoque no se mantiene bajo la presión de la producción real.

Estamos midiendo lo incorrecto

Los tokens proporcionan una abstracción útil. Nos dan a la industria una forma de cuantificar algo que una vez se sentía intangible, pero no son la imagen completa.

En este momento, la industria se está moviendo hacia lo que es más fácil de medir, como las cuentas de tokens, el rendimiento y las métricas de costo, en lugar de lo que importa más. Sin contexto, esos números pueden ser engañosos.

La próxima fase de la IA no se definirá por quién genera la mayoría de los tokens. Se definirá por quién entiende qué representan esos tokens y quién puede construir sistemas que los conviertan en resultados significativos, eficientes y escalables.

Porque al final, los tokens no son el producto. Son simplemente el subproducto de la inteligencia que se está creando.