Por qué los costos de los tokens no indican si la IA empresarial está funcionando

La IA empresarial está atravesando un ciclo conocido. Al principio, las organizaciones apostaron fuerte y recurrieron a los modelos más grandes y capaces porque la tecnología resultaba emocionante y todavía no había llegado la factura. Cuando llegó, la reacción fue igual de previsible: los equipos empezaron a racionar el acceso, reducir la experimentación y buscar modelos menos costosos.

Ali Ghodsi, cofundador y director ejecutivo de Databricks, ha descrito la etapa inicial de este ciclo como «maximización de tokens», en la que consumir más tokens se considera una señal de progreso. La etapa más importante es la de «maximización del valor», que consiste en entender qué se obtiene con ese gasto y destinarlo al trabajo que importa.

Esto no es simplemente una nueva forma de llamar a la optimización de costos. La optimización de costos plantea cómo puede gastar menos una organización, mientras que la maximización del valor plantea cómo puede obtener más de lo que gasta. Esta distinción será cada vez más importante a medida que la IA pase de experimentos aislados a las operaciones cotidianas de las empresas.

El modelo más grande no siempre es el adecuado

Muchas organizaciones iniciaron sus programas de IA utilizando el modelo más potente disponible para casi todas las tareas. Este enfoque tenía sentido durante la primera fase de experimentación, cuando los equipos intentaban entender qué podía hacer la tecnología y la capacidad del modelo importaba más que la previsibilidad.

Sin embargo, a medida que crecían las implementaciones, resultaba cada vez más difícil justificar el costo de usar un modelo de vanguardia para cada solicitud. Algunas organizaciones reaccionaron limitando el acceso o pidiendo a los equipos que hicieran menos, pero las restricciones generales pueden frenar tanto la experimentación útil como el derroche real.

Está surgiendo un enfoque más maduro. Los equipos empiezan a asignar modelos más pequeños y especializados a las tareas rutinarias, y reservan los modelos más capaces para las tareas que requieren razonamiento complejo o conllevan un alto costo en caso de fallo. Con el tiempo, algunas organizaciones también podrían implementar modelos en su propia infraestructura para tener un mayor control sobre los costos, el rendimiento y los datos sensibles.

La pregunta importante no es si un modelo grande es mejor que uno pequeño. La cuestión es si el modelo es adecuado para el trabajo y si el resultado justifica el costo total de obtenerlo.

Los tokens muestran actividad, no valor

La mayoría de los paneles de control de IA empresarial se centran en el consumo. Muestran cuántos tokens se utilizaron, qué modelos los procesaron y cuánto gastó la organización. Esos datos son necesarios, pero no revelan si el trabajo produjo un resultado útil.

Un equipo que consume el doble de tokens no necesariamente crea el doble de valor. Puede estar abordando un trabajo más difícil, utilizando un modelo más potente de lo necesario o dependiendo de un agente que vuelve a intentar repetidamente tareas fallidas. Un flujo de trabajo con costos elevados de modelos puede seguir siendo una excelente inversión si evita interrupciones, resuelve problemas de los clientes o devuelve a los empleados horas de tiempo valioso.

El mismo problema existe desde hace años en la observabilidad, solo que se mide en gigabytes en lugar de tokens. Los equipos empezaron recopilándolo todo porque la máxima visibilidad parecía la estrategia más segura. Cuando aumentaron las facturas de almacenamiento y procesamiento, empezaron a muestrear datos, reducir los períodos de retención y descartar contexto para controlar los gastos.

En ambos casos, la respuesta al aumento de los costos ha sido a menudo hacer menos. En cambio, las organizaciones necesitan poder identificar qué actividad aporta valor, cuál es un derroche y cuál podría hacerse de manera más eficiente sin sacrificar el resultado.

El costo real va más allá de la inferencia

Una llamada al modelo rara vez representa todo el flujo de trabajo de IA. Antes de dar una respuesta, un agente puede recuperar documentos, consultar una base de datos, buscar en datos de telemetría, llamar a servicios externos y generar nuevas actividades en aplicaciones o infraestructuras.

Pensemos en un agente que investiga por qué aumentó la latencia del proceso de pago tras una implementación. Podría examinar registros, comparar métricas, inspeccionar trazas, recuperar registros de implementación y analizar servicios dependientes. Si su primera hipótesis falla, podría modificar el intervalo de tiempo, buscar con distintos nombres de servicio y explorar varias causas alternativas.

Por lo tanto, una sola instrucción humana puede generar cientos de operaciones ejecutadas por máquinas. Esas operaciones consumen recursos de cómputo, entrada y salida de datos de almacenamiento, capacidad de red y cuotas de API de terceros; es posible que ninguno de esos costos aparezca en el panel de gastos de modelos de la organización.

Esto significa que un modelo aparentemente barato puede dar soporte a un flujo de trabajo costoso. Un modelo más capaz podría costar más por llamada, pero llegar a la conclusión correcta en menos pasos y requerir menos reintentos y menos infraestructura de apoyo. La única manera de hacer esa comparación es observar la tarea completa.

Conectar actividad, costos y resultados

La maximización del valor exige que las organizaciones conecten tres tipos de información que a menudo se miden por separado.

La primera es la actividad de la IA, que incluye la selección de modelos, el consumo de tokens, la latencia, las llamadas a herramientas, los reintentos y las ramas paralelas. La segunda es el costo de infraestructura y financiero generado por esa actividad, incluidos el cómputo, el almacenamiento, el uso de la red, la carga de la base de datos y los cargos por API externas. La tercera es el resultado, que debería indicar si el trabajo se completó correctamente y si alguien consideró útil el resultado.

No es necesario expresar todos los resultados en una cantidad exacta en dólares. Puede bastar con una medida práctica, como determinar si se aceptó una respuesta, si alguien tuvo que repetir el trabajo, si se resolvió un incidente más rápido o si un flujo de trabajo automatizado se completó sin intervención.

Por ejemplo, una investigación de un incidente que genere cientos de consultas puede valer la pena si ayuda a los ingenieros a restablecer un servicio crítico 30 minutos antes. Un flujo de trabajo mucho más pequeño aún puede ser ineficiente si produce un informe que nadie lee. El consumo de tokens por sí solo no permite distinguir entre ambos casos.

Cuando las organizaciones pueden vincular la actividad con los resultados, pueden decidir de forma deliberada dónde usar modelos de frontera, dónde bastan modelos más pequeños y dónde es necesario rediseñar un flujo de trabajo.

La visibilidad no debería exigir renunciar al control

Comprender el valor de la IA requiere acceso a información contextual sensible. Las instrucciones, las respuestas generadas, el código fuente, la información de los clientes y la telemetría de producción pueden formar parte de un mismo flujo de trabajo.

Las organizaciones no deberían tener que exportar esta información a un servicio externo solo para comprender el rendimiento de sus sistemas de IA. Las instrucciones y el contexto de producción que hacen útil la medición pueden ser precisamente la información que los equipos de seguridad, privacidad y cumplimiento no pueden permitir que salga del entorno de la organización.

Por eso, los responsables de las empresas deberían preguntar dónde se procesan sus datos de IA y observabilidad, quién puede acceder a ellos, durante cuánto tiempo se conservan y si el análisis puede realizarse dentro de los límites de seguridad existentes. Una buena gobernanza depende de la visibilidad, pero esta no debe generar un nuevo problema de control de datos.

Mantener el análisis cerca de los datos subyacentes también facilita vincular la actividad de la IA con las aplicaciones, la infraestructura y los procesos empresariales a los que afecta. Esa visión integral permite a los equipos comprender no solo cuánto gastaron, sino también qué rendimiento obtuvieron de ese gasto.

Optimizar el valor, no el volumen

Las organizaciones que tengan éxito en la próxima etapa de la IA empresarial no serán necesariamente las que utilicen más tokens o gasten menos. Serán las que puedan identificar qué modelos y cargas de trabajo producen resultados significativos y utilizar ese conocimiento para orientar su implementación.

Esto exige ir más allá de los paneles aislados de costos de los modelos. Los equipos necesitan observar todo el recorrido, desde la solicitud del usuario hasta las llamadas a modelos, las herramientas, la infraestructura y el resultado final, y al mismo tiempo mantener la información sensible bajo el control adecuado de la organización.

Tokenmaxxing fue una etapa útil porque fomentó la experimentación y reveló lo que podía hacer la IA. Valuemaxxing es la disciplina que debe venir después: combina visibilidad, costos y resultados para que las organizaciones puedan seguir experimentando sin perder el control de sus gastos ni de sus datos.

La IA empresarial no tiene que reducirse simplemente porque hayan llegado las primeras facturas. Debe utilizarse de forma más deliberada, ajustando el esfuerzo a la dificultad, los modelos a las tareas y el gasto al valor medible.