Nuevas investigaciones cuestionan el precio por ‘tokens’ en las charlas de IA

Las nuevas investigaciones muestran que la forma en que los servicios de IA facturan por tokens oculta el costo real a los usuarios. Los proveedores pueden inflar silenciosamente los cargos manipulando los recuentos de tokens o introduciendo pasos ocultos. Algunos sistemas ejecutan procesos adicionales que no afectan la salida pero que aún aparecen en la factura. Se han propuesto herramientas de auditoría, pero sin una supervisión real, los usuarios se quedan pagando más de lo que se dan cuenta.

En casi todos los casos, lo que pagamos como consumidores por interfaces de chat impulsadas por IA, como ChatGPT-4o, se mide actualmente en tokens: unidades de texto invisibles que no se notan durante el uso, pero que se cuentan con precisión exacta para fines de facturación; y aunque cada intercambio se factura según la cantidad de tokens procesados, el usuario no tiene forma directa de confirmar el recuento.

A pesar de nuestra comprensión (en el mejor de los casos) imperfecta de lo que obtenemos por nuestra unidad de ‘token’ comprada, la facturación basada en tokens se ha convertido en el enfoque estándar en los proveedores, descansando en lo que puede ser una suposición precaria de confianza.

Palabras de token

Un token no es exactamente lo mismo que una palabra, aunque a menudo desempeña un papel similar, y la mayoría de los proveedores utilizan el término ‘token’ para describir pequeñas unidades de texto como palabras, signos de puntuación o fragmentos de palabras. La palabra ‘increíble’, por ejemplo, podría ser contada como un solo token por un sistema, mientras que otro podría dividirla en in, creí y ble, con cada pieza aumentando el costo.

Este sistema se aplica tanto al texto que ingresa el usuario como a la respuesta del modelo, con el precio basado en la cantidad total de estas unidades.

La dificultad radica en el hecho de que los usuarios no pueden ver este proceso. La mayoría de las interfaces no muestran los recuentos de tokens mientras se produce una conversación, y la forma en que se calculan los tokens es difícil de reproducir. Incluso si se muestra un recuento después de una respuesta, es demasiado tarde para determinar si fue justo, lo que crea una discrepancia entre lo que el usuario ve y lo que paga.

Las investigaciones recientes señalan problemas más profundos: un estudio muestra cómo los proveedores pueden cobrar de más sin romper las reglas, simplemente inflando los recuentos de tokens de maneras que el usuario no puede ver; otro revela la discrepancia entre lo que las interfaces muestran y lo que se factura en realidad, dejando a los usuarios con la ilusión de eficiencia donde puede que no la haya; y un tercer expone cómo los modelos generan rutinariamente pasos de razonamiento internos que nunca se muestran al usuario, pero que aún aparecen en la factura.

Los hallazgos describen un sistema que parece preciso, con números exactos que implican claridad, pero cuya lógica subyacente permanece oculta. Ya sea que esto sea por diseño o un defecto estructural, el resultado es el mismo: los usuarios pagan por más de lo que pueden ver, y a menudo más de lo que esperan.

Más barato por docena!

En el primer de estos artículos – titulado ¿Está su LLM cobrando de más? Tokenización, transparencia e incentivos, de cuatro investigadores del Instituto Max Planck para Sistemas de Software – los autores argumentan que los riesgos de la facturación basada en tokens van más allá de la opacidad, señalando un incentivo incorporado para que los proveedores inflen los recuentos de tokens:

‘El núcleo del problema radica en el hecho de que la tokenización de una cadena no es única. Por ejemplo, considere que el usuario envía la solicitud “¿Dónde se lleva a cabo la próxima NeurIPS?” al proveedor, el proveedor la introduce en un LLM y el modelo genera la salida “|San| Diego|” que consta de dos tokens.

‘Dado que el usuario es ajeno al proceso generativo, un proveedor que se beneficia a sí mismo tiene la capacidad de informar mal la tokenización de la salida al usuario sin siquiera cambiar la cadena subyacente. Por ejemplo, el proveedor podría simplemente compartir la tokenización “|S|a|n| |D|i|e|g|o|” y cobrar al usuario por nueve tokens en lugar de dos!’

El artículo presenta un método heurístico capaz de realizar este tipo de cálculo deshonesto sin alterar la salida visible, y sin violar la plausibilidad en configuraciones de descodificación típicas. Probado en modelos de LLaMA, Mistral y Gemma, utilizando solicitudes reales, el método logra sobreprecios medibles sin parecer anormal:

Inflación de tokens mediante ‘informes plausibles’. Cada panel muestra el porcentaje de tokens sobreprecios resultantes de que un proveedor aplique el Algoritmo 1 a salidas de 400 solicitudes de LMSYS, bajo parámetros de muestreo variables (m y p). Todas las salidas se generaron a una temperatura de 1,3, con cinco repeticiones por configuración para calcular intervalos de confianza del 90%. Fuente: https://arxiv.org/pdf/2505.21627

Para abordar el problema, los investigadores llaman a la facturación basada en recuento de caracteres en lugar de tokens, argumentando que este es el único enfoque que da a los proveedores una razón para informar el uso con honestidad, y afirman que si el objetivo es un precio justo, entonces vincular el costo a caracteres visibles, no a procesos ocultos, es la única opción que resiste el escrutinio. La facturación basada en caracteres, argumentan, eliminaría el motivo para informar mal mientras también recompensa salidas más concisas y eficientes.

Aquí hay una serie de consideraciones adicionales, sin embargo (en la mayoría de los casos admitidas por los autores). En primer lugar, el esquema de facturación basado en caracteres propuesto introduce una lógica de negocio adicional que puede favorecer al vendedor sobre el consumidor:

‘[Un] proveedor que nunca informa mal tiene un incentivo claro para generar la secuencia de tokens de salida más corta posible, y mejorar los algoritmos de tokenización actuales, como BPE, para que compriman la secuencia de tokens de salida tanto como sea posible’

La motivación optimista aquí es que el vendedor está así incentivado a producir salidas concisas y más significativas y valiosas. En la práctica, obviamente hay formas menos virtuosas para que un proveedor reduzca el recuento de texto.

En segundo lugar, es razonable asumir, afirman los autores, que las empresas probablemente requerirían legislación para cambiar del sistema de tokens arcano a un método de facturación más claro y basado en texto. Más adelante, un startup insurgente puede decidir diferenciar su producto lanzándolo con este tipo de modelo de precios; pero cualquier persona con un producto verdaderamente competitivo (y que opere a una escala inferior a la de EEE) está desincentivada para hacerlo.

Finalmente, algoritmos ladrón como el que proponen los autores vendrían con su propio costo computacional; si el costo de calcular un ‘sobrecargo’ excediera el beneficio potencial, el esquema claramente no tendría mérito. Sin embargo, los investigadores enfatizan que su algoritmo propuesto es efectivo y económico.

Los autores proporcionan el código para sus teorías en GitHub.

El cambio

El segundo artículo – titulado Tokens invisibles, facturas visibles: La necesidad urgente de auditar operaciones ocultas en servicios de LLM opacos, de investigadores de la Universidad de Maryland y Berkeley – argumenta que los incentivos desalineados en las API de modelos de lenguaje comerciales no se limitan a la división de tokens, sino que se extienden a clases enteras de operaciones ocultas.

Estas incluyen llamadas internas de modelo, razonamiento especulativo, uso de herramientas y interacciones entre agentes – todas las cuales pueden ser facturadas al usuario sin visibilidad ni recurso.

Precios y transparencia de las API de razonamiento de LLM entre los principales proveedores. Todos los servicios enumerados cobran a los usuarios por tokens de razonamiento internos ocultos, y ninguno hace que estos tokens sean visibles en tiempo de ejecución. Los costos varían significativamente, con el modelo o1-pro de OpenAI cobrando diez veces más por millón de tokens que Claude Opus 4 o Gemini 2.5 Pro, a pesar de la opacidad igual. Fuente: https://www.arxiv.org/pdf/2505.18471

A diferencia de la facturación convencional, donde la cantidad y la calidad de los servicios son verificables, los autores sostienen que las plataformas de LLM actuales operan bajo opacidad estructural: los usuarios son cobrados en función de los tokens y el uso de la API informados, pero no tienen medios para confirmar que estas métricas reflejan un trabajo real o necesario.

El artículo identifica dos formas clave de manipulación: inflación de cantidad, donde se aumenta el número de tokens o llamadas sin beneficio para el usuario; y degradación de calidad, donde se utilizan modelos o herramientas de menor rendimiento en lugar de componentes de alta gama en silencio:

‘En las API de razonamiento de LLM, los proveedores a menudo mantienen varias variantes de la misma familia de modelos, que difieren en capacidad, datos de entrenamiento o estrategia de optimización (por ejemplo, ChatGPT o1, o3). La degradación del modelo se refiere a la sustitución silenciosa de modelos de menor costo, lo que puede introducir una discrepancia entre la calidad del servicio esperada y real.

‘Por ejemplo, una solicitud puede ser procesada por un modelo de tamaño más pequeño, mientras que la facturación permanece sin cambios. Esta práctica es difícil de detectar para los usuarios, ya que la respuesta final puede parecer plausible para muchas tareas.’

El artículo documenta instancias en las que más del noventa por ciento de los tokens facturados nunca se mostraron a los usuarios, con la inflación de tokens internos aumentando el uso de tokens en un factor mayor que veinte. Justificada o no, la opacidad de estos pasos niega a los usuarios cualquier base para evaluar su relevancia o legitimidad.

En sistemas agénticos, la opacidad aumenta, ya que los intercambios internos entre agentes de IA pueden incurrir en cargos sin afectar significativamente la salida final:

‘Más allá del razonamiento interno, los agentes se comunican intercambiando solicitudes, resúmenes y instrucciones de planificación. Cada agente interpreta las entradas de otros y genera salidas para guiar el flujo de trabajo. Estos mensajes entre agentes pueden consumir una cantidad sustancial de tokens, que a menudo no son visibles para los usuarios finales.

‘Todos los tokens consumidos durante la coordinación de agentes, incluidas las solicitudes generadas, las respuestas y las instrucciones relacionadas con herramientas, normalmente no se muestran al usuario. Cuando los agentes mismos utilizan modelos de razonamiento, la facturación se vuelve aún más opaca’

Para abordar estos problemas, los autores proponen un marco de auditoría en capas que involucra pruebas criptográficas de actividad interna, marcadores verificables de identidad de modelo o herramienta, y supervisión independiente. La preocupación subyacente, sin embargo, es estructural: los esquemas de facturación de LLM actuales dependen de una asimetría de información persistente, que deja a los usuarios expuestos a costos que no pueden verificar ni desglosar.

Contando lo invisible

El artículo final, de investigadores de la Universidad de Maryland, replantea el problema de la facturación no como una cuestión de mal uso o informes erróneos, sino de estructura. El artículo – titulado CoIn: Contando los tokens de razonamiento invisibles en las API de LLM comerciales opacas, y de diez investigadores de la Universidad de Maryland – observa que la mayoría de los servicios de LLM comerciales ahora ocultan el razonamiento intermedio que contribuye a la respuesta final del modelo, pero todavía cobran por esos tokens.

El artículo afirma que esto crea una superficie de facturación no observable donde pueden fabricarse, inyectarse o inflarse secuencias enteras sin detección*:

‘[Esto] invisibilidad permite a los proveedores informar mal los recuentos de tokens o inyectar tokens de razonamiento fabricados de bajo costo para inflar artificialmente los recuentos de tokens. Nos referimos a esta práctica como inflación de recuentos de tokens.

‘Por ejemplo, una sola ejecución de alta eficiencia de ARC-AGI realizada por el modelo o3 de OpenAI consumió 111 millones de tokens, costando $66,772.3 Dado esta escala, incluso las manipulaciones pequeñas pueden tener un impacto financiero sustancial.

‘Esta asimetría de información permite a las empresas de IA cobrar a los usuarios en exceso, lo que socava sus intereses.’

Para contrarrestar esta asimetría, los autores proponen CoIn, un sistema de auditoría de terceros diseñado para verificar tokens ocultos sin revelar su contenido, y que utiliza huellas dactilares hash y comprobaciones semánticas para detectar signos de inflación.

Visión general del sistema de auditoría CoIn para LLM comerciales opacos. El panel A muestra cómo las incrustaciones de tokens de razonamiento se hash en un árbol de Merkle para la verificación del recuento de tokens sin revelar el contenido de los tokens. El panel B ilustra las comprobaciones de validez semántica, donde las redes neuronales ligeras comparan los bloques de razonamiento con la respuesta final. Fuente: https://arxiv.org/pdf/2505.13778

Un componente verifica los recuentos de tokens criptográficamente utilizando un árbol de Merkle; el otro evalúa la relevancia del contenido oculto comparándolo con la incrustación de la respuesta. Esto permite a los auditores detectar relleno o irrelevancia – signos de que los tokens se insertan simplemente para aumentar la factura.

Cuando se desplegó en pruebas, CoIn logró una tasa de detección del 95% para algunas formas de inflación, con una exposición mínima de los datos subyacentes. Aunque el sistema aún depende de la cooperación voluntaria de los proveedores y tiene una resolución limitada en casos de borde, su punto más amplio es inconfundible: la arquitectura misma de la facturación de LLM actuales asume una honestidad que no se puede verificar.

Conclusión

Además de la ventaja de obtener el pago anticipado de los usuarios, un sistema de scrip basado en la moneda (como el sistema ‘buzz’ en CivitAI) ayuda a abstraer a los usuarios de la verdadera valor de la moneda que están gastando, o la mercancía que están comprando. De manera similar, dar a un proveedor la libertad de definir sus propias unidades de medición deja al consumidor en la oscuridad sobre lo que realmente está gastando, en términos de dinero real.

Al igual que la falta de relojes en Las Vegas, medidas de este tipo a menudo están diseñadas para hacer que el consumidor sea imprudente o indiferente al costo.

El token escasamente comprendido, que puede consumirse y definirse de muchas maneras, quizás no sea una unidad de medición adecuada para el consumo de LLM – no menos porque puede costar muchos más tokens calcular un resultado de LLM más pobre en un idioma no inglés, en comparación con una sesión basada en inglés.

Sin embargo, la salida basada en caracteres, como sugieren los investigadores del Max Planck, probablemente favorecería lenguajes más concisos y penalizaría lenguajes naturalmente verbosos. Dado que las indicaciones visuales, como un contador de tokens que se deprecia, probablemente nos harían un poco más derrochadores en nuestras sesiones de LLM, parece poco probable que tales útiles adiciones de GUI estén llegando pronto – al menos sin acción legislativa.

* Énfasis de los autores. Mi conversión de las citas en línea de los autores a enlaces.

Publicado por primera vez el jueves 29 de mayo de 2025