Novas Pesquisas Questionam Preços Baseados em ‘Tokens’ para Chat de IA

Novas pesquisas mostram que a forma como os serviços de IA cobram por tokens esconde o custo real dos usuários. Os provedores podem inflar silenciosamente os preços alterando a contagem de tokens ou inserindo etapas ocultas. Alguns sistemas executam processos extras que não afetam a saída, mas ainda aparecem na fatura. Ferramentas de auditoria foram propostas, mas sem supervisão real, os usuários ficam pagando por mais do que percebem.

Em quase todos os casos, o que pagamos como consumidores por interfaces de chat de IA, como o ChatGPT-4o, é medido em tokens: unidades de texto invisíveis que passam despercebidas durante o uso, mas são contadas com precisão exata para fins de faturamento; e embora cada troca seja cobrada pelo número de tokens processados, o usuário não tem como confirmar a contagem.

Apesar de nossa compreensão imperfeita (na melhor das hipóteses) do que obtemos por nossa unidade de ‘token’ comprada, a faturamento baseado em tokens se tornou a abordagem padrão entre os provedores, repousando em uma suposição precária de confiança.

Palavras de Token

Um token não é exatamente o mesmo que uma palavra, embora desempenhe um papel semelhante, e a maioria dos provedores usa o termo ‘token’ para descrever unidades de texto pequenas, como palavras, marcas de pontuação ou fragmentos de palavras. A palavra ‘inacreditável’, por exemplo, pode ser contada como um único token por um sistema, enquanto outro pode dividi-la em in, acredit e ável, com cada peça aumentando o custo.

Esse sistema se aplica tanto ao texto inserido pelo usuário quanto à resposta do modelo, com o preço baseado no número total dessas unidades.

A dificuldade reside no fato de que os usuários não veem esse processo. A maioria das interfaces não mostra a contagem de tokens durante a conversa, e a forma como os tokens são calculados é difícil de reproduzir. Mesmo se uma contagem for exibida após uma resposta, é tarde demais para dizer se foi justa, criando uma discrepância entre o que o usuário vê e o que está pagando.

Pesquisas recentes apontam para problemas mais profundos: um estudo mostra como os provedores podem cobrar mais sem violar as regras, simplesmente inflando a contagem de tokens de maneiras que o usuário não pode ver; outro revela a discrepância entre o que as interfaces exibem e o que é realmente cobrado, deixando os usuários com a ilusão de eficiência onde pode não haver nenhuma; e um terceiro expõe como os modelos rotineiramente geram etapas de raciocínio interno que nunca são mostradas ao usuário, mas ainda aparecem na fatura.

Os resultados descrevem um sistema que parece preciso, com números exatos que implicam clareza, mas cuja lógica subjacente permanece oculta. Seja por design ou falha estrutural, o resultado é o mesmo: os usuários pagam por mais do que podem ver e, muitas vezes, mais do que esperam.

Mais Barato por Dúzia?

No primeiro desses artigos – intitulado Seu LLM está cobrando mais do que deveria? Tokenização, transparência e incentivos, de quatro pesquisadores do Instituto Max Planck para Sistemas de Software – os autores argumentam que os riscos da faturamento baseada em tokens vão além da opacidade, apontando para um incentivo incorporado para os provedores inflar a contagem de tokens:

‘O núcleo do problema reside no fato de que a tokenização de uma string não é única. Por exemplo, considere que o usuário envia o prompt “Onde ocorre o próximo NeurIPS?” para o provedor, o provedor o insere em um LLM e o modelo gera a saída “|San| Diego|” consistindo em dois tokens.

‘Como o usuário é ignorante do processo gerativo, um provedor que se serve tem a capacidade de relatar a tokenização da saída para o usuário sem alterar a string subjacente. Por exemplo, o provedor poderia simplesmente compartilhar a tokenização “|S|a|n| |D|i|e|g|o|” e cobrar o usuário por nove tokens em vez de dois!’

O artigo apresenta um heurístico capaz de realizar esse tipo de cálculo desonesto sem alterar a saída visível, e sem violar a plausibilidade em configurações de decodificação típicas. Testado em modelos da série LLaMA, Mistral e Gemma, usando prompts reais, o método alcança sobre-cobranças mensuráveis sem parecer anormal:

Inflação de token usando ‘relatórios plausíveis’. Cada painel mostra a porcentagem de tokens sobre-cobrados resultantes de um provedor aplicando o Algoritmo 1 às saídas de 400 prompts LMSYS, sob parâmetros de amostragem variados (m e p). Todas as saídas foram geradas a uma temperatura de 1,3, com cinco repetições por configuração para calcular intervalos de confiança de 90%. Fonte: https://arxiv.org/pdf/2505.21627

Para abordar o problema, os pesquisadores defendem a faturamento baseada em contagem de caracteres em vez de tokens, argumentando que essa é a única abordagem que dá aos provedores um motivo para relatar o uso com honestidade, e que, se o objetivo é um preço justo, então vincular o custo a caracteres visíveis, e não a processos ocultos, é a única opção que resiste à análise. A faturamento baseada em caracteres, argumentam, removeria o incentivo para relatar incorretamente, enquanto também recompensaria saídas mais curtas e eficientes.

Aqui há várias considerações adicionais, no entanto (em grande parte concedidas pelos autores). Em primeiro lugar, o esquema baseado em caracteres proposto introduz lógica de negócios adicionais que pode favorecer o vendedor sobre o consumidor:

‘[Um] provedor que nunca relata incorretamente tem um incentivo claro para gerar a sequência de token de saída mais curta possível e melhorar os algoritmos de tokenização atuais, como o BPE, para que eles comprimam a sequência de token de saída o máximo possível’

O tema otimista aqui é que o vendedor é assim encorajado a produzir saídas concisas e mais significativas e valiosas. Na prática, há maneiras menos virtuosas para um provedor reduzir a contagem de texto.

Em segundo lugar, é razoável supor, os autores afirmam, que as empresas provavelmente exigiriam legislação para migrar do sistema de tokens arcaico para um método de faturamento baseado em texto mais claro. Mais adiante, uma startup insurgente pode decidir diferenciar seu produto lançando-o com esse tipo de modelo de preço; mas qualquer um com um produto verdadeiramente competitivo (e operando em uma escala menor do que a categoria EEE) é desincentivado a fazer isso.

Finalmente, algoritmos ladrões, como os propostos pelos autores, viriam com seu próprio custo computacional; se o custo de calcular uma ‘sobretaxa’ excedesse o benefício potencial, o esquema claramente não teria mérito. No entanto, os pesquisadores enfatizam que seu algoritmo proposto é eficaz e econômico.

Os autores fornecem o código para suas teorias no GitHub.

A Troca

O segundo artigo – intitulado Tokens Invisíveis, Contas Visíveis: A Necessidade Urgente de Auditorar Operações Ocultas em Serviços de LLM Opacos, de pesquisadores da Universidade de Maryland e Berkeley – argumenta que os incentivos desalinhados em APIs de modelos de linguagem comerciais não são limitados à divisão de tokens, mas se estendem a classes inteiras de operações ocultas.

Isso inclui chamadas de modelo interno, raciocínio especulativo, uso de ferramentas e interações entre agentes – todos os quais podem ser cobrados do usuário sem visibilidade ou recurso.

Preços e transparência de APIs de LLM de raciocínio entre os principais provedores. Todos os serviços listados cobram dos usuários por tokens de raciocínio interno ocultos e nenhum deles torna esses tokens visíveis em tempo de execução. Os custos variam significativamente, com o modelo o1-pro da OpenAI cobrando dez vezes mais por milhão de tokens do que o Claude Opus 4 ou o Gemini 2.5 Pro, apesar da opacidade igual. Fonte: https://www.arxiv.org/pdf/2505.18471

Ao contrário da faturamento convencional, onde a quantidade e a qualidade dos serviços são verificáveis, os autores defendem que as plataformas de LLM atuais operam sob opacidade estrutural: os usuários são cobrados com base em métricas de token e uso de API relatadas, mas não têm como confirmar que essas métricas refletem trabalho real ou necessário.

O artigo identifica duas principais formas de manipulação: inflação de quantidade, onde o número de tokens ou chamadas é aumentado sem benefício para o usuário; e degradação de qualidade, onde modelos ou ferramentas de desempenho inferior são usados silenciosamente em vez de componentes premium:

‘Em APIs de LLM de raciocínio, os provedores muitas vezes mantêm várias variantes da mesma família de modelos, diferindo em capacidade, dados de treinamento ou estratégia de otimização (por exemplo, ChatGPT o1, o3). A degradação do modelo refere-se à substituição silenciosa de modelos de menor custo, que podem introduzir desalinhamento entre a qualidade de serviço esperada e real.

‘Por exemplo, um prompt pode ser processado por um modelo de tamanho menor, enquanto a faturamento permanece inalterada. Essa prática é difícil para os usuários detectarem, pois a resposta final ainda pode parecer plausível para muitas tarefas.’

O artigo documenta instâncias em que mais de noventa por cento dos tokens cobrados nunca foram mostrados aos usuários, com o raciocínio interno inflando o uso de tokens por um fator maior que vinte. Justificado ou não, a opacidade dessas etapas nega aos usuários qualquer base para avaliar sua relevância ou legitimidade.

Em sistemas agênticos, a opacidade aumenta, pois as trocas internas entre agentes de IA podem cada uma incorrer em cobranças sem afetar significativamente a saída final:

‘Além do raciocínio interno, os agentes se comunicam trocando prompts, resumos e instruções de planejamento. Cada agente interpreta as entradas de outros e gera saídas para guiar o fluxo de trabalho. Essas mensagens entre agentes podem consumir tokens substanciais, que geralmente não são visíveis para os usuários finais.

‘Todos os tokens consumidos durante a coordenação do agente, incluindo prompts gerados, respostas e instruções relacionadas a ferramentas, normalmente não são exibidos para o usuário. Quando os próprios agentes usam modelos de raciocínio, a faturamento se torna ainda mais opaca’

Para enfrentar esses problemas, os autores propõem um quadro de auditoria em camadas que envolve provas criptográficas de atividade interna, marcadores verificáveis de identidade de modelo ou ferramenta e supervisão independente. A preocupação subjacente, no entanto, é estrutural: os esquemas de faturamento de LLM atuais dependem de uma asimetria de informação persistente, deixando os usuários expostos a custos que não podem verificar ou desmembrar.

Contando o Invisível

O artigo final, de pesquisadores da Universidade de Maryland, reestrutura o problema de faturamento não como uma questão de mau uso ou relato incorreto, mas de estrutura. O artigo – intitulado CoIn: Contando os Tokens de Raciocínio Invisíveis em APIs de LLM Comerciais Opacas, e de dez pesquisadores da Universidade de Maryland – observa que a maioria dos serviços de LLM comerciais agora esconde o raciocínio intermediário que contribui para a resposta final do modelo, mas ainda cobra por esses tokens.

O artigo afirma que isso cria uma superfície de faturamento não observável onde sequências inteiras podem ser fabricadas, injetadas ou infladas sem detecção:

‘[Isso] permite que os provedores relatem incorretamente a contagem de tokens ou injetem tokens de raciocínio fabricados de baixo custo para inflar artificialmente a contagem de tokens. Referimo-nos a essa prática como inflação de contagem de tokens.

‘Por exemplo, uma única execução de alta eficiência do ARC-AGI executada pelo modelo o3 da OpenAI consumiu 111 milhões de tokens, custando $66.772,3. Dada essa escala, mesmo manipulações pequenas podem levar a um impacto financeiro substancial.

‘Essa assimetria de informação permite que as empresas de IA cobrem dos usuários quantias significativas, minando assim seus interesses.’

Para contrariar essa assimetria, os autores propõem CoIn, um sistema de auditoria de terceiros projetado para verificar tokens ocultos sem revelar seu conteúdo, e que usa impressões digitais hash e verificações semânticas para detectar sinais de inflação.

Visão geral do sistema de auditoria CoIn para LLMs comerciais opacos. O painel A mostra como as embeddings de tokens de raciocínio são hashadas em uma árvore de Merkle para verificação da contagem de tokens sem revelar o conteúdo dos tokens. O painel B ilustra verificações de validade semântica, onde redes neurais leves compararam blocos de raciocínio com a resposta final. Juntos, esses componentes permitem que auditores de terceiros detectem inflação de tokens ocultos enquanto preservam a confidencialidade do comportamento de modelo proprietário. Fonte: https://arxiv.org/pdf/2505.13778

Um componente verifica a contagem de tokens criptograficamente usando uma árvore de Merkle; o outro avalia a relevância do conteúdo oculto comparando-o com a embedding da resposta. Isso permite que os auditores detectem preenchimento ou irrelevância – sinais de que tokens estão sendo inseridos apenas para aumentar a fatura.

Quando implantado em testes, o CoIn alcançou uma taxa de detecção de quase 95% para algumas formas de inflação, com exposição mínima dos dados subjacentes. Embora o sistema ainda dependa da cooperação voluntária dos provedores e tenha resolução limitada em casos de bordo, seu ponto mais amplo é inconfundível: a própria arquitetura dos esquemas de faturamento de LLM atuais assume uma honestidade que não pode ser verificada.

Conclusão

Além da vantagem de obter pagamento antecipado dos usuários, um sistema de scrip baseado em uma moeda (como o sistema ‘buzz’ da CivitAI) ajuda a abstrair os usuários do valor real da moeda que estão gastando, ou do bem que estão comprando. Da mesma forma, dar ao vendedor liberdade para definir suas próprias unidades de medida deixa o consumidor no escuro sobre o que está gastando em termos de dinheiro real.

Como a falta de relógios em Las Vegas, medidas como essas são frequentemente direcionadas a tornar o consumidor descuidado ou indiferente ao custo.

O token mal compreendido, que pode ser consumido e definido de muitas maneiras, talvez não seja uma unidade de medida adequada para o consumo de LLM – não menos porque pode custar muitos mais tokens para calcular um resultado de LLM pior em um idioma não inglês, em comparação com uma sessão baseada em inglês.

No entanto, a saída baseada em caracteres, como sugerido pelos pesquisadores do Max Planck, provavelmente favoreceria línguas mais concisas e penalizaria línguas naturalmente prolixas. Como indicações visuais, como um contador de tokens em declínio, provavelmente nos tornariam um pouco mais gastadores em nossas sessões de LLM, parece improvável que tais adições úteis de GUI estejam chegando em breve – pelo menos sem ação legislativa.

* Ênfases dos autores. Minha conversão das citações em linha dos autores para links.

Publicado pela primeira vez na quinta-feira, 29 de maio de 2025