Por que os custos com tokens não mostram se a IA empresarial está funcionando

A IA empresarial está atravessando um ciclo conhecido. No início, as organizações apostaram tudo na tecnologia e recorreram aos modelos maiores e mais capazes, porque ela era empolgante e a conta ainda não tinha chegado. Quando chegou, a reação foi igualmente previsível: as equipes começaram a racionar o acesso, reduzir a experimentação e buscar modelos mais baratos.

Ali Ghodsi, cofundador e CEO da Databricks, descreveu a fase inicial desse ciclo como “maximização de tokens”, em que consumir mais tokens é tratado como prova de progresso. A fase mais importante é a “maximização de valor”, que consiste em entender o que esse gasto produz e direcioná-lo ao trabalho que realmente importa.

Isso não é simplesmente um novo nome para otimização de custos. A otimização de custos busca saber como uma organização pode gastar menos, enquanto a maximização de valor procura entender como ela pode obter mais do que gasta. Essa distinção se tornará cada vez mais importante à medida que a IA passar de experimentos isolados para as operações cotidianas das empresas.

O maior modelo nem sempre é o modelo certo

Muitas organizações iniciaram seus programas de IA usando o modelo mais poderoso disponível para quase todas as tarefas. Essa abordagem fazia sentido na fase inicial de experimentação, quando as equipes tentavam entender o que a tecnologia podia fazer e a capacidade dos modelos era mais importante do que a previsibilidade.

À medida que as implementações cresceram, porém, ficou difícil justificar o custo de usar um modelo de ponta em todas as solicitações. Algumas organizações reagiram restringindo o acesso ou pedindo às equipes que fizessem menos, mas restrições amplas podem sufocar experimentações úteis, além de eliminar desperdícios de fato.

Uma abordagem mais madura está surgindo. As equipes começam a associar modelos menores e especializados a tarefas rotineiras, reservando os modelos mais capazes para atividades que exigem raciocínio complexo ou cujo fracasso teria um custo elevado. Com o tempo, algumas organizações também poderão implantar modelos em sua própria infraestrutura para ter mais controle sobre custos, desempenho e dados confidenciais.

A pergunta importante não é se um modelo grande ou pequeno é melhor. É saber se o modelo é adequado ao trabalho e se o resultado justifica o custo total de sua produção.

Tokens mostram atividade, não valor

A maioria dos painéis de IA empresarial é centrada no consumo. Eles mostram quantos tokens foram usados, quais modelos os processaram e quanto a organização gastou. Esses números são necessários, mas não revelam se o trabalho produziu um resultado útil.

Uma equipe que consome o dobro de tokens não está necessariamente criando o dobro de valor. Ela pode estar lidando com um trabalho mais difícil, usando um modelo poderoso demais para a tarefa ou dependendo de um agente que tenta repetidamente executar tarefas que falharam. Uma carga de trabalho com altos custos de modelo ainda pode ser um excelente investimento se evitar interrupções, resolver problemas dos clientes ou devolver aos funcionários horas valiosas.

O mesmo problema existe há anos na observabilidade, só que com gigabytes em vez de tokens. As equipes começaram coletando tudo, pois a visibilidade máxima parecia ser a estratégia mais segura. Quando as contas de armazenamento e processamento aumentaram, elas passaram a fazer amostragem dos dados, reduzir o período de retenção e descartar contexto para controlar os gastos.

Nos dois casos, a reação ao aumento dos custos costuma ser fazer menos. Em vez disso, as organizações precisam conseguir identificar quais atividades são valiosas, quais representam desperdício e quais poderiam se tornar mais eficientes sem comprometer o resultado.

O custo real vai além da inferência

Uma chamada ao modelo raramente representa a carga de trabalho completa de IA. Antes de produzir uma resposta, um agente pode recuperar documentos, consultar um banco de dados, pesquisar dados de telemetria, chamar serviços externos e gerar novas atividades na aplicação ou na infraestrutura.

Considere um agente que investiga por que a latência no checkout aumentou após uma implantação. Ele pode examinar registros, comparar métricas, inspecionar rastreamentos, recuperar registros da implantação e analisar serviços dependentes. Se sua primeira hipótese estiver errada, poderá ajustar o intervalo de tempo, pesquisar usando nomes de serviços diferentes e investigar várias causas alternativas.

Assim, uma única instrução humana pode gerar centenas de operações executadas por máquinas. Essas operações consomem capacidade computacional, entrada e saída de dados de armazenamento, capacidade de rede e cotas de APIs de terceiros, recursos que talvez não apareçam no painel de gastos da organização com modelos.

Isso significa que um modelo aparentemente barato pode estar por trás de um fluxo de trabalho caro. Um modelo mais capaz pode custar mais por chamada, mas chegar à conclusão correta em menos etapas, exigindo menos novas tentativas e menos infraestrutura de apoio. A única maneira de fazer essa comparação é observar a tarefa completa.

Conecte atividade, custos e resultados

A maximização de valor exige que as organizações conectem três tipos de informação que muitas vezes são medidos separadamente.

A primeira é a atividade de IA, que inclui a seleção de modelos, o consumo de tokens, a latência, as chamadas a ferramentas, as novas tentativas e as ramificações paralelas. A segunda é o custo de infraestrutura e financeiro gerado por essa atividade, incluindo computação, armazenamento, uso da rede, carga do banco de dados e cobranças de APIs externas. A terceira é o resultado, que deve indicar se o trabalho foi concluído com sucesso e se alguém considerou o resultado útil.

Nem todo resultado precisa ser convertido em um valor exato em dólares. Uma medida prática pode ser suficiente, como saber se uma resposta foi aceita, se alguém precisou refazer o trabalho, se um incidente foi resolvido mais rapidamente ou se um fluxo de trabalho automatizado foi concluído sem intervenção.

Por exemplo, uma investigação de incidente que gere centenas de consultas pode valer a pena se ajudar os engenheiros a restabelecer um serviço crítico 30 minutos antes. Um fluxo de trabalho muito menor ainda pode ser um desperdício se produzir um relatório que ninguém lê. O consumo de tokens, por si só, não permite distinguir os dois casos.

Quando conseguem relacionar a atividade aos resultados, as organizações podem decidir deliberadamente onde usar modelos de fronteira, onde modelos menores são suficientes e onde é preciso reformular um fluxo de trabalho.

Ter visibilidade não deve exigir abrir mão do controle

Compreender o valor da IA exige acesso a contextos confidenciais. Prompts, respostas geradas, código-fonte, informações de clientes e telemetria de produção podem fazer parte do mesmo fluxo de trabalho.

As organizações não deveriam ter de exportar essas informações para um serviço externo apenas para entender o desempenho de seus sistemas de IA. Os prompts e o contexto de produção que tornam a medição útil podem conter as mesmas informações que as equipes de segurança, privacidade e conformidade não podem permitir que saiam do ambiente da organização.

Por isso, os líderes empresariais devem perguntar onde os dados de IA e de observabilidade são processados, quem pode acessá-los, por quanto tempo são retidos e se a análise pode ser realizada dentro dos limites de segurança já existentes. Uma boa governança depende da visibilidade, mas essa visibilidade não pode criar um novo problema de controle de dados.

Manter a análise próxima dos dados subjacentes também facilita relacionar a atividade de IA às aplicações, à infraestrutura e aos processos de negócios que ela afeta. Essa visão completa permite que as equipes entendam não apenas quanto gastaram, mas também o que obtiveram em troca.

Otimize o valor, não o volume

As organizações que tiverem sucesso na próxima fase da IA empresarial não serão necessariamente as que usarem mais tokens ou gastarem menos. Serão aquelas capazes de identificar quais modelos e cargas de trabalho geram resultados significativos e, em seguida, usar esse conhecimento para orientar a implantação.

Isso exige ir além dos painéis isolados de custos dos modelos. As equipes precisam observar todo o percurso, desde a solicitação do usuário, passando pelas chamadas a modelos, pelas ferramentas e pela infraestrutura, até o resultado final, mantendo as informações confidenciais sob o controle adequado da organização.

A maximização de tokens foi uma fase útil, pois incentivou a experimentação e revelou o que a IA era capaz de fazer. A maximização de valor é a disciplina que deve vir em seguida: ela combina visibilidade, custos e resultados para que as organizações continuem experimentando sem perder o controle dos gastos nem dos dados.

A IA empresarial não precisa se tornar menor só porque chegaram as primeiras contas. Ela precisa ser usada com mais critério: o esforço deve corresponder à dificuldade, os modelos devem ser adequados às tarefas e os gastos devem corresponder a um valor mensurável.