Opinião
O Pior Primeiro Trabalho que Você Pode Dar a um Agente é o Visível
Adicione Unite.AI às suas fontes preferidas no Google
As empresas tendem a escolher o primeiro trabalho de agente da mesma maneira. Alguém pergunta o que a IA pode fazer por nós, e a sala converge no trabalho que todos podem imaginar: escrever nossos posts de blog, responder a nossos clientes, lidar com a caixa de entrada. É o trabalho mais visível no prédio, então é o trabalho que vem à mente.
Seis meses depois, o piloto é discretamente parado e a conclusão é que a tecnologia não estava pronta. A tecnologia estava bem. A seleção do trabalho foi o problema, e a visibilidade é o que a tornou ruim.
Três coisas que tornam um trabalho difícil, e os visíveis têm todas as três
Um trabalho é fácil para um agente quando há uma resposta certa verificável, quando uma saída ruim é barata, e quando alguém no prédio já faz o trabalho e pode dizer o que é bom ou ruim à primeira vista.
A escrita voltada para o cliente falha no primeiro teste.
Não há resposta certa para “este post de blog é bom”, apenas uma preferência mantida por uma pessoa que reconhecerá a versão errada instantaneamente e lutará para especificar a certa resposta com antecedência. Essa lacuna é onde a maioria das reclamações de qualidade realmente vive.
Qualquer coisa voltada para o cliente falha no segundo teste.
Um resumo interno ruim custa a alguém quatro minutos. Uma resposta ruim a um cliente custa uma relação, e ocasionalmente uma conversa de conformidade. O custo de uma falha define quanto a supervisão o trabalho precisa, e a supervisão é a parte mais cara de executar agentes.
E os trabalhos visíveis geralmente falham no terceiro teste de uma maneira que ninguém nota até tarde.
A pessoa que julgaria a saída é uma pessoa sênior cuja atenção é a coisa mais escassa na empresa. Entregar-lhe uma fila de revisão envolve mover o trabalho para o seu calendário mais caro.
Como os primeiros trabalhos bem-sucedidos parecem
Eles são chatos. Essa é a padrão, e é consistente o suficiente para planejar em torno.
Quando o NTT DATA Group expandiu sua ferramenta de agente por toda a organização, foi um trabalho interno de engenharia, não uma experiência do cliente. O relato da OpenAI sobre a implantação descreve a automação de uma análise de incidente complexa para um sistema crítico — trabalho que anteriormente exigia cinco engenheiros experientes e levava três dias, concluído em 30 minutos. Esse resultado, o relato diz, “rapidamente ganhou a atenção de líderes seniores e se tornou um dos primeiros pontos de prova”.
Olhe para o formato desse trabalho em vez do número de manchetes. A análise de incidentes tem uma resposta certa, e é uma resposta que a organização pode verificar, porque o trabalho já existia e as pessoas que costumavam fazer o trabalho ainda estão lá.
Isso se repete. Ele fica dentro dos próprios sistemas da empresa, em vez de na frente de um cliente. E o padrão para “concluído” é se a análise se sustenta contra as evidências, o que é uma pergunta com uma resposta defensável, não uma questão de gosto.
Compare isso com o trabalho que a maioria das empresas nomeia primeiro. Um post de blog não tem resposta certa, não tem um juiz interno cujo tempo é barato, e tem um público.
A sequência importa tanto quanto a escolha. O NTT DATA implantou o ChatGPT Enterprise em toda a empresa primeiro e, em uma pesquisa interna, mais de 96% dos respondentes disseram que estavam satisfeitos com ele e mais de 95% relataram ganhos de produtividade.
Através desse uso diário, o relato diz, “os funcionários construíram experiência trabalhando com IA para pesquisa, escrita e criação de conteúdo” — e esses hábitos “prepararam a organização para o próximo passo: delegar tarefas claramente definidas”.
As lições de liderança publicadas com o estudo de caso começam exatamente com isso: faça a IA parte do trabalho diário, ajude as pessoas a construir os hábitos para colaborar com ela. A empresa construiu uma base ampla de familiaridade com a saída da IA antes do trabalho de análise de incidentes.
Essa fase de construção de hábitos está fazendo mais trabalho do que parece. Quando a ferramenta de IA geral se torna comum, , e minha leitura é que é onde os trabalhos de candidatos bons surgem — das pessoas que fazem o trabalho, não de uma reunião de planejamento. É também onde o ceticismo é resolvido, e não é algo que um único projeto de alto risco resolve.
A exceção comprova a regra, se você ler o caso inteiro
A objeção óbvia é que os agentes voltados para o cliente demonstravelmente funcionam. Eles funcionam. Vale a pena ler um de perto.
é sobre o mais visível que um trabalho de agente pode ser — suporte multilíngue 24/7 por voz e texto, guiando compradores desde a descoberta de produtos até as decisões de compra. Em uma campanha pública de duas semanas na loja online da Yamada Denki, cerca de 30.000 pessoas usaram e 92% das respostas da pesquisa foram positivas. Resultado real, clientes reais, frente da casa.
Vale a pena ser direto sobre uma coisa: o relato da OpenAI chama isso de “sua primeira grande oportunidade de trazer essas lições diretamente aos clientes”. Então, esse foi o primeiro agente de cliente da avatarin, o que lê como um argumento contra tudo o que está acima.
Olhe para o que “essas lições” se referem. A avatarin é uma empresa de serviço de cliente de IA derivada da ANA Holdings, e o relato observa que ela havia trabalhado com a OpenAI “bem antes do projeto da Yamada Denki, usando a API da OpenAI para reconhecimento de fala, análise de consulta e treinamento de funcionários”.
As respostas do agente são fundamentadas por um sistema de geração aumentada por recuperação, o que significa que as respostas são ancoradas em informações de produto reais, em vez da memória do modelo. O conhecimento de serviço de cliente do varejista foi deliberadamente codificado em fluxos de conversa e prompts. Guardrails ajudam a manter a conversa na experiência de compras. E a OpenAI trabalhou diretamente com a equipe para estruturar os prompts e reduzir o custo de executar um serviço de voz sempre ligado.
Então, foi um primeiro trabalho de cliente para uma empresa cujo negócio inteiro é serviço de cliente de IA, chegando após trabalhos anteriores com as ferramentas do mesmo fornecedor, com uma camada de aterramento, expertise de domínio codificado, guardrails e as pessoas do próprio fornecedor ajudando. Esse é o preço real do trabalho visível, e quase nada disso é visível no resultado.
Leia os dois relatos juntos e eles são uma lição de sequência, em vez de duas histórias de sucesso. Uma organização ganhou o direito de delegar trabalhos definidos, tornando a IA comum primeiro. A outra alcançou o trabalho de cliente como especialista, nas costas do trabalho de componente que já havia feito. Nenhuma delas começou onde a reunião de planejamento quer começar.
A regra de seleção
Avalie cada trabalho de candidato com base em quatro perguntas antes de escolher.
1. Há uma resposta certa verificável?
Não uma boa resposta, uma certa. Reconciliação, classificação, extração e análise com uma conclusão todos se qualificam. Qualquer coisa julgada pelo gosto não se qualifica, pelo menos não primeiro.
2. Quanto custa uma saída ruim?
Se a resposta honesta envolve um cliente, um regulador ou um número em uma declaração, o trabalho precisa que você quase certamente ainda não construiu.
3. O volume justifica a configuração?
Um trabalho feito duas vezes por mês nunca reembolsará as semanas de iteração. A economia vem da repetição, e a repetição também é o que ensina onde a coisa falha.
4. Quem já faz isso e pode identificar um resultado ruim instantaneamente?
Essa pessoa é seu revisor, e ele precisa ter tempo. Se a única pessoa qualificada for o fundador, escolha um trabalho diferente.
O trabalho que pontua bem em todas as quatro é quase nunca o trabalho que surgiu na reunião. É geralmente algo que uma equipe tem feito manualmente por dois anos e parou de reclamar, porque eles não notam mais como trabalho.
Onde isso deixa você
Pegue a lista de trabalhos que você está considerando e avalie-os honestamente esta semana. O candidato que ganhar sentirá como uma decepção. Automatize-o de qualquer forma.
O ponto de um primeiro trabalho de agente não é o valor que ele retorna. É que sua organização aprende o que esses sistemas fazem bem, onde eles quebram e o que supervisioná-los realmente custa, em trabalhos onde estar errado é sobrevivível. Esse conhecimento é o que torna o segundo trabalho uma decisão real em vez de um palpite, e o terceiro geralmente é onde o dinheiro está.
Escolha o trabalho chato. Ganhe o visível.
