Quanto mais críticas as decisões, menos o AI deve trabalhar sozinho

Os agentes de IA claramente têm um problema que é disfarçado como um discurso sobre suas vantagens. O agente fala com confiança e escreve elegantemente, processando informações mais rápido do que um ser humano. Isso pode dar a impressão de que a IA está pronta para operar de forma autônoma. Na realidade, assim que uma decisão envolve dinheiro real, expectativas do cliente e confiança, a IA não deve ser um sistema autônomo, porque ainda precisa da supervisão de um adulto.

Essa lição não foi derivada da teoria – foi aprendida por meio de testes, quando a IA do serviço de estilo de vida de luxo foi capaz de interagir com clientes reais.

Conselhos bem-intencionados que podem ser perigosos

Nos primeiros testes do aplicativo de gerenciamento de estilo de vida alimentado por IA, o sistema pareceu impressionante à primeira vista. Ele podia compilar uma lista de restaurantes, sugerir opções de entretenimento, elaborar itinerários para atividades locais e combinar tudo isso em recomendações claras e de alta qualidade. Mas em cerca de 15% dos casos, ele simplesmente inventou os detalhes – e o fez de forma convincente o suficiente para ser acreditável.

Há um exemplo que tornou esse problema impossível de ignorar: a IA recomendou um restaurante em Dubai que havia fechado oito meses antes. Quando questionada sobre isso, ela não hesitou nem admitiu que havia cometido um erro. O agente insistiu e fabricou uma crítica e a citou.

Outra vez, o Agente confundiu um bar de lanches na calçada com um restaurante com estrelas Michelin porque os nomes eram semelhantes. Se um ser humano não tivesse revisado o pedido, o cliente do serviço de concierge poderia ter acabado com um jantar que não era nada como o planejado.

Então houve o incidente com o jogo de padel. Um cliente perguntou sobre um clube esportivo com quadras de padel. A IA estava prestes a direcioná-lo a um local que só tinha quadras de tênis. Por quê? Porque em algum lugar nos dados de origem, ela encontrou um artigo de notícias que afirmava que quadras de padel estavam planejadas para serem construídas lá, e ela sutilmente converteu “planejadas” em “já existem”. É exatamente isso que torna os modelos um experimento arriscado no setor de serviços: mesmo que a IA não tenha dados completos e precisos, ela não para – ela improvisa.

Alucinações de IA como ameaça comercial

Esse problema de forma alguma está limitado à indústria do turismo – está na própria implementação da IA.

Dentro de parâmetros claramente definidos, a IA funciona brilhantemente. Você pode fornecer dados estruturados, APIs atualizados, e ela superará você por uma grande margem. Ela classificará casos de acordo com dezessete parâmetros, digitalizará as regras instantaneamente e gerará rascunhos prontos para uso em segundos. Mas o mundo real está longe de ser um banco de dados estruturado. A realidade está cheia de casos de bordo, informações desatualizadas, preferências ambíguas, linguagem vaga e lacunas operacionais.

É exatamente aqui que as alucinações começam a representar um risco comercial. Estudos repetidamente alertaram que as alucinações podem destruir instantaneamente a confiança, especialmente quando um cliente recebe informações polidas, mas imprecisas, no momento da tomada de decisão. As pessoas já estão usando amplamente planejadores de IA, mas a confiança ainda falta.

HNWIs como o teste de estresse definitivo para a IA

Agora vamos aumentar as apostas.

A IA lida facilmente com tarefas padrão – um exemplo de tal tarefa é reservar uma viagem de Londres para Dubai: classe executiva, um hotel de quatro estrelas por três noites. O verdadeiro teste de estresse é um briefing de um HNWI: é nosso aniversário. Ela mencionou um restaurante em Amalfi com uma porta azul. Ela ama peônias, mas odeia rosas, e se sentirá mais confortável com um motorista que fale francês.

Tal pedido soa elegante, mas do ponto de vista operacional, é um campo minado. Um agente de IA certamente sugerirá opções, mas também pode fornecer 40% de informações incorretas com total confiança.

Os clientes nos segmentos de luxo e HNWI revelam as verdadeiras limitações da IA mais rapidamente do que qualquer teste poderia, pois seus pedidos não são padronizados e suas expectativas são emocionais, dependentes do contexto e altamente específicas. Mais frequentemente do que não, tais pedidos são difíceis de verificar automaticamente.

Além disso, a falha em atender aos clientes HNWI de forma eficaz não terminará com um simples reembolso. Isso danificará a reputação da empresa, pois recomendações e confiança são crucialmente importantes nesse segmento.

Os funcionários reais lidam com essas alucinações todos os dias. Eles notam o restaurante que acontece de estar fechado na terça-feira em que o cliente chega, e a rápida caminhada de cinco minutos que na verdade se torna uma subida de vinte e cinco minutos com bagagem. Um especialista treinado não ignorará um hotel boutique que parece perfeito nas fotos, mas está coberto de andaimes devido a reformas.

Por que o fintech exige precisão, não velocidade

Podemos aplicar a mesma lógica para todo o setor de fintech. A IA pode analisar produtos, comparar opções, identificar anomalias e gerar recomendações rapidamente e de forma eficiente. Mas quando se trata de dinheiro, não há tolerância para erros aleatórios.

As empresas de fintech estão pagando o preço por decisões tomadas pela automação – na forma de perda de confiança do cliente. As empresas bem-sucedidas implementam mecanismos de controle desde o início, em vez de introduzi-los retroativamente após o dano já ter sido feito; o modelo apropriado envolve supervisão humana.

Uma camada adicional de verificação é necessária entre a IA e o cliente – uma etapa em que o resultado é minuciosamente verificado e seguro. Em campos onde o custo do erro é alto, essa camada se torna a base do produto.

Um conceito mais útil é a infraestrutura. A IA deve se concentrar em tarefas estruturadas: pesquisa, classificação, comparação e elaboração. Nesse processo, os seres humanos devem tomar as decisões finais. Com o tempo, alguns processos de trabalho se tornarão estáveis o suficiente para serem totalmente automatizados. Nesse ponto, será provável que seja possível estabelecer uma base, mas isso deve ser feito com base em evidências, não na fé.

Essas ideias podem soar menos inspiradoras do que o futuro totalmente autônomo, mas é exatamente assim que as empresas sérias acabarão tendo sucesso.