Onde o modelo de linguagem deve parar: projetar IA para folha de pagamento, admissões e outros domínios que penalizam os erros

Passei os últimos anos incorporando IA a produtos em que uma resposta errada tem um preço: uma plataforma de conformidade da folha de pagamento baseada em IA para o mercado australiano, em que um erro afeta a conta bancária de alguém, e um produto de admissões universitárias, em que uma recomendação inadequada pode influenciar os próximos quatro anos da vida de um estudante. A pergunta que definiu a arquitetura era a mesma nos dois casos: até que ponto o modelo de linguagem deve poder avançar antes que algo determinístico assuma o controle?

Uma em cada cinco folhas de pagamento nos EUA contém um erro, com um custo médio de US$ 291 por erro, antes mesmo de se considerar o litígio. A Lei de IA da UE inclui o uso de IA em decisões de admissão e na gestão do emprego entre as categorias de alto risco.

Deixe que as regras controlem os números

As regras determinísticas controlam tudo o que envolve um valor em dinheiro ou uma consequência jurídica; o modelo interpreta e explica com base nessas regras, e nada além disso.

Na plataforma de folha de pagamento, nosso objetivo era estabelecer uma fronteira clara entre as regras de remuneração e a IA. Primeiro, especialistas em folha de pagamento definem as regras de remuneração em um formato estruturado. Em seguida, o sistema processa essas regras e gera todos os cenários possíveis que podem decorrer delas. Esse conjunto completo de cenários se torna a fonte de verdade do modelo. O modelo não pode criar regras novas, alterar as existentes nem decidir quais fontes usar. Só pode recuperar o conjunto de regras pertinente, consultar tabelas de alíquotas e citar o cenário que utilizou. A criação de regras, a geração de cenários e a seleção de fontes ficam totalmente fora da camada de IA.

O produto de admissões segue a mesma lógica: requisitos de localização, limites de orçamento, situação da instituição e critérios de elegibilidade são aplicados como regras antes que o modelo possa influenciar uma classificação. Se um estudante disser que precisa estudar em uma universidade na Califórnia, uma instituição de outro estado não poderá se sobrepor a essa exigência só porque o modelo a considerou uma opção muito adequada por outros motivos. O modelo lida com preferências menos rígidas e explicações, enquanto a lógica determinística funciona como salvaguarda sempre que uma resposta aproximadamente correta não for aceitável.

A recuperação fundamenta as respostas do modelo, até certo ponto

A geração aumentada por recuperação mantém as respostas vinculadas às políticas da própria organização, em vez de deixá-las à mercê do que o modelo assimilou durante o treinamento. Mas essa abordagem também é superestimada. Quando o RegLab de Stanford testou ferramentas comerciais de pesquisa jurídica baseadas em RAG, elas ainda alucinaram em 17% a 33% das vezes. A recuperação restringe o que o modelo pode dizer, mas ele ainda pode errar.

Aprendi isso na prática. Na plataforma de folha de pagamento, certa vez o sistema encontrou o instrumento normativo trabalhista correto para um caso, mas o modelo ainda interpretou incorretamente as regras de horas extras. A fonte certa havia sido recuperada, mas a resposta estava errada. Depois disso, passamos a ser muito mais rigorosos quanto ao que o modelo podia decidir por conta própria. Regras importantes de folha de pagamento foram incorporadas à lógica de negócios explícita, todas as respostas passaram a precisar de respaldo em fontes, e criamos testes baseados no caso que havia falhado. Ter acesso às informações certas só ajuda se também controlarmos como o modelo as utiliza.

Torne rastreável cada resposta

Antes de gerar uma resposta, o sistema registra exatamente qual manual de regras e qual versão foram usados, além do modelo e de outros detalhes da solicitação. É difícil verificar a afirmação de que uma resposta de IA se baseou nas políticas da empresa. Já dizer que ela foi gerada com a versão 7 de um acordo específico, que foi preservado e pode ser comparado com outras versões, constitui uma evidência muito mais sólida. Também rastreamos todas as chamadas ao modelo e às ferramentas: o que o usuário perguntou, o que foi recuperado, quais ferramentas foram executadas, o que o modelo respondeu e quaisquer erros ocorridos ao longo do processo. Quando recebemos uma solicitação de suporte, podemos identificar exatamente a origem de uma resposta incorreta. A decisão sobre a Air Canada de 2024, na qual um tribunal obrigou a companhia aérea a honrar um desconto inventado pelo chatbot, mostra o custo da alternativa.

Envolva pessoas quando há consequências em jogo

O Perfil de IA generativa do NIST trata a distinção entre o que um sistema faz sozinho e o que exige a participação de uma pessoa como uma decisão de governança. Encaminhamos um caso a uma pessoa quando o sistema está incerto, quando há informações conflitantes ou quando a decisão pode afetar significativamente o usuário. No processo de admissão, um perfil estudantil incomum ou uma recomendação que não atenda claramente aos requisitos essenciais do estudante é sinalizado para análise de um orientador. Essa etapa já identificou recomendações que pareciam razoáveis à primeira vista, mas deixavam de considerar uma restrição do perfil do estudante, e cada caso foi usado para aprimorar o sistema. Nenhum dos produtos finaliza algo por conta própria. É necessária a participação de um orientador antes que uma recomendação possa ser considerada, e cada contracheque gerado pelo sistema de folha de pagamento é sinalizado para aprovação antes de ser enviado. A revisão humana não se destina a todas as solicitações. O objetivo é automatizar com confiança os casos rotineiros e envolver uma pessoa quando o sistema tiver um bom motivo para estar incerto.

Decidir o que o modelo pode assumir hoje

Há um teste prático que aplico a qualquer fluxo de trabalho. Se uma resposta errada puder ser detectada e corrigida antes de chegar a alguém, o modelo pode assumir essa etapa. Se a resposta puder ser conferida com base em uma regra, cabe à regra determiná-la, e ao modelo explicá-la. Se uma resposta errada puder chegar a um contracheque ou influenciar uma decisão de admissão antes que alguém a veja, essa etapa ainda não está pronta.

Os modelos de linguagem são os melhores intérpretes que já colocamos diante de um conjunto de regras. Em áreas que penalizam os erros, é na interpretação que eles devem parar.