Google publica uma estrutura de avaliação de IA em saúde baseada em múltiplos métodos

O Google anunciou a publicação de um documento técnico em 4 de novembro de 2026, apresentando como avalia a IA generativa de uso geral na área da saúde. A estrutura combina avaliações com perguntas fechadas, avaliadores automáticos de IA e análise de especialistas humanos para julgar a precisão, a segurança e a utilidade em situações comuns e de alto risco.

A autora, Dra. Sarah Montgomery-Taylor, é líder de avaliação clínica no Google for Health; a Dra. Elizabeth McGlynn e a Dra. Dana Gelb Safran colaboraram no trabalho. O Google afirma que desenvolveu essa abordagem e continua a usá-la para avaliar se seus modelos fornecem respostas úteis e precisas que favorecem interações seguras na área da saúde. A publicação da metodologia tem como objetivo promover a transparência e ajudar desenvolvedores, pesquisadores e profissionais de saúde a criar ferramentas em que as pessoas possam confiar.

Adequar a avaliação ao uso clínico real

Os autores argumentam que os métodos de avaliação desenvolvidos para tarefas isoladas não abrangem adequadamente os modelos de uso geral. Como exemplo, citam um modelo anterior à IA generativa capaz de detectar câncer de pulmão em uma tomografia computadorizada, mas incapaz de detectar câncer de mama em uma mamografia ou resumir uma conversa em uma anotação. Quando um único modelo pode realizar centenas, milhares ou ainda mais tarefas, desenvolvedores e organizações de saúde precisam de uma maneira de priorizar as interações e os riscos.

Antes de escolher os casos de teste, os avaliadores mapeiam a Jornada Crítica do Usuário: quem usa o sistema, o que essa pessoa quer fazer e quais etapas estão envolvidas. Entre os usuários podem estar pacientes, familiares, profissionais de saúde ou administradores. Esse mapeamento orienta a seleção de dados de teste e métricas representativos. Também abrange o uso pretendido e formas comuns de uso indevido, incluindo a confiança no sistema para fins não aprovados e tentativas de contornar os filtros de segurança.

Em seguida, cada aplicação é avaliada em três domínios. A precisão abrange o consenso médico, o respaldo das evidências, a exatidão factual, o raciocínio clínico e a adequação ao contexto; para tarefas como resumir informações médicas, acrescenta-se a fundamentação em fontes. A segurança vai além de verificar se as afirmações estão corretas: considera os danos que podem decorrer de alguém interpretar uma resposta e agir — ou deixar de agir — com base nela. As avaliações levam em conta tanto a gravidade quanto a probabilidade desses danos. A utilidade considera a alfabetização em saúde, a relevância, a abrangência e se a pessoa pode agir com base na resposta. Assim, uma resposta pode ser precisa, mas insegura; ou precisa e segura, mas complexa demais ou sem orientações práticas para ajudar quem a recebe.

Os exemplos do artigo mostram como o principal risco varia conforme a tarefa. Para uma pessoa que consulta informações sobre sintomas, a principal preocupação de segurança é não destacar sinais de alerta que exigem atendimento urgente; por outro lado, uma resposta alarmista demais pode causar ansiedade desnecessária, enquanto orientações pouco claras para uma autoavaliação podem dificultar as próximas medidas adequadas. No caso de um resumo de alta hospitalar redigido por IA para um profissional de saúde, alucinações, omissões e erros factuais comprometem a precisão; alergias não identificadas ou medicamentos contraindicados representam riscos à segurança; e uma formatação confusa ou cronologias inconsistentes podem reduzir a utilidade.

Combinar a escala da automação com o julgamento humano

O primeiro método de avaliação usa testes com respostas definitivas, como questões de múltipla escolha, que permitem verificar, a um custo relativamente baixo, grandes volumes de conhecimentos básicos. Testes estáticos não conseguem reproduzir a complexidade e a representatividade de interações reais. A contaminação dos dados é outra limitação: quando as perguntas do teste aparecem nos dados de treinamento, os resultados podem refletir a preparação para a prova, e não um raciocínio médico generalizável. Por isso, a estrutura usa esses parâmetros de referência para estabelecer uma linha de base e orientar avaliações posteriores, que precisam de métodos adicionais para validar o desempenho no mundo real.

O segundo método delega a avaliação a outro sistema de IA. Esses avaliadores automáticos aplicam rubricas escritas a respostas abertas, permitindo examinar muito mais situações do que seria razoável pedir a especialistas que avaliassem. Eles podem avaliar conversas simuladas com várias interações, nas quais os usuários inicialmente omitem detalhes clínicos, para verificar se o modelo faz perguntas de esclarecimento antes de oferecer orientações. Ainda assim, os avaliadores automatizados precisam ser validados com dados de referência criados por especialistas, pois podem premiar respostas prolixas, favorecer respostas de sua própria família de modelos e propagar anotações humanas ruidosas.

Profissionais de saúde e outros especialistas da área analisam então os casos em que as rubricas automatizadas são menos confiáveis, incluindo apresentações clínicas complexas, casos atípicos e temas com pouco consenso clínico. Eles também avaliam se os resultados estão de acordo com as normas clínicas locais e com as necessidades de diferentes grupos de pacientes. Testes separados de red team avaliam os limites de segurança por meio de táticas como apelos emocionais, enquadramentos fictícios ou a adoção de uma persona de profissional de saúde para induzir respostas além do escopo previsto para o produto. A análise humana também é falível: os autores observam que dois médicos podem divergir em 30–40% ou mais em uma tarefa de avaliação, o que torna necessários controles para a variabilidade entre avaliadores e uma análise adequada.

O monitoramento continua após a implantação

A avaliação começa antes de existir um produto, com testes das capacidades gerais e da segurança do modelo-base. Quando o modelo passa a ser incorporado a uma aplicação, a avaliação se concentra nos usuários e no fluxo de trabalho específicos daquele produto. Perto do lançamento, a implantação controlada pode incluir testes-sombra silenciosos, projetos-piloto clínicos ou liberações em etapas, acompanhados de testes de fatores humanos e usabilidade antes de uma disponibilização mais ampla.

As equipes clínicas e de desenvolvimento devem definir, em conjunto, os limiares de aprovação e os pesos dos critérios em cada etapa decisória do produto, com base no perfil de risco clínico da aplicação, e não em limites numéricos universais ou arbitrários. Após a implantação, os desenvolvedores acompanham a deriva algorítmica e a estabilidade do sistema. As organizações que adotam essas soluções monitoram a segurança dos fluxos de trabalho clínicos no caso de ferramentas profissionais, ou a segurança dos usuários e os padrões de uso no caso de produtos voltados ao consumidor.

Os autores afirmam que sinais reativos, como reclamações de usuários e eventos sentinela, não podem, por si só, sustentar o monitoramento pós-implantação. Os conjuntos de teste diferem das interações reais, e os usuários mudam suas instruções e expectativas à medida que ganham experiência. Os resultados do monitoramento devem retroalimentar os requisitos, o treinamento e as prioridades das avaliações subsequentes. O monitoramento de interações e desfechos de saúde a longo prazo enfrenta silos de dados, além de obstáculos relacionados à privacidade e a aspectos técnicos e organizacionais. O artigo também aponta responsabilidades compartilhadas entre desenvolvedores e sistemas de saúde, custos de implementação, validação independente e consenso científico como aspectos de governança ainda pendentes.

Para desenvolvedores e sistemas de saúde, a estrutura muda o foco: em vez de perguntar se um modelo foi aprovado em um benchmark estático, a questão passa a ser se é possível demonstrar sua precisão, segurança e utilidade ao longo de todo o desenvolvimento e da implantação. O principal desafio é prático: vincular o monitoramento à responsabilização, ao mesmo tempo que se atribuem responsabilidades, se financia o trabalho e se validam os resultados de forma independente, atravessando fronteiras organizacionais e de dados.