Google Research leva a deliberação humana aos classificadores de IA para categorias subjetivas

Em 4 de novembro de 2026, o Google Research apresentou o Agile Deliberation, uma estrutura interativa para criar classificadores de imagens voltados a categorias subjetivas, acompanhada de código aberto e uma demonstração em notebook. Em um estudo com usuários composto por 18 sessões, os pesquisadores relataram resultados melhores dos classificadores e menor esforço do que com o refinamento manual de prompts.

A estrutura aborda categorias cujos limites dependem do julgamento pessoal, do contexto cultural ou de políticas operacionais: alimentos saudáveis, obras de arte inspiradoras e imagens caça-cliques que prometem recompensas enganosas. Sua premissa central é que, muitas vezes, os usuários descobrem os próprios critérios de decisão ao analisar exemplos difíceis. Um fluxo de trabalho convencional de rotulagem trata esses critérios como fixos antes do início da anotação, fazendo com que mudanças de intenção se manifestem como rótulos inconsistentes ou decisões arbitrárias do modelo.

O Agile Deliberation transforma a definição em evolução tanto em uma especificação legível por humanos quanto no prompt que orienta um classificador baseado em um modelo de visão e linguagem. O projeto se baseia em entrevistas com cinco especialistas em moderação de conteúdo e em uma análise qualitativa de 20 definições extraídas de seus fluxos de trabalho profissionais, que mostrou que os especialistas primeiro delimitam os conceitos e depois os refinam por meio de imagens limítrofes.

Duas etapas de deliberação sobre conceitos

A delimitação de conceitos divide uma ideia inicial em subconceitos positivos e negativos candidatos. Por exemplo, um usuário que esteja criando um classificador de alimentos saudáveis pode incluir saladas e bowls de grãos, excluindo alimentos processados ou ingredientes crus ainda não preparados. Imagens representativas fundamentam cada escolha, e subconceitos que não descrevem padrões visuais significativos podem ser descartados antes da criação do primeiro classificador.

Em seguida, a iteração de conceitos busca imagens semanticamente limítrofes, em vez de simplesmente selecionar casos em que a confiança do modelo se aproxima de 0,5. Os pesquisadores argumentam que a confiança de um modelo de visão e linguagem pode não estar bem calibrada em relação à ambiguidade humana: o modelo pode ter confiança em uma imagem que uma pessoa considera difícil de classificar. Os exemplos recuperados são deduplicados e agrupados, e uma regra de bandido multiarmado favorece os grupos que anteriormente corrigiram erros ou geraram feedback útil.

Uma etapa de mineração de ambiguidades organiza um lote em torno de uma questão interpretável, como molhos cremosos, teor de açúcar ou tamanho da porção, e gera uma breve explicação da ambiguidade de cada imagem. Os usuários indicam se as imagens estão dentro ou fora do escopo e podem acrescentar justificativas em linguagem natural. O sistema gera definições alternativas, testa-as com todos os rótulos coletados até então, seleciona a candidata com a melhor pontuação F1 e permite edições manuais.

O protótipo usa o Gemini 2.5 Pro para a decomposição e o Gemini 2.5 Flash para a classificação, a geração de consultas sobre casos limítrofes e a mineração de ambiguidades. Esses modelos foram usados sem treinamento adicional ou ajuste fino, e a interface funciona em um notebook interativo do Colab.

O que revelou o estudo com participantes

Nove participantes sem experiência profissional em moderação de conteúdo concluíram, cada um, duas sessões de aproximadamente 90 minutos: uma com o Agile Deliberation e outra com deliberação manual, em uma ordem de uso dos sistemas definida aleatoriamente. Os dois conceitos testados foram alimentos saudáveis e moderação de clickbait que exige pagamento para participar. Cada sessão incluiu cerca de 45 minutos de trabalho na definição, a anotação de 200 imagens de teste reservadas, uma pesquisa e uma entrevista de 15 minutos. As comparações também abrangeram a classificação zero-shot e o Modeling Collaborator, uma referência de decomposição automatizada; os participantes da etapa manual podiam consultar os prompts detalhados desse sistema.

O artigo relata que, para o conceito de pagamento para participar, o Agile Deliberation elevou a pontuação F1 em 11% em relação à sua referência zero-shot, enquanto a deliberação manual obteve um ganho de 8% em relação à própria referência. Para alimentos saudáveis, as variações foram uma melhora de 10% com o Agile Deliberation e uma queda de 3% com a deliberação manual. Os ganhos refletiram principalmente uma melhora na precisão, acompanhada de reduções menores na revocação. A acurácia não foi usada porque as definições personalizadas dos participantes produziram distribuições desequilibradas de rótulos no conjunto de teste.

Todos os participantes preferiram o Agile Deliberation à deliberação manual. Os participantes relataram esforço médio de 3,11 com o Agile Deliberation, contra 4,67 com o trabalho manual; as pontuações médias para a sensação de insegurança, estresse ou irritação foram 1,67 e 3,00, respectivamente. Ambas as diferenças foram consideradas estatisticamente significativas em p<.05. As entrevistas ofereceram uma explicação prática: os usuários do método manual precisavam inventar buscas por contraexemplos, e alguns temiam que uma alteração no prompt que corrigisse um erro prejudicasse o comportamento em outros casos.

Limitações do estudo e disponibilidade do código

A avaliação também tem limitações importantes. Os autores alertam que o número de participantes, nove, restringe o poder estatístico e a generalização dos resultados, e que cada pessoa usou os dois sistemas com conceitos diferentes para evitar levar uma definição já estabelecida para a segunda sessão. Assim, foi possível comparar a experiência subjetiva dentro de cada participante, mas o desempenho dos classificadores só pôde ser comparado entre grupos de participantes. O estudo não isolou componentes individuais nem avaliou todo o fluxo de trabalho com outros modelos generativos.

O repositório de código aberto contém a base de código e o conjunto de dados complementares, além de um notebook Demo.ipynb com instruções passo a passo para Jupyter ou Google Colab. A demonstração cria um índice de recuperação por vizinhos mais próximos sobre o LAION400M. A configuração padrão baixa dois fragmentos, que totalizam cerca de 260 MB, para verificar o pipeline; a configuração documentada com 100 fragmentos totaliza aproximadamente 13 GB. A recuperação, o download de imagens externas e as chamadas ao modelo podem levar de segundos a minutos; uma única chave de API pode estar sujeita a limites de frequência, e várias etapas permitem o armazenamento em cache no disco. O aviso do repositório afirma que este não é um produto oficialmente apoiado pelo Google.

A contribuição prática do Agile Deliberation é tornar a intenção subjetiva uma parte explícita e revisável do desenvolvimento de classificadores. Os usuários podem inspecionar as regras positivas e negativas, examinar os casos-limite que revelaram lacunas e apresentar justificativas para as revisões. Para as equipes de moderação e curadoria, isso significa que a definição da categoria e os julgamentos humanos que a moldam passam a fazer parte do processo de desenvolvimento do classificador, que pode ser inspecionado.