O que são agentes que usam computadores? Como a IA vê, clica, digita e navega por softwares

Agentes que usam computadores são sistemas de IA capazes de perceber uma interface de software e interagir com ela por meio de ações como clicar, digitar, rolar, arrastar e usar atalhos de teclado. Em vez de exigir uma API específica para cada aplicativo, eles operam por meio de muitas das mesmas interfaces visuais usadas pelas pessoas.

Essa capacidade permite que os agentes atuem em uma ampla variedade de softwares legados, sites e aplicativos para computador. Ela também traz riscos incomuns. Um pequeno equívoco visual pode desviar uma tarefa longa, e o acesso à interface pode expor tudo o que o usuário conectado consegue ver ou alterar.

Por que o uso do computador é importante

Grande parte dos softwares importantes do mundo foi projetada para pessoas, não para agentes. Um aplicativo pode não ter uma API pública, disponibilizar programaticamente apenas parte de suas funcionalidades ou exigir tarefas em várias interfaces.

A automação robótica de processos tradicional consegue operar interfaces de usuário, mas geralmente depende de seletores e fluxos de trabalho predefinidos. Um agente que usa o computador acrescenta um modelo capaz de interpretar telas desconhecidas, decidir qual etapa é necessária e se adaptar quando a interface muda ou uma caixa de diálogo inesperada aparece.

Isso faz do uso do computador uma ferramenta de uso geral. O mesmo ciclo de percepção e ação pode, potencialmente, navegar por uma planilha, um sistema de gestão do relacionamento com o cliente, um aplicativo de design, um navegador ou um portal interno.

Como funciona um agente que usa o computador

A etapa intermediária mais difícil é identificar o elemento correspondente à instrução. O agente precisa associar uma instrução conceitual, como “abrir a fatura mais recente”, a uma linha ou controle específico visível na tela. Rótulos de texto e metadados de acessibilidade podem ajudar, mas layouts dinâmicos, interfaces baseadas em telas de desenho, elementos sobrepostos e ícones ambíguos podem obrigar o modelo a raciocinar a partir dos pixels.

O ciclo básico se assemelha à forma como uma pessoa interage com um software.

1. Observar: capturar uma captura de tela, a árvore de acessibilidade, a estrutura do documento, a posição do cursor e outros dados sobre o estado do ambiente.
2. Interpretar: identificar controles visíveis, conteúdo, avisos e a relação entre a tela atual e a tarefa.
3. Escolher uma ação: decidir se deve clicar, digitar, rolar, pressionar uma tecla, aguardar ou pedir ajuda.
4. Executar: o ambiente de execução realiza a ação por meio de uma interface do sistema operacional, do navegador ou da máquina virtual.
5. Verificar: capturar a tela após a mudança e determinar se a ação produziu o efeito desejado.
6. Repetir ou parar: prosseguir em direção ao objetivo, corrigir um erro ou fazer uma pausa diante de um limite protegido.

A descrição da OpenAI sobre um agente que usa o computador apresenta essa capacidade como a combinação de percepção visual, raciocínio e ações com o mouse e o teclado. O essencial não é prever um único clique, mas fechar o ciclo entre percepção, ação e observação de um novo estado.

O que o agente consegue “ver”

Os sistemas de uso do computador podem receber diferentes representações de uma interface.

Capturas de tela fornecem uma visão geral no nível dos pixels e funcionam mesmo quando não há metadados estruturados da interface. Elas podem mostrar gráficos, imagens, aplicativos com telas de desenho e o layout visual. No entanto, alvos pequenos, estados ocultos e ícones ambíguos podem ser difíceis de interpretar.

Árvores de acessibilidade ou estrutura do documento apresentam controles e textos em um formato mais estruturado. Isso pode tornar mais precisa a seleção de elementos, mas talvez omita informações visuais ou funcione de maneira inconsistente entre aplicativos.

Sistemas híbridos combinam pixels, elementos estruturados, estado do aplicativo e, às vezes, APIs diretas. Em geral, essa abordagem é mais eficaz do que tratar todos os problemas como mera imitação visual.

Uso do computador versus automação de navegador

A automação convencional de navegadores usa código e seletores estáveis para executar uma sequência conhecida. Ela é rápida e previsível quando a estrutura da página é controlada. Um agente que usa o computador interpreta a interface dinamicamente e pode decidir qual sequência seguir.

As abordagens são complementares. Um sistema robusto pode permitir que o agente decida o que precisa ser feito e, em seguida, execute operações conhecidas por meio de automação determinística ou APIs. A interação no nível dos pixels é mais valiosa quando não há uma interface estruturada disponível ou quando não é possível definir o caminho com antecedência.

Uso do computador versus APIs e chamadas de ferramentas

Essa abordagem híbrida reduz tanto os erros quanto os custos. O agente pode obter dados por meio de uma API, abrir um aplicativo de desktop apenas para preencher um formulário antigo e, em seguida, verificar o registro final por meio de outra consulta estruturada. Tratar o controle visual como uma entre várias ferramentas evita obrigar todas as etapas a passar pela interface menos confiável.

Uma API oferece uma interface voltada para máquinas, com operações e tipos de dados explícitos. Em geral, é mais rápida, precisa e fácil de validar do que clicar em uma tela. O uso do computador oferece compatibilidade mais ampla, mas implica maior ambiguidade.

Por exemplo, um agente pode consultar o estoque por meio de uma API, mas usar o portal do fornecedor na web para resolver uma exceção não contemplada pela API. A chamada de ferramentas pode disponibilizar ambas as capacidades ao modelo, enquanto o ambiente de execução prioriza a opção mais confiável.

Casos de uso comuns

• Operações administrativas: transferir dados entre portais, preencher formulários rotineiros e preparar registros para aprovação.
• Pesquisa: navegar por sites, filtrar resultados, coletar evidências e atualizar um documento de trabalho.
• Testes de software: percorrer jornadas do usuário, registrar falhas e verificar alterações visuais.
• Suporte de TI: inspecionar configurações, coletar informações de diagnóstico e orientar ou executar correções aprovadas.
• Produtividade pessoal: coordenar arquivos, aplicativos da web, calendários e documentos.
• Acessibilidade: ajudar usuários a operar interfaces que, de outra forma, seriam difíceis de navegar, sob controles rigorosos de privacidade.

Por que as tarefas que envolvem o uso do computador continuam sendo difíceis

As interfaces de usuário incluem menus dinâmicos, carregamento lento, janelas pop-up, áreas roláveis, alvos pequenos e estados visualmente semelhantes, mas com consequências diferentes. Uma tarefa pode exigir dezenas de etapas corretas, de modo que até uma taxa de erro modesta por etapa se acumula.

Benchmarks como o OSWorld avaliam agentes em ambientes reais de computador, em vez de analisar cliques isolados. O OSWorld 2.0 amplia essa abordagem para fluxos de trabalho mais longos, com mudanças de estado e maior variedade. O capítulo sobre desempenho técnico do AI Index 2026, de Stanford, relata avanços rápidos, mas ainda aponta uma diferença em relação ao desempenho humano no OSWorld, ressaltando que demonstrações impressionantes não equivalem a confiabilidade universal.

Principais modos de falha

• Erros de ancoragem visual: clicar em um controle próximo ou parecido.
• Confusão de estado: presumir que uma página carregou, que um salvamento foi concluído ou que a janela ativa mudou, quando isso não aconteceu.
• Desvio em tarefas de longa duração: perder de vista o objetivo da tarefa após muitas ações pequenas.
• Efeitos colaterais ocultos: enviar um formulário ou efetuar uma compra quando a intenção do agente era apenas visualizar.
• Injeção de prompt: seguir instruções maliciosas inseridas em uma página da web, documento ou mensagem.
• Exposição de credenciais: revelar ou usar indevidamente informações disponíveis em uma sessão autenticada.
• Erros irreversíveis: excluir, publicar, enviar ou comprar sem uma análise adequada.

Princípios de segurança e controle

O conteúdo da interface não é confiável. Uma página da Web, um e-mail ou um documento pode conter instruções destinadas a redirecionar o agente, e uma caixa de diálogo maliciosa pode imitar uma confirmação conhecida. O sistema deve isolar o conteúdo da página das políticas, restringir destinos e credenciais e pausar quando surgir uma solicitação inesperada de permissão ou uma confirmação com consequências importantes.

O uso do computador deve ocorrer no ambiente mais restrito capaz de concluir a tarefa. Um perfil de navegador dedicado, uma máquina virtual ou uma área isolada limita o acesso a contas e arquivos não relacionados. As sessões devem usar credenciais específicas para a tarefa e permissões de privilégio mínimo, em vez de herdar toda a autoridade do usuário sobre o computador.

Ações de grande impacto precisam de um limite claro de confirmação. O sistema deve pausar imediatamente antes de enviar, encaminhar, comprar, excluir, publicar ou alterar configurações sensíveis e mostrar ao usuário o alvo exato e o efeito da ação.

Os agentes também devem tratar o conteúdo exibido na tela como dados não confiáveis. Instruções encontradas em uma página da Web não devem se sobrepor às políticas do sistema nem à tarefa do usuário. Downloads, comandos copiados e comunicações externas exigem validação separada.

Como avaliar um agente que usa o computador

Concluir a tarefa é necessário, mas não suficiente. As equipes devem medir a precisão de cada etapa, a recuperação diante de estados inesperados, as ações desnecessárias, o tempo, o custo, a exposição de dados sensíveis, o cumprimento das aprovações e a consistência entre execuções repetidas.

Os ambientes de avaliação devem variar a resolução da tela, o layout, os dados, o tempo e o estado do aplicativo. Caso contrário, um agente pode se ajustar excessivamente a um benchmark roteirizado e falhar diante das variações encontradas no uso cotidiano de softwares.

Como ler os diagramas de uso do computador

Leia os diagramas de uso do computador da entrada numerada em direção ao resultado observável. A comparação isola o limite que distingue o uso do computador de seu atalho mais próximo, enquanto o fluxo de controle indica onde a autoridade ou a incerteza precisa ser verificada antes que haja consequências no mundo real. Os rótulos continuam sendo texto comum e responsivo na página, para que possam ser traduzidos, quebrados em linhas e reorganizados em um celular.

No artigo “O que são agentes que usam computadores? Como a IA vê, clica, digita e navega por softwares”, a representação visual é um mapa, não uma garantia. Uma implementação real pode combinar etapas, repetir uma etapa ou acrescentar um ponto de aprovação humana. O que importa é se a equipe consegue identificar as mesmas funções no sistema implantado, designar um responsável por cada limite e testar a transição entre eles. Se uma etapa não puder ser observada ou medida, será difícil diagnosticar as falhas que ocorrerem nela.

O que lembrar sobre agentes que usam computadores

Os agentes que usam computadores tornam a interface humana dos softwares disponível como uma ferramenta de uso geral. Eles podem acessar sistemas sem APIs adequadas e se adaptar a tarefas que a automação fixa não consegue prever com facilidade.

Essa generalidade vem acompanhada de ambiguidade e de um amplo potencial de impacto. Os projetos mais sólidos dão preferência a APIs estruturadas quando disponíveis, isolam o ambiente computacional, verificam cada mudança de estado e mantêm as pessoas no controle das ações com consequências importantes.