A chegada dos Modelos de Linguagem Multimodal (MLLM) trouxe uma nova era de agentes de dispositivos móveis, capazes de entender e interagir com o mundo por meio de texto, imagens e voz. Esses agentes marcam um avanço significativo em relação à inteligência artificial tradicional, fornecendo uma forma mais rica e intuitiva para os usuários interagirem com seus dispositivos. Ao aproveitar os MLLM, esses agentes podem processar e sintetizar vastas quantidades de informações de várias modalidades, permitindo que ofereçam assistência personalizada e melhorem as experiências do usuário de maneiras anteriormente inimagináveis.

Esses agentes são impulsionados por técnicas de aprendizado de máquina de ponta e capacidades avançadas de processamento de linguagem natural, permitindo que entendam e gerem texto semelhante ao humano, bem como interpretem dados visuais e auditivos com precisão notável. Desde reconhecer objetos e cenas em imagens até entender comandos falados e analisar sentimentos de texto, esses agentes multimodais estão equipados para lidar com uma ampla gama de entradas de forma transparente. O potencial dessa tecnologia é vasto, oferecendo serviços mais sofisticados e conscientes do contexto, como assistentes virtuais sintonizados com as emoções humanas e ferramentas educacionais que se adaptam a estilos de aprendizado individuais. Eles também têm o potencial de revolucionar a acessibilidade, tornando a tecnologia mais acessível por meio de barreiras linguísticas e sensoriais.

Neste artigo, vamos falar sobre os Agentes Móveis, um agente autônomo de dispositivo móvel multimodal que primeiro aproveita a capacidade de ferramentas de percepção visual para identificar e localizar elementos visuais e textuais com precisão na interface de um aplicativo móvel. Usando esse contexto de visão percebida, o framework do Agente Móvel planeja e decompõe tarefas complexas de forma autônoma, navegando pelos aplicativos móveis por meio de operações passo a passo. O framework do Agente Móvel difere das soluções existentes, pois não depende de metadados do sistema móvel ou arquivos XML dos aplicativos móveis, permitindo uma maior adaptabilidade em diferentes ambientes de operação móvel de forma centrada na visão. A abordagem seguida pelo framework do Agente Móvel elimina a necessidade de adaptações específicas do sistema, resultando em melhor desempenho e menores requisitos computacionais.

Agentes Móveis: Agente Autônomo de Dispositivo Móvel Multimodal

No mundo rápido da tecnologia móvel, um conceito pioneiro emerge como destaque: Modelos de Linguagem, especialmente Modelos de Linguagem Multimodal ou MLLM, capazes de gerar uma ampla variedade de texto, imagens, vídeos e fala em diferentes idiomas. O rápido desenvolvimento de frameworks MLLM nos últimos anos deu origem a uma nova e poderosa aplicação dos MLLM: agentes móveis autônomos. Agentes móveis autônomos são entidades de software que atuam, se movem e funcionam independentemente, sem necessidade de comandos humanos diretos, projetados para atravessar redes ou dispositivos para realizar tarefas, coletar informações ou resolver problemas.

Os Agentes Móveis são projetados para operar o dispositivo móvel do usuário com base nas instruções do usuário e nos visuais da tela, uma tarefa que exige que os agentes possuam tanto compreensão semântica quanto capacidades de percepção visual. No entanto, os agentes móveis existentes estão longe de ser perfeitos, pois são baseados em modelos de linguagem multimodal, e mesmo os frameworks MLLM atuais, incluindo o GPT-4V, carecem de capacidades de percepção visual necessárias para servir como um agente móvel eficaz. Além disso, embora os frameworks existentes possam gerar operações eficazes, eles lutam para localizar a posição dessas operações com precisão na tela, limitando as aplicações e a capacidade dos agentes móveis de operar em dispositivos móveis.

Para lidar com esse problema, alguns frameworks optaram por aproveitar os arquivos de layout da interface do usuário para ajudar o GPT-4V ou outros MLLM com capacidades de localização, com alguns frameworks conseguindo extrair posições de operações na tela acessando os arquivos XML do aplicativo, enquanto outros frameworks optaram por usar o código HTML de aplicativos web. Como pode ser visto, a maioria desses frameworks depende do acesso a arquivos subjacentes e locais do aplicativo, tornando o método quase ineficaz se o framework não puder acessar esses arquivos. Para resolver esse problema e eliminar a dependência de agentes locais em métodos de localização de arquivos, os desenvolvedores trabalharam no Agente Móvel, um agente móvel autônomo com impressionantes capacidades de percepção visual. Usando seu módulo de percepção visual, o framework do Agente Móvel usa telas do dispositivo móvel para localizar operações com precisão.

Além disso, o framework do Agente Móvel visa aproveitar as capacidades contextuais dos frameworks MLLM de ponta, como o GPT-4V, para alcançar capacidades de planejamento autônomo que permitem ao modelo planejar tarefas com base na história de operações, instruções do usuário e telas de forma holística. Para melhorar ainda mais a capacidade do agente de identificar instruções incompletas e operações erradas, o framework do Agente Móvel introduz um método de autorreflexão. Sob a orientação de prompts cuidadosamente elaborados, o agente reflete sobre operações incorretas e inválidas consistentemente e interrompe as operações assim que a tarefa ou instrução for concluída.

Em resumo, as contribuições do framework do Agente Móvel podem ser resumidas como segue:

1. O Agente Móvel atua como um agente autônomo de dispositivo móvel, utilizando ferramentas de percepção visual para realizar a localização de operações. Ele planeja metodicamente cada etapa e se engaja em introspecção. Notavelmente, o Agente Móvel depende exclusivamente de telas do dispositivo, sem o uso de qualquer código do sistema, mostrando uma solução baseada puramente em técnicas de visão.
2. O Agente Móvel introduz o Mobile-Eval, um benchmark projetado para avaliar agentes de dispositivos móveis. Esse benchmark inclui uma variedade dos 10 aplicativos móveis mais comuns, juntamente com instruções inteligentes para esses aplicativos, categorizados em três níveis de dificuldade.

Agente Móvel: Arquitetura e Metodologia

Em seu núcleo, o framework do Agente Móvel consiste em um Modelo de Linguagem Multimodal de ponta, o GPT-4V, um módulo de detecção de texto usado para tarefas de localização de texto. Além do GPT-4V, o Agente Móvel também emprega um módulo de detecção de ícones para localização de ícones.

Percepção Visual

Como mencionado anteriormente, o MLLM GPT-4V entrega resultados satisfatórios para instruções e telas, mas falha em saída eficaz onde as operações ocorrem. Devido a essa limitação, o framework do Agente Móvel que implementa o modelo GPT-4V precisa depender de ferramentas externas para ajudar com a localização de operações, facilitando assim a saída das operações na tela do dispositivo móvel.

Localização de Texto

O framework do Agente Móvel implementa uma ferramenta OCR para detectar a posição do texto correspondente na tela sempre que o agente precisa tocar em um texto específico exibido na tela do dispositivo móvel. Existem três cenários de localização de texto únicos.

Cenário 1: Nenhum Texto Específico Detectado

Problema: A OCR falha em detectar o texto especificado, o que pode ocorrer em imagens complexas ou devido a limitações da OCR.

Resposta: Instruir o agente a:

• Reescolher o texto para tocar, permitindo uma correção manual do erro da OCR, ou
• Escolher uma operação alternativa, como usar um método de entrada diferente ou realizar outra ação relevante para a tarefa em questão.

Raciocínio: Essa flexibilidade é necessária para gerenciar as ocasionalmente imprecisões ou alucinações do GPT-4V, garantindo que o agente possa prosseguir de forma eficaz.

Cenário 2: Instância Única de Texto Específico Detectado

Operação: Automaticamente gerar uma ação para clicar nas coordenadas centrais da caixa de texto detectada.

Justificativa: Com apenas uma instância detectada, a probabilidade de identificação correta é alta, tornando eficiente prosseguir com uma ação direta.

Cenário 3: Múltiplas Instâncias de Texto Específico Detectado

Avaliação: Primeiramente, avaliar o número de instâncias detectadas:

Muitas Instâncias: Indica uma tela cheia de conteúdo semelhante, complicando a seleção.

Ação: Solicitar que o agente reescolha o texto, visando refinar a seleção ou ajustar os parâmetros de busca.

Poucas Instâncias: Um número gerenciável de detecções permite uma abordagem mais sutil.

Ação: Recortar as regiões ao redor dessas instâncias, expandindo as caixas de texto para capturar mais contexto. Essa expansão garante que mais informações sejam preservadas, auxiliando na tomada de decisões.

Próxima Etapa: Desenhar caixas de detecção nas imagens recortadas e apresentá-las ao agente. Essa assistência visual ajuda o agente a decidir qual instância interagir, com base em pistas contextuais ou requisitos da tarefa.

Essa abordagem estruturada otimiza a interação entre os resultados da OCR e as operações do agente, melhorando a confiabilidade e adaptabilidade do sistema ao lidar com tarefas baseadas em texto em diferentes cenários. O processo completo é demonstrado na imagem a seguir.

Localização de Ícone

O framework do Agente Móvel implementa uma ferramenta de detecção de ícones para localizar a posição de um ícone quando o agente precisa clicar nele na tela do dispositivo móvel. Para ser mais específico, o framework primeiro solicita que o agente forneça atributos específicos da imagem, incluindo forma e cor, e então o framework implementa o método Grounding DINO com o ícone de prompt para identificar todos os ícones contidos na tela. Finalmente, o Agente Móvel emprega o framework CLIP para calcular a similaridade entre a descrição da região de clique e a similaridade entre os ícones excluídos, e seleciona a região com a maior similaridade para um clique.

Execução de Instruções

Para traduzir as ações em operações na tela pelo agente, o framework do Agente Móvel define 8 operações diferentes.

• Lançar Aplicativo (Nome do Aplicativo): Inicie o aplicativo designado a partir da interface do desktop.
• Toque no Texto (Rótulo do Texto): Interaja com a parte da tela que exibe o rótulo “Rótulo do Texto”.
• Interagir com Ícone (Descrição do Ícone, Localização): Alvo e toque a área do ícone especificada, onde “Descrição do Ícone” detalha atributos como cor e forma do ícone. Escolha “Localização” das opções como topo, inferior, esquerda, direita ou centro, possivelmente combinando duas para navegação precisa e reduzir erros.
• Entrar Texto (Texto de Entrada): Insira o texto de entrada fornecido no campo de texto ativo.
• Role para Cima e para Baixo: Navegue para cima ou para baixo pelo conteúdo da página presente.
• Voltar: Retorne à página anteriormente visualizada.
• Fechar: Navegue de volta para o desktop diretamente da tela atual.
• Parar: Conclua a operação uma vez que a tarefa esteja concluída.

Planejamento Autônomo

Cada etapa da operação é executada iterativamente pelo framework, e antes do início de cada iteração, o usuário é solicitado a fornecer uma instrução de entrada, e o modelo do Agente Móvel usa a instrução para gerar um prompt do sistema para o processo inteiro. Além disso, antes do início de cada iteração, o framework captura uma tela e a alimenta ao agente. O agente então observa a tela, o histórico de operações e os prompts do sistema para sair com a próxima etapa das operações.

Autorreflexão

Durante suas operações, o agente pode enfrentar erros que o impedem de executar com sucesso um comando. Para melhorar a taxa de cumprimento de instruções, uma abordagem de autoavaliação foi implementada, ativada sob duas circunstâncias específicas. Inicialmente, se o agente executa uma ação defeituosa ou inválida que interrompe o progresso, como quando reconhece que a tela permanece inalterada após a operação ou exibe uma página incorreta, ele será direcionado a considerar ações alternativas ou ajustar os parâmetros da operação existente. Em segundo lugar, o agente pode perder alguns elementos de uma diretriz complexa. Uma vez que o agente tenha executado uma série de ações com base em seu plano inicial, ele será solicitado a revisar sua sequência de ações, a tela mais recente e a diretriz do usuário para avaliar se a tarefa foi concluída. Se discrepâncias forem encontradas, o agente é encarregado de gerar autonomamente novas ações para cumprir a diretriz.

Agente Móvel: Experimentos e Resultados

Para avaliar suas capacidades de forma abrangente, o framework do Agente Móvel introduz o benchmark Mobile-Eval, consistindo em 10 aplicativos móveis comuns, e projeta três instruções para cada aplicativo. A primeira operação é direta e cobre apenas operações básicas do aplicativo, enquanto a segunda operação é um pouco mais complexa do que a primeira, pois tem alguns requisitos adicionais. Finalmente, a terceira operação é a mais complexa de todas, pois contém instruções abstratas do usuário, com o usuário não especificando explicitamente qual aplicativo usar ou qual operação realizar.

Em seguida, para avaliar o desempenho de diferentes perspectivas, o framework do Agente Móvel projeta e implementa 4 métricas diferentes.

• Sucesso ou Su: Se o agente móvel concluir as instruções, é considerado um sucesso.

• Pontuação do Processo ou PS: A métrica da Pontuação do Processo mede a precisão de cada etapa durante a execução das instruções do usuário e é calculada dividindo o número de etapas corretas pelo número total de etapas.

• Eficiência Relativa ou RE: A pontuação de eficiência relativa é uma razão ou comparação entre o número de etapas que leva para um humano realizar a instrução manualmente e o número de etapas que leva para o agente executar a mesma instrução.

• Taxa de Conclusão ou CR: A métrica da taxa de conclusão divide o número de etapas operadas pelo humano que o framework completa com sucesso pelo número total de etapas tomadas por um humano para concluir a instrução. O valor de CR é 1 quando o agente conclui a instrução com sucesso.

Os resultados são demonstrados na figura a seguir.

Inicialmente, para as três tarefas dadas, o Agente Móvel atingiu taxas de conclusão de 91%, 82% e 82%, respectivamente. Embora nem todas as tarefas tenham sido executadas perfeitamente, as taxas de realização para cada categoria de tarefa superaram 90%. Além disso, a métrica PS revela que o Agente Móvel demonstra consistentemente uma alta probabilidade de executar ações precisas para as três tarefas, com taxas de sucesso em torno de 80%. Além disso, de acordo com a métrica RE, o Agente Móvel exibe uma eficiência de 80% ao realizar operações em um nível comparável à otimidade humana. Esses resultados coletivamente destacam a proficiência do Agente Móvel como um assistente de dispositivo móvel.

A figura a seguir ilustra a capacidade do Agente Móvel de compreender comandos do usuário e orquestrar suas ações de forma independente. Mesmo na ausência de detalhes de operação explícitos nas instruções, o Agente Móvel interpretou habilmente as necessidades do usuário, convertendo-as em tarefas realizáveis. Após essa compreensão, o agente executou as instruções por meio de um processo de planejamento sistemático.

Pensamentos Finais

Neste artigo, falamos sobre o Agente Móvel, um agente autônomo de dispositivo móvel multimodal que inicialmente utiliza tecnologias de percepção visual para detectar e localizar com precisão elementos visuais e textuais dentro da interface de um aplicativo móvel. Com esse contexto de visão percebida, o framework do Agente Móvel planeja e decompõe tarefas complexas de forma autônoma, navegando pelos aplicativos móveis por meio de operações passo a passo. Esse framework se destaca das soluções existentes, pois não depende de metadados do sistema móvel ou arquivos XML dos aplicativos móveis, facilitando assim uma maior flexibilidade em diferentes ambientes de operação móvel com foco no processamento centrado na visão. A estratégia empregada pelo framework do Agente Móvel elimina a necessidade de adaptações específicas do sistema, resultando em melhor eficiência e menores requisitos computacionais. O framework do Agente Móvel obvia a necessidade de adaptações específicas do sistema, levando a uma melhor eficiência e menores demandas computacionais, facilitando assim uma maior flexibilidade em diferentes ambientes de operação móvel com foco no processamento centrado na visão, e o Agente Móvel facilita a flexibilidade em vários sistemas operacionais móveis, com foco no processamento visual.