Transformadores de Visão Superam Desafios com Novo Método de ‘Atenção de Cluster para Patch’

As tecnologias de inteligência artificial (IA), particularmente os Transformadores de Visão (ViTs), mostraram um grande potencial em identificar e categorizar objetos em imagens. No entanto, sua aplicação prática foi limitada por dois desafios significativos: os altos requisitos de poder computacional e a falta de transparência na tomada de decisões. Agora, um grupo de pesquisadores desenvolveu uma solução inovadora: uma nova metodologia conhecida como “Atenção de Cluster para Patch” (PaCa). A PaCa visa melhorar as capacidades dos ViTs em identificar, classificar e segmentar objetos em imagens, enquanto resolve os problemas de longa data de demandas computacionais e clareza na tomada de decisões.

Superando os Desafios dos ViTs: Um Vislumbre da Nova Solução

Os Transformadores, devido às suas capacidades superiores, são dos modelos mais influentes no mundo da IA. O poder desses modelos foi estendido a dados visuais por meio dos ViTs, uma classe de transformadores treinados com entradas visuais. Apesar do tremendo potencial oferecido pelos ViTs na interpretação e compreensão de imagens, eles foram limitados por dois problemas principais.

Em primeiro lugar, devido à natureza das imagens que contêm vastas quantidades de dados, os ViTs exigem um poder computacional e memória substanciais. Essa complexidade pode ser esmagadora para muitos sistemas, especialmente ao lidar com imagens de alta resolução. Em segundo lugar, o processo de tomada de decisões dentro dos ViTs é frequentemente confuso e opaco. Os usuários encontram dificuldade em compreender como os ViTs diferenciam entre vários objetos ou recursos em uma imagem, o que é crucial para numerousas aplicações.

No entanto, a metodologia inovadora PaCa oferece uma solução para ambos os desafios. “Nós abordamos o desafio relacionado às demandas computacionais e de memória usando técnicas de clusterização, que permitem que a arquitetura do transformador melhor identifique e se concentre em objetos em uma imagem”, explica Tianfu Wu, autor correspondente de um artigo sobre o trabalho e professor associado de Engenharia Elétrica e Computacional na Universidade Estadual da Carolina do Norte.

O uso de técnicas de clusterização na PaCa reduz drasticamente os requisitos computacionais, transformando o problema de um processo quadrático em um processo linear gerenciável. Wu explica o processo ainda mais: “Ao clusterizar, podemos tornar isso um processo linear, onde cada unidade menor só precisa ser comparada a um número predeterminado de clusters”.

A clusterização também serve para esclarecer o processo de tomada de decisões nos ViTs. O processo de formação de clusters revela como o ViT decide quais recursos são importantes para agrupar seções dos dados de imagem. Como o AI cria apenas um número limitado de clusters, os usuários podem facilmente entender e examinar o processo de tomada de decisões, melhorando significativamente a interpretabilidade do modelo.

Metodologia PaCa Supera Outros ViTs de Ponta

Por meio de testes abrangentes, os pesquisadores descobriram que a metodologia PaCa supera outros ViTs em vários aspectos. Wu elabora: “Descobrimos que a PaCa superou SWin e PVT em todos os aspectos”. O processo de teste revelou que a PaCa se destacou na classificação e identificação de objetos dentro de imagens e segmentação, delineando eficientemente os limites dos objetos nas imagens. Além disso, foi constatado que é mais eficiente em termos de tempo, realizando tarefas mais rapidamente do que outros ViTs.

Encorajados pelo sucesso da PaCa, a equipe de pesquisa visa desenvolver ainda mais sua capacidade, treinando-a em conjuntos de dados fundamentais maiores. Ao fazer isso, eles esperam expandir os limites do que é atualmente possível com a IA baseada em imagens.

O artigo de pesquisa, “PaCa-ViT: Aprendizado de Atenção de Cluster para Patch em Transformadores de Visão“, será apresentado na próxima Conferência IEEE/CVF sobre Visão Computacional e Reconhecimento de Padrões. É um marco importante que pode abrir caminho para sistemas de IA mais eficientes, transparentes e acessíveis.