Modelo Segment Anything – A Visão Computacional Recebe um Impulso Massivo

A visão computacional (CV) alcançou 99% de precisão, partindo de 50% em apenas 10 anos. A tecnologia deve melhorar ainda mais para um nível sem precedentes com algoritmos modernos e técnicas de segmentação de imagens. Recentemente, o laboratório FAIR da Meta lançou o Modelo Segment Anything (SAM) – um divisor de águas na segmentação de imagens. Este modelo avançado pode produzir máscaras de objetos detalhadas a partir de prompts de entrada, levando a visão computacional a novas alturas. Ele pode potencialmente revolucionar a forma como interagimos com a tecnologia digital nesta era.

Vamos explorar a segmentação de imagens e descobrir brevemente como o SAM impacta a visão computacional.

O que é Segmentação de Imagens & Quais são seus Tipos?

A segmentação de imagens é um processo na visão computacional que divide uma imagem em múltiplas regiões ou segmentos, cada um representando um objeto ou área diferente da imagem. Esta abordagem permite que os especialistas isoluem partes específicas de uma imagem para obter insights significativos.

Os modelos de segmentação de imagens são treinados para melhorar a saída, reconhecendo detalhes importantes da imagem e reduzindo a complexidade. Esses algoritmos diferenciam efetivamente entre diferentes regiões de uma imagem com base em recursos como cor, textura, contraste, sombras e bordos.

Ao segmentar uma imagem, podemos focar nossa análise nas regiões de interesse para obter detalhes insights. Abaixo estão diferentes técnicas de segmentação de imagens.

• Segmentação semântica envolve rotular pixels em classes semânticas.
• Segmentação de instância vai além, detectando e delineando cada objeto em uma imagem.
• Segmentação panóptica atribui IDs de instância únicos a pixels de objetos individuais, resultando em uma rotulagem mais abrangente e contextual de todos os objetos em uma imagem.

A segmentação é implementada usando modelos de aprendizado profundo baseados em imagens. Esses modelos coletam todos os pontos de dados e recursos valiosos do conjunto de treinamento. Em seguida, transformam esses dados em vetores e matrizes para entender recursos complexos. Alguns dos modelos de aprendizado profundo amplamente usados na segmentação de imagens são:

• Redes Neurais Convolucionais (CNNs)
• Redes Conectadas Totalmente (FCNs)
• Redes Neurais Recorrentes (RNNs)

Como a Segmentação de Imagens Funciona?

Na visão computacional, a maioria dos modelos de segmentação de imagens consiste em uma rede codificador-decodificador. O codificador codifica uma representação de espaço latente dos dados de entrada, que o decodificador decodifica para formar mapas de segmentos, ou seja, mapas que delineiam a localização de cada objeto na imagem.

Geralmente, o processo de segmentação consiste em 3 estágios:

• Um codificador de imagem que transforma a imagem de entrada em um modelo matemático (vetores e matrizes) para processamento.
• O codificador agrega os vetores em vários níveis.
• Um decodificador de máscara rápido recebe as incorporações de imagem como entrada e produz uma máscara que delineia diferentes objetos na imagem separadamente.

O Estado da Segmentação de Imagens

A partir de 2014, uma onda de algoritmos de segmentação baseados em aprendizado profundo surgiu, como CNN+CRF e FCN, que fizeram progressos significativos no campo. Em 2015, o U-Net e a Rede de Desconvolução melhoraram a precisão dos resultados de segmentação.

Em 2016, a Segmentação de Instância Consciente, V-Net e RefineNet melhoraram ainda mais a precisão e a velocidade da segmentação. Em 2017, o Mark-RCNN e o FC-DenseNet introduziram a detecção de objetos e a previsão densa em tarefas de segmentação.

Em 2018, a Segmentação Panóptica, Mask-Lab e Redes de Codificação de Contexto estavam no centro do palco, pois essas abordagens atenderam à necessidade de segmentação de nível de instância. Em 2019, o Panoptic FPN, HRNet e Atenção Cruzada introduziram novas abordagens para a segmentação de nível de instância.

Em 2020, a tendência continuou com a introdução do Detecto RS, Panoptic DeepLab, PolarMask, CenterMask, DC-NAS e Efficient Net + NAS-FPN. Finalmente, em 2023, temos o SAM, que discutiremos a seguir.

Modelo Segment Anything (SAM) – Segmentação de Imagens de Propósito Geral

Fonte da imagem

O Modelo Segment Anything (SAM) é uma nova abordagem que pode realizar tarefas de segmentação interativa e automática em um único modelo. Anteriormente, a segmentação interativa permitia segmentar qualquer classe de objeto, mas exigia que uma pessoa guiasse o método, refinando iterativamente uma máscara.

A segmentação automática no SAM permite a segmentação de categorias de objetos específicas definidas antecipadamente. Sua interface promovível é altamente flexível. Como resultado, o SAM pode atender a uma ampla gama de tarefas de segmentação usando um prompt adequado, como cliques, caixas, texto e mais.

O SAM é treinado em um conjunto de dados diversificado e instrutivo de mais de 1 bilhão de máscaras, tornando possível reconhecer novos objetos e imagens não disponíveis no conjunto de treinamento. Este moderno framework revolucionará amplamente os modelos de CV em aplicações como carros autônomos, segurança e realidade aumentada.

O SAM pode detectar e segmentar objetos ao redor do carro em carros autônomos, como outros veículos, pedestres e sinais de trânsito. Na realidade aumentada, o SAM pode segmentar o ambiente do mundo real para colocar objetos virtuais em locais apropriados, criando uma experiência de usuário mais realista e envolvente.

Desafios da Segmentação de Imagens em 2023

O aumento da pesquisa e desenvolvimento na segmentação de imagens também traz desafios significativos. Alguns dos principais desafios da segmentação de imagens em 2023 incluem:

• A complexidade crescente dos conjuntos de dados, especialmente para a segmentação de imagens 3D
• O desenvolvimento de modelos de aprendizado profundo interpretáveis
• O uso de modelos de aprendizado não supervisionado que minimizam a intervenção humana
• A necessidade de modelos em tempo real e eficientes em termos de memória
• Eliminar os gargalos da segmentação de nuvens de pontos 3D

O Futuro da Visão Computacional

O mercado global de visão computacional impacta múltiplos setores e deve atingir mais de $41 bilhões até 2030. Técnicas de segmentação de imagens modernas, como o Modelo Segment Anything, combinadas com outros algoritmos de aprendizado profundo, fortalecerão ainda mais a visão computacional no cenário digital. Portanto, veremos modelos de visão computacional mais robustos e aplicações inteligentes no futuro.

Para saber mais sobre IA e ML, explore Unite.ai – sua solução única para todas as suas perguntas sobre tecnologia e seu estado moderno.