Modelos e plataformas de IA

YOLOv7: O Algoritmo de Detecção de Objetos Mais Avançado?

Kunal Kejriwal
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveO YOLOv7 introduz um método de dimensionamento composto especificamente projetado para…
Ver mais
  • O YOLOv7 introduz um método de dimensionamento composto especificamente projetado para arquiteturas baseadas em concatenação, como a sua própria.
  • O algoritmo substitui a atribuição dinâmica de rótulos por uma nova abordagem guiada de 'coarse-to-fine' para maior estabilidade no treinamento.
  • O YOLOv7 otimiza o treinamento através de um 'conjunto treinável de melhorias gratuitas' que aumenta a precisão sem elevar o custo de inferência.

O dia 6 de julho de 2022 será lembrado como um marco na história da IA: foi quando o YOLOv7 foi lançado. Desde então, ele está entre os assuntos mais discutidos na comunidade de desenvolvedores de visão computacional, e com razão. O YOLOv7 já é considerado um marco na detecção de objetos.

Pouco depois da publicação do artigo científico sobre o YOLOv7, ele se destacou como o modelo de detecção de objetos em tempo real mais rápido e preciso. Mas como supera seus antecessores? O que o torna tão eficiente em tarefas de visão computacional?

Neste artigo, analisaremos o YOLOv7 e procuraremos entender por que está se tornando um padrão do setor. Antes, porém, precisamos rever brevemente a história da detecção de objetos.

O que é detecção de objetos?

A detecção de objetos é um ramo da visão computacional que identifica e localiza objetos em uma imagem ou arquivo de vídeo. É a base de inúmeras aplicações, como carros autônomos, sistemas de vigilância e robótica.

Os modelos de detecção de objetos podem ser classificados em duas categorias: detectores de passagem única e detectores de múltiplas passagens.

Detecção de objetos em tempo real

Para compreender o YOLOv7, é essencial entender seu principal objetivo:a detecção de objetos em tempo real. Ela é um componente fundamental da visão computacional moderna. Esses modelos procuram identificar e localizar objetos de interesse em tempo real, permitindo que os desenvolvedores os acompanhem eficientemente em imagens em movimento, como vídeos ou transmissões de vigilância ao vivo.

Os modelos de detecção em tempo real vão além dos modelos convencionais de detecção em imagens. Os primeiros acompanham objetos em arquivos de vídeo; os segundos identificam e localizam objetos em um quadro estático, como uma imagem.

Por isso, os modelos em tempo real são muito eficientes para análise de vídeo, veículos autônomos, contagem de objetos, rastreamento de múltiplos objetos e diversas outras aplicações.

O que é YOLO?

YOLO, sigla de “You Only Look Once”, é uma família de modelos de detecção de objetos em tempo real. O conceito foi apresentado por Joseph Redmon em 2016 e chamou atenção quase imediatamente por ser muito mais rápido e preciso do que os algoritmos existentes. Em pouco tempo, tornou-se um padrão da visão computacional.

A ideia fundamental do YOLO é usar uma rede neural de ponta a ponta com caixas delimitadoras e probabilidades de classe para fazer previsões em tempo real. Ele se diferenciou dos modelos anteriores ao propor outra abordagem para a detecção, reaproveitando classificadores.

A mudança funcionou: o YOLO logo se tornou um padrão devido à grande diferença de desempenho em relação aos outros algoritmos de detecção em tempo real. Mas de onde vinha essa eficiência?

Os algoritmos da época usavam redes de propostas de regiões para detectar possíveis áreas de interesse. Depois, realizavam o reconhecimento em cada região separadamente. Assim, frequentemente faziam várias iterações sobre a mesma imagem, com menor precisão e maior tempo de execução. O YOLO, por sua vez, usa uma única camada totalmente conectada para realizar a previsão de uma só vez.

Como o YOLO funciona?

O funcionamento do YOLO pode ser explicado em três etapas.

Reformular a detecção como um único problema de regressão

O YOLO procura reformular a detecção de objetos como um único problema de regressão, dos pixels da imagem às probabilidades de classe e às coordenadas das caixas delimitadoras. Assim, precisa observar a imagem apenas uma vez para prever e localizar os objetos desejados.

Analisar a imagem como um todo

Além disso, ao fazer previsões, o YOLO considera a imagem globalmente. Ao contrário das técnicas baseadas em propostas de regiões ou janelas deslizantes, ele vê a imagem inteira durante o treinamento e o teste, podendo codificar informações contextuais sobre as classes e sua aparência.

Antes do YOLO, o Fast R-CNN era um dos algoritmos mais populares, mas não captava o contexto mais amplo e confundia trechos do fundo com objetos. Em comparação com o Fast R-CNN, o YOLO é 50% mais preciso no que diz respeito a erros de fundo.

Generalizar a representação dos objetos

O YOLO também procura generalizar as representações dos objetos. Quando executado e avaliado em um conjunto de imagens naturais, superou os modelos R-CNN existentes por ampla margem. Sua capacidade de generalização reduzia a probabilidade de falhar diante de entradas inesperadas ou novos domínios.

YOLOv7: o que há de novo?

Agora que conhecemos os fundamentos da detecção em tempo real e do YOLO, podemos discutir o algoritmo YOLOv7.

Otimizar o processo de treinamento

O YOLOv7 procura otimizar tanto a arquitetura quanto o processo de treinamento. Utiliza módulos e métodos de otimização para aumentar a precisão da detecção, alterando o custo de treinamento e mantendo o custo de inferência. Esses módulos formam um conjunto de técnicas treináveis sem custo adicional de inferência, chamado “trainable bag of freebies”.

Atribuição de rótulos do grosseiro ao fino, guiada pela cabeça principal

O YOLOv7 propõe uma nova atribuição de rótulos do grosseiro ao fino, guiada pela cabeça principal, em vez da tradicional atribuição dinâmica de rótulos. Com a atribuição dinâmica, treinar um modelo com múltiplas camadas de saída causa problemas, sobretudo ao atribuir alvos dinâmicos aos diferentes ramos e às suas saídas.

Reparametrização do modelo

A reparametrização é importante na detecção de objetos, mas seu uso pode gerar dificuldades durante o treinamento. O YOLOv7 usa o caminho de propagação do gradiente para analisar estratégias de reparametrização aplicáveis às diferentes camadas da rede.

Escalonamento estendido e composto

O YOLOv7 também introduz métodos de escalonamento estendido e composto para aproveitar parâmetros e cálculos de maneira eficiente na detecção em tempo real.

YOLOv7: trabalhos relacionados

Detecção de objetos em tempo real

O YOLO é um padrão do setor, e a maioria dos detectores em tempo real usa algoritmos YOLO e FCOS, ou Fully Convolutional One-Stage Object-Detection. Um detector avançado geralmente apresenta estas características:

  • Arquitetura de rede mais potente e rápida.
  • Método eficaz de integração de características.
  • Método preciso de detecção de objetos.
  • Função de perda robusta.
  • Método eficiente de atribuição de rótulos.
  • Método eficiente de treinamento.

O YOLOv7 não usa aprendizagem autossupervisionada nem métodos de destilação, que frequentemente exigem grandes volumes de dados. Em vez disso, utiliza técnicas treináveis sem custo adicional de inferência.

Reparametrização do modelo

A reparametrização é considerada uma técnica de ensemble que combina vários módulos computacionais na fase de inferência. Pode ser dividida em duas categorias: ensemble no nível do modelo e ensemble no nível do módulo.

Para obter o modelo final de inferência, a reparametrização no nível do modelo utiliza duas práticas. A primeira treina vários modelos idênticos com dados diferentes e calcula a média dos pesos resultantes. A segunda calcula a média dos pesos dos modelos em diferentes iterações.

A reparametrização no nível do módulo está se popularizando. Durante o treinamento, divide um módulo em ramos diferentes ou idênticos; na inferência, reúne esses ramos em um módulo equivalente.

Essas técnicas, porém, não se aplicam a todas as arquiteturas. Por isso, o YOLOv7 usa novas técnicas de reparametrização para criar estratégias adequadas a diferentes arquiteturas.

Escalonamento do modelo

Escalonar um modelo significa aumentar ou diminuir seu tamanho para adequá-lo a diferentes dispositivos computacionais. Os fatores incluem o número de camadas (profundidade), o tamanho das imagens de entrada (resolução), o número de pirâmides de características (estágios) e o número de canais (largura). Eles são essenciais para equilibrar parâmetros da rede, velocidade de inferência, cálculo e precisão.

Um dos métodos mais usados é a NAS, ou busca de arquitetura neural, que procura automaticamente fatores de escalonamento adequados em um espaço de busca, sem regras complexas. Sua principal desvantagem é o alto custo dessa busca.

Quase todo modelo de reparametrização analisa e otimiza separadamente os fatores individuais de escalonamento. Isso ocorre porque a arquitetura NAS trabalha com fatores não correlacionados.

Nos modelos baseados em concatenação, como VoVNet ou DenseNet, a largura de entrada de algumas camadas muda quando a profundidade é escalonada. O YOLOv7 usa uma arquitetura proposta baseada em concatenação e, por isso, adota o escalonamento composto.

A figura anterior compara as redes estendidas de agregação eficiente de camadas (E-ELAN) de diferentes modelos. O E-ELAN preserva o caminho de transmissão do gradiente da arquitetura original, mas aumenta a cardinalidade das características adicionadas com convolução em grupos. Isso pode enriquecer as características aprendidas por mapas diferentes e tornar mais eficiente o uso de cálculos e parâmetros.

Arquitetura do YOLOv7

O YOLOv7 usa YOLOv4, YOLO-R e Scaled YOLOv4 como base. Resulta de experimentos com esses modelos para melhorar os resultados e aumentar a precisão.

Rede estendida de agregação eficiente de camadas, ou E-ELAN

O E-ELAN é o componente fundamental do YOLOv7 e deriva de modelos existentes sobre eficiência de redes, principalmente o ELAN.

Ao projetar uma arquitetura eficiente, consideram-se o número de parâmetros, a densidade computacional e a quantidade de cálculos. Outros modelos também avaliam a razão entre canais de entrada e saída, os ramos da rede, a velocidade de inferência, o número de elementos nos tensores da rede convolucional e outros fatores.

O modelo CSPVoNet considera esses parâmetros e analisa o caminho do gradiente para aprender características mais diversas por meio dos pesos de diferentes camadas. Isso torna a inferência mais rápida e precisa. A arquitetura ELAN procura criar uma rede eficiente controlando os caminhos de gradiente mais curtos e mais longos, para melhorar a aprendizagem e a convergência.

O ELAN já atingiu um estado estável em relação ao número de blocos computacionais empilhados e ao comprimento do caminho do gradiente. Empilhar blocos ilimitadamente pode destruir essa estabilidade e reduzir o aproveitamento dos parâmetros. A arquitetura E-ELAN proposta resolve o problema com expansão, embaralhamento e fusão da cardinalidade , melhorando continuamente a capacidade de aprendizagem sem perder o caminho original do gradiente.

Ao comparar E-ELAN e ELAN, a única diferença está no bloco computacional; a arquitetura da camada de transição permanece igual.

O E-ELAN propõe ampliar a cardinalidade dos blocos computacionais e o número de canais com convolução em grupos. Os mapas de características são calculados, embaralhados em grupos conforme o parâmetro de agrupamento e concatenados. O número de canais de cada grupo permanece igual ao da arquitetura original. Por fim, os grupos de mapas são somados para realizar a cardinalidade.

Escalonamento de modelos baseados em concatenação

O escalonamento permite ajustar as propriedades dos modelos para gerar versões de tamanhos diferentes conforme os requisitos e as velocidades de inferência desejadas.

A figura mostra o escalonamento de diferentes modelos baseados em concatenação. Em (a) e (b), a largura de saída do bloco computacional aumenta com a profundidade, elevando também a largura de entrada das camadas de transição. A figura (c) representa o escalonamento em profundidade aplicado à arquitetura baseada em concatenação.

Portanto, os fatores de escalonamento desses modelos não podem ser analisados independentemente; precisam ser considerados juntos. Para um modelo baseado em concatenação, é apropriado usar o método correspondente de escalonamento composto. Quando o fator de profundidade aumenta, os canais de saída do bloco também precisam ser escalonados.

Técnicas treináveis sem custo adicional de inferência

Os desenvolvedores usam a expressão “bag of freebies” para descrever um conjunto de métodos ou técnicas que altera a estratégia ou o custo de treinamento para aumentar a precisão do modelo. Quais são essas técnicas treináveis no YOLOv7? Vamos examiná-las.

Convolução com reparametrização planejada

O YOLOv7 usa os caminhos de propagação do gradiente para determinar como combinar idealmente uma rede com a convolução reparametrizada. A abordagem procura resolver as limitações do algoritmo RepConv , que funciona bem em VGG, mas tem desempenho ruim quando aplicado diretamente a DenseNet e ResNet.

Para identificar as conexões em uma camada convolucional, o RepConv combina convoluções 3×3 e 1×1. Ao analisar o algoritmo, suas prestações e sua arquitetura, observa-se que ele compromete a concatenação em DenseNet e a conexão residual em ResNet.

A imagem anterior mostra um modelo com reparametrização planejada. O YOLOv7 identifica que uma camada com concatenação ou conexões residuais não deve ter uma conexão identidade no RepConv. Assim, pode-se usar o RepConvN, que não contém essa conexão.

Rótulos grosseiros para a perda auxiliar e finos para a principal

A supervisão profunda é uma área da computação frequentemente usada no treinamento de redes profundas. Seu princípio básico é adicionar uma cabeça auxiliar nas camadas intermediárias da rede , usando uma perda auxiliar para orientar também os pesos da parte menos profunda. O YOLOv7 chama a cabeça responsável pela saída final de cabeça principal, enquanto a cabeça auxiliar ajuda no treinamento.

O YOLOv7 também usa outro método de atribuição de rótulos. Tradicionalmente, os rótulos eram gerados diretamente a partir da verdade de referência e de regras estabelecidas. Nos últimos anos, a distribuição e a qualidade das previsões de entrada tornaram-se importantes para gerar rótulos confiáveis. O YOLOv7 gera um rótulo suave para o objeto usando as previsões de caixas delimitadoras e a verdade de referência.

O novo método usa as previsões da cabeça principal para orientar tanto ela quanto a auxiliar. São propostas duas estratégias.

Atribuidor de rótulos guiado pela cabeça principal

A estratégia calcula a partir das previsões da cabeça principal e da verdade de referência, usando otimização para gerar rótulos suaves. Esses rótulos são usados para treinar ambas as cabeças.

O pressuposto é que a cabeça principal tem maior capacidade de aprendizagem e, portanto, gera rótulos mais representativos e capazes de correlacionar origem e alvo.

Atribuidor do grosseiro ao fino guiado pela cabeça principal

Esta estratégia também calcula a partir das previsões da cabeça principal e da verdade de referência e usa otimização para gerar rótulos suaves. A diferença é que produz dois conjuntos: rótulos grosseiros e rótulos finos.

Os rótulos grosseiros são gerados relaxando as restrições de atribuição de amostras positivas,

de modo que mais células da grade sejam consideradas alvos positivos. Isso evita perder informação devido à menor capacidade de aprendizagem da cabeça auxiliar.

A figura anterior explica as técnicas treináveis do YOLOv7: rótulos grosseiros para a cabeça auxiliar e finos para a principal. O modelo em (b) possui cabeça auxiliar; o modelo normal em (a), não.

A figura (c) mostra o atribuidor independente convencional. As figuras (d) e (e) representam, respectivamente, o atribuidor guiado pela cabeça principal e sua versão do grosseiro ao fino usados pelo YOLOv7.

Outras técnicas treináveis

Além dessas, o YOLOv7 utiliza outras técnicas que não foram originalmente propostas por seus autores:

  • Normalização em lote na sequência Conv-Bn-Activation: esta estratégia conecta diretamente uma camada convolucional à camada de normalização em lote.
  • Conhecimento implícito no YOLOR: o YOLOv7 combina essa estratégia com o mapa de características convolucionais.
  • Modelo EMA: é usado no YOLOv7 como modelo final de referência, embora sua aplicação principal seja no método mean teacher.

YOLOv7: experimentos

Configuração experimental

O YOLOv7 usa o conjunto de dados Microsoft COCO para treinamento e validação do modelo de detecção de objetos. Nem todos os experimentos usam um modelo pré-treinado. Os desenvolvedores utilizaram o conjunto de treinamento de 2017 para treinar e o de validação de 2017 para selecionar hiperparâmetros. Por fim, compararam os resultados com algoritmos avançados de detecção.

Os desenvolvedores projetaram modelos básicos para GPU de borda (YOLOv7-tiny), GPU comum (YOLOv7) e GPU em nuvem (YOLOv7-W6). Também escalonam um modelo básico conforme diferentes requisitos de serviço para obter variantes. O empilhamento é escalonado no neck, e os métodos compostos propostos aumentam a profundidade e a largura.

Modelos de referência

O YOLOv7 utiliza modelos YOLO anteriores e o algoritmo de detecção YOLOR como referências.

A figura anterior compara o modelo de referência do YOLOv7 com outros detectores, com resultados claros. Comparado ao YOLOv4, o YOLOv7 usa 75% menos parâmetros e 15% menos cálculos, com precisão 0,4% maior. 

Comparação com detectores de objetos avançados

A figura anterior mostra a comparação com modelos avançados para GPUs móveis e de uso geral. O método proposto pelo YOLOv7 apresenta o melhor equilíbrio entre velocidade e precisão.

Estudo de ablação: método proposto de escalonamento composto

A figura anterior compara estratégias de ampliação do modelo. O YOLOv7 aumenta a profundidade do bloco computacional em 1,5 vez e a largura em 1,25 vez.

Comparado a um modelo que aumenta apenas a profundidade, o YOLOv7 tem desempenho 0,5% melhor usando menos parâmetros e cálculos. Comparado a modelos que aumentam apenas a profundidade, sua precisão melhora 0,2%, mas os parâmetros precisam aumentar 2,9% e os cálculos, 1,2%.

Modelo proposto com reparametrização planejada

Para verificar a generalidade da proposta, o YOLOv7 aplica o modelo reparametrizado a arquiteturas residuais e baseadas em concatenação. Na verificação, usa ELAN com três blocos empilhados para o modelo baseado em concatenação e CSPDarknet para o residual.

No modelo baseado em concatenação, o algoritmo substitui as convoluções 3×3 do ELAN com três blocos empilhados por RepConv. A figura abaixo mostra a configuração detalhada de Planned RepConv e dessa versão do ELAN.

Para o modelo residual, o YOLOv7 usa um bloco dark invertido, porque o original não possui um bloco convolucional 3×3. A figura abaixo mostra Reversed CSPDarknet, que inverte as posições das convoluções 3×3 e 1×1.

Perda auxiliar proposta para a cabeça auxiliar

Para essa perda, o YOLOv7 compara a atribuição independente de rótulos para as cabeças auxiliar e principal.

A figura anterior apresenta os resultados do estudo da cabeça auxiliar proposta. O desempenho geral aumenta com a perda auxiliar. Além disso, a atribuição de rótulos guiada pela cabeça principal supera estratégias de atribuição independentes.

Resultados do YOLOv7

Com base nos experimentos anteriores, seguem os resultados do YOLOv7 em comparação com outros algoritmos de detecção.

A figura anterior compara o YOLOv7 com outros algoritmos e mostra que ele os supera na relação entre precisão média (AP) e inferência em lote.

A figura abaixo compara o desempenho do YOLOv7 com outros algoritmos de detecção em tempo real. Novamente, ele supera os demais em desempenho geral, precisão e eficiência.

Outras observações sobre os resultados:

  1. O YOLOv7-Tiny é o menor modelo da família, com mais de seis milhões de parâmetros. Sua precisão média é 35,2%, e ele supera os modelos YOLOv4-Tiny com quantidade comparável de parâmetros.
  2. O YOLOv7 tem mais de 37 milhões de parâmetros e supera modelos com mais parâmetros, como o YOLOv4.
  3. O YOLOv7 apresenta os maiores valores de mAP e FPS no intervalo de 5 a 160 FPS.

Conclusão

YOLO, ou You Only Look Once, é um modelo avançado de detecção de objetos na visão computacional moderna. Conhecido pela precisão e eficiência, é amplamente usado na detecção em tempo real. Desde sua introdução em 2016, os experimentos permitiram aos desenvolvedores aperfeiçoá-lo continuamente.

O YOLOv7 é a mais recente adição à família YOLO e, no momento descrito neste artigo, seu algoritmo mais potente. Apresentamos seus fundamentos e procuramos explicar o que o torna tão eficiente.

Kunal Kejriwal é engenheiro de backend especializado em Python, PostgreSQL, Redis e infraestrutura de nuvem na GCP e AWS. Com três anos de experiência construindo e dimensionando sistemas de produção, ele escreve sobre infraestrutura de IA, sistemas distribuídos e a arquitetura por trás da implantação de cargas de trabalho de aprendizado de máquina.