Como Funciona a Reconstrução 3D de Uma Vista?

Tradicionalmente, modelos para reconstrução de objetos de uma vista única baseados em redes neurais convolucionais mostraram um desempenho notável em tarefas de reconstrução. Nos últimos anos, a reconstrução 3D de uma vista única emergiu como um tópico de pesquisa popular na comunidade de IA. Independentemente da metodologia específica empregada, todos os modelos de reconstrução 3D de uma vista única compartilham a abordagem comum de incorporar uma rede codificador-decodificador dentro de sua estrutura. Essa rede realiza um raciocínio complexo sobre a estrutura 3D no espaço de saída.

Neste artigo, exploraremos como a reconstrução 3D de uma vista única opera em tempo real e os desafios atuais que essas estruturas enfrentam em tarefas de reconstrução. Discutiremos vários componentes e métodos utilizados por modelos de reconstrução 3D de uma vista única e exploraremos estratégias que poderiam melhorar o desempenho dessas estruturas. Além disso, analisaremos os resultados produzidos por estruturas de ponta que empregam métodos codificador-decodificador. Vamos mergulhar nisso.

Reconstrução 3D de Objeto de Uma Vista

A reconstrução 3D de objeto de uma vista única envolve gerar um modelo 3D de um objeto a partir de uma vista única, ou em termos mais simples, a partir de uma imagem. Por exemplo, inferir a estrutura 3D de um objeto, como uma motocicleta, a partir de uma imagem, é um processo complexo. Ele combina conhecimento da arranjo estrutural de partes, pistas de imagem de baixo nível e informações semânticas de alto nível. Esse espectro abrange dois aspectos principais: reconstrução e reconhecimento. O processo de reconstrução discerne a estrutura 3D da imagem de entrada usando pistas como sombreamento, textura e efeitos visuais. Em contraste, o processo de reconhecimento classifica a imagem de entrada e recupera um modelo 3D apropriado de um banco de dados.

Os atuais modelos de reconstrução 3D de objeto de uma vista única podem variar em arquitetura, mas são unificados pela inclusão de uma estrutura codificador-decodificador em sua estrutura. Nessa estrutura, o codificador mapeia a imagem de entrada para uma representação latente, enquanto o decodificador faz inferências complexas sobre a estrutura 3D do espaço de saída. Para executar com sucesso essa tarefa, a rede deve integrar tanto informações de alto nível quanto de baixo nível. Além disso, muitos métodos codificador-decodificador de ponta dependem do reconhecimento para tarefas de reconstrução 3D de uma vista única, o que limita suas capacidades de reconstrução. Além disso, o desempenho de redes neurais convolucionais modernas em reconstrução 3D de objeto de uma vista única pode ser superado sem inferir explicitamente a estrutura 3D do objeto. No entanto, a dominância do reconhecimento em redes convolucionais em tarefas de reconstrução de objeto de uma vista única é influenciada por vários procedimentos experimentais, incluindo protocolos de avaliação e composição do conjunto de dados. Tais fatores permitem que a estrutura encontre uma solução de atalho, neste caso, o reconhecimento de imagem.

Tradicionalmente, as estruturas de reconstrução 3D de objeto de uma vista única abordam as tarefas de reconstrução usando a abordagem de forma a partir de sombreamento, com textura e desfoque servindo como vistas exóticas para as tarefas de reconstrução. Desde que essas técnicas usam uma única pista de profundidade, elas são capazes de fornecer raciocínio para as partes visíveis de uma superfície. Além disso, muitas estruturas de reconstrução 3D de uma vista única usam várias pistas, juntamente com conhecimento estrutural, para estimar a profundidade a partir de uma imagem monocular única, uma combinação que permite que essas estruturas prevejam a profundidade das superfícies visíveis. Estruturas de estimação de profundidade mais recentes implantam estruturas de redes neurais convolucionais para extrair a profundidade em uma imagem monocular.

No entanto, para uma reconstrução 3D de uma vista única eficaz, os modelos não apenas precisam raciocinar sobre a estrutura 3D dos objetos visíveis na imagem, mas também precisam hallucinar as partes invisíveis na imagem usando certos priors aprendidos com os dados. Para alcançar isso, a maioria dos modelos atualmente implanta estruturas de redes neurais convolucionais treinadas para mapear imagens 2D em formas 3D usando supervisão direta 3D, enquanto muitas outras estruturas implantam representações baseadas em voxel de forma 3D e usam uma representação latente para gerar convoluções 3D para cima. Certas estruturas também dividem o espaço de saída hierarquicamente para melhorar a eficiência computacional e de memória, o que permite que o modelo preveja formas 3D de alta resolução. Pesquisas recentes estão se concentrando em usar formas mais fracas de supervisão para previsões de forma 3D de uma vista única usando redes neurais convolucionais, seja comparando formas previstas e suas previsões de verdade para treinar regressores de forma, ou usando vários sinais de aprendizado para treinar formas médias que ajudam o modelo a prever deformações. Outro motivo por trás dos avanços limitados na reconstrução 3D de uma vista única é a quantidade limitada de dados de treinamento disponíveis para a tarefa.

Continuando, a reconstrução 3D de uma vista única é uma tarefa complexa, pois não apenas interpreta dados visuais geometricamente, mas também semanticamente. Embora não sejam completamente diferentes, eles abrangem diferentes espectros, desde a reconstrução geométrica até o reconhecimento semântico. As tarefas de reconstrução exigem raciocínio por pixel da estrutura 3D do objeto na imagem. As tarefas de reconstrução não exigem compreensão semântica do conteúdo da imagem e podem ser alcançadas usando pistas de imagem de baixo nível, incluindo textura, cor, sombreamento, sombras, perspectiva e foco. O reconhecimento, por outro lado, é um caso extremo de uso de semântica de imagem, pois as tarefas de reconhecimento usam objetos inteiros e equivalem a classificar o objeto na entrada e recuperar a forma correspondente do banco de dados. Embora as tarefas de reconhecimento possam fornecer raciocínio robusto sobre as partes do objeto não visíveis nas imagens, a solução semântica é viável apenas se puder ser explicada por um objeto presente no banco de dados.

Embora as tarefas de reconhecimento e reconstrução possam diferir significativamente uma da outra, ambas tendem a ignorar informações valiosas contidas na imagem de entrada. É aconselhável usar ambas as tarefas em conjunto para obter os melhores resultados possíveis e formas 3D precisas para a reconstrução de objetos, ou seja, para tarefas de reconstrução 3D de uma vista única ótimas, o modelo deve empregar conhecimento estrutural, pistas de imagem de baixo nível e compreensão de alto nível do objeto.

Reconstrução 3D de Uma Vista: Configuração Convencional

Para explicar a configuração convencional e analisar a configuração de uma estrutura de reconstrução 3D de uma vista única, implantaremos uma configuração padrão para estimar a forma 3D usando uma vista ou imagem do objeto. O conjunto de dados usado para treinamento é o conjunto de dados ShapeNet e avalia o desempenho em 13 classes, o que permite que o modelo entenda como o número de classes em um conjunto de dados determina o desempenho de estimação de forma do modelo.

A maioria das redes neurais convolucionais modernas usa uma imagem única para prever modelos 3D de alta resolução e essas estruturas podem ser categorizadas com base na representação de saída: mapas de profundidade, nuvens de pontos e grades de voxel. O modelo usa OGN ou Redes Geradoras de Octree como seu método representativo, que historicamente superou a abordagem de grade de voxel e/ou pode cobrir as representações de saída dominantes. Em contraste com métodos existentes que utilizam representações de saída, a abordagem OGN permite que o modelo preveja formas de alta resolução e usa octrees para representar eficientemente o espaço ocupado.

Linhas de Base

Para avaliar os resultados, o modelo implanta duas linhas de base que consideram o problema puramente como uma tarefa de reconhecimento. A primeira linha de base é baseada em agrupamento, enquanto a segunda linha de base realiza a recuperação do banco de dados.

Agrupamento

Na linha de base de agrupamento, o modelo usa o algoritmo K-Means para agrupar ou reunir as formas de treinamento em subcategorias K e executa o algoritmo em voxelizações 32*32*32 achatadas em um vetor. Após determinar as atribuições de cluster, o modelo retorna ao trabalho com modelos de alta resolução. O modelo então calcula a forma média dentro de cada cluster e limita as formas médias, onde o valor ótimo é calculado maximizando a média IoU ou Interseção sobre União sobre os modelos. Como o modelo conhece a relação entre as formas 3D e as imagens dentro dos dados de treinamento, o modelo pode facilmente combinar a imagem com seu cluster correspondente.

Recuperação

A linha de base de recuperação aprende a incorporar formas e imagens em um espaço conjunto. O modelo considera a similaridade de matriz de formas 3D no conjunto de treinamento para construir o espaço de incorporação. O modelo alcança isso usando a abordagem de Escalagem Multidimensional com mapeamento de Sammon para comprimir cada linha na matriz em um descritor de baixa dimensão. Além disso, para calcular a similaridade entre duas formas arbitrárias, o modelo emprega o descritor de campo de luz. Além disso, o modelo treina uma rede neural convolucional para mapear imagens em um descritor para incorporar as imagens no espaço.

Análise

Os modelos de reconstrução 3D de uma vista única seguem diferentes estratégias, como resultado do qual eles superam outros modelos em algumas áreas, enquanto falham em outras. Para comparar diferentes estruturas e avaliar seu desempenho, temos diferentes métricas, uma delas sendo a pontuação IoU média.

Como pode ser visto na imagem acima, apesar de terem arquiteturas diferentes, os atuais modelos de reconstrução 3D de ponta entregam um desempenho quase semelhante. No entanto, é interessante notar que, apesar de ser um método puro de reconhecimento, a estrutura de recuperação supera outros modelos em termos de pontuações IoU médias e medianas. A estrutura de agrupamento entrega resultados sólidos, superando a estrutura AtlasNet, a OGN e a estrutura Matryoshka. No entanto, o resultado mais inesperado dessa análise permanece como a estrutura Oracle (ORCL ) NN, que supera todos os outros métodos, apesar de empregar uma arquitetura de recuperação perfeita. Embora calcular a pontuação IoU média ajude na comparação, não fornece uma visão completa, pois a variância nos resultados é alta, independentemente do modelo.

Métricas de Avaliação Comuns

Os modelos de Reconstrução 3D de Uma Vista frequentemente empregam diferentes métricas de avaliação para analisar seu desempenho em uma ampla gama de tarefas. As seguintes são algumas das métricas de avaliação comumente usadas.

Interseção sobre União

A média da Interseção sobre União é uma métrica comumente usada como uma medida quantitativa para servir como um benchmark para modelos de reconstrução 3D de uma vista única. Embora a IoU forneça alguma visão sobre o desempenho do modelo, não é considerada a única métrica para avaliar um método, pois indica a qualidade da forma prevista pelo modelo apenas se os valores forem suficientemente altos, com uma discrepância significativa observada entre as pontuações de baixo e médio nível para duas formas dadas.

Distância de Chamfer

A Distância de Chamfer é definida em nuvens de pontos e foi projetada para ser aplicada a diferentes representações 3D de forma satisfatória. No entanto, a métrica de avaliação da Distância de Chamfer é altamente sensível a outliers, o que a torna uma medida problemática para avaliar o desempenho do modelo, com a distância do outlier da forma de referência determinando significativamente a qualidade da geração.

Pontuação F

A Pontuação F é uma métrica de avaliação comum ativamente usada pela maioria dos modelos de reconstrução 3D de múltiplas vistas. A métrica da Pontuação F é definida como a média harmônica entre recall e precisão e avalia a distância entre as superfícies dos objetos explicitamente. A precisão conta a porcentagem de pontos reconstruídos que se encontram dentro de uma distância pré-definida da verdade, para medir a precisão da reconstrução. O recall, por outro lado, conta a porcentagem de pontos na verdade que se encontram dentro de uma distância pré-definida da reconstrução, para medir a completude da reconstrução. Além disso, variando o limiar de distância, os desenvolvedores podem controlar a rigidez da métrica da Pontuação F.

Análise por Classe

A semelhança no desempenho entregue pelas estruturas acima não pode ser resultado de métodos executados em diferentes subconjuntos de classes e a figura a seguir demonstra o desempenho relativo consistente em diferentes classes, com a linha de base de recuperação Oracle NN alcançando o melhor resultado de todos, e todos os métodos observando uma alta variância para todas as classes.

Além disso, o número de amostras de treinamento disponíveis para uma classe pode levar alguém a supor que influencia o desempenho por classe. No entanto, como demonstrado na figura a seguir, o número de amostras de treinamento disponíveis para uma classe não influencia o desempenho por classe, e o número de amostras em uma classe e sua pontuação IoU média não estão correlacionados.

Análise Qualitativa

Os resultados quantitativos discutidos na seção acima são apoiados por resultados qualitativos, como mostrado na imagem a seguir.

Para a maioria das classes, não há diferença significativa entre a linha de base de agrupamento e as previsões feitas por métodos baseados em decodificador. A abordagem de agrupamento falha em entregar resultados quando a distância entre a amostra e a forma média do cluster é alta, ou em situações em que a forma média não pode descrever o cluster suficientemente bem. Por outro lado, as estruturas que empregam métodos baseados em decodificador e arquitetura de recuperação entregam os resultados mais precisos e atraentes, pois são capazes de incluir detalhes finos no modelo 3D gerado.

Reconstrução 3D de Uma Vista: Pensamentos Finais

Neste artigo, falamos sobre a Reconstrução 3D de Objeto de Uma Vista e como ela funciona, e discutimos duas linhas de base: Recuperação e Classificação, com a linha de base de recuperação superando os atuais modelos de ponta. Finalmente, embora a Reconstrução 3D de Objeto de Uma Vista seja um dos tópicos mais quentes e mais pesquisados na comunidade de IA, e apesar de ter feito avanços significativos nos últimos anos, a Reconstrução 3D de Objeto de Uma Vista está longe de ser perfeita, com obstáculos significativos a serem superados nos próximos anos.