Modelo de Segmentación de Cualquier Cosa – La Visión por Computadora Recibe un Impulso Masivo

La visión por computadora (CV) ha alcanzado un 99% de precisión desde un 50% en 10 años. Se espera que la tecnología mejore aún más a un nivel sin precedentes con algoritmos modernos y técnicas de segmentación de imágenes. Recientemente, el laboratorio FAIR de Meta ha lanzado el Modelo de Segmentación de Cualquier Cosa (SAM) – un juego cambiador en la segmentación de imágenes. Este modelo avanzado puede producir máscaras de objetos detalladas a partir de instrucciones de entrada, llevando la visión por computadora a nuevas alturas. Podría potencialmente revolucionar la forma en que interactuamos con la tecnología digital en esta era.

Exploraremos la segmentación de imágenes y descubriremos brevemente cómo SAM impacta la visión por computadora.

¿Qué es la Segmentación de Imágenes y Cuáles son sus Tipos?

La segmentación de imágenes es un proceso en la visión por computadora que divide una imagen en múltiples regiones o segmentos, cada uno representando un objeto o área de la imagen diferente. Este enfoque permite a los expertos aislar partes específicas de una imagen para obtener información significativa.

Los modelos de segmentación de imágenes están entrenados para mejorar la salida al reconocer detalles importantes de la imagen y reducir la complejidad. Estos algoritmos diferencian efectivamente entre diferentes regiones de una imagen en función de características como el color, la textura, el contraste, las sombras y los bordes.

Al segmentar una imagen, podemos centrar nuestro análisis en las regiones de interés para obtener detalles reveladores. A continuación, se presentan diferentes técnicas de segmentación de imágenes.

• Segmentación semántica implica etiquetar píxeles en clases semánticas.
• Segmentación de instancias va más allá al detectar y delinear cada objeto en una imagen.
• Segmentación panóptica asigna identificadores de instancias únicos a píxeles de objetos individuales, lo que resulta en una etiquetado más completo y contextual de todos los objetos de una imagen.

La segmentación se implementa utilizando modelos de aprendizaje profundo basados en imágenes. Estos modelos recuperan todos los puntos de datos y características valiosos del conjunto de entrenamiento. Luego, convierten estos datos en vectores y matrices para comprender características complejas. Algunos de los modelos de aprendizaje profundo más utilizados detrás de la segmentación de imágenes son:

• Redes Neuronales Convolucionales (CNN)
• Redes Neuronales Completely Conectadas (FCN)
• Redes Neuronales Recurrentes (RNN)

¿Cómo Funciona la Segmentación de Imágenes?

En la visión por computadora, la mayoría de los modelos de segmentación de imágenes consisten en una red codificador-decodificador. El codificador codifica una representación del espacio latente de los datos de entrada que el decodificador decodifica para formar mapas de segmentos, o en otras palabras, mapas que delinean la ubicación de cada objeto en la imagen.

Por lo general, el proceso de segmentación consiste en 3 etapas:

• Un codificador de imagen que transforma la imagen de entrada en un modelo matemático (vectores y matrices) para el procesamiento.
• El codificador agrega los vectores en varios niveles.
• Un decodificador de máscara rápido toma las incrustaciones de la imagen como entrada y produce una máscara que delinee diferentes objetos en la imagen por separado.

El Estado de la Segmentación de Imágenes

A partir de 2014, surgió una ola de algoritmos de segmentación basados en el aprendizaje profundo, como CNN+CRF y FCN, que hicieron un progreso significativo en el campo. En 2015, se produjo el surgimiento de U-Net y Deconvolution Network, lo que mejoró la precisión de los resultados de segmentación.

Luego, en 2016, la segmentación de instancias consciente, V-Net y RefineNet mejoraron aún más la precisión y la velocidad de la segmentación. En 2017, Mark-RCNN y FC-DenseNet introdujeron la detección de objetos y la predicción densa en tareas de segmentación.

En 2018, la segmentación panóptica, Mask-Lab y las redes de codificación de contexto estuvieron en el centro del escenario, ya que estos enfoques abordaron la necesidad de segmentación a nivel de instancias. En 2019, Panoptic FPN, HRNet y Criss-Cross Attention introdujeron nuevos enfoques para la segmentación a nivel de instancias.

En 2020, la tendencia continuó con la introducción de Detecto RS, Panoptic DeepLab, PolarMask, CenterMask, DC-NAS y Efficient Net + NAS-FPN. Finalmente, en 2023, tenemos SAM, que discutiremos a continuación.

Modelo de Segmentación de Cualquier Cosa (SAM) – Segmentación de Imágenes de Propósito General

Fuente de la imagen

El Modelo de Segmentación de Cualquier Cosa (SAM) es un nuevo enfoque que puede realizar tareas de segmentación interactivas y automáticas en un solo modelo. Anteriormente, la segmentación interactiva permitía segmentar cualquier clase de objeto, pero requería que una persona guiara el método mediante la refinación iterativa de una máscara.

La segmentación automática en SAM permite la segmentación de categorías de objetos específicas definidas con anticipación. Su interfaz promocionable es muy flexible. Como resultado, SAM puede abordar una amplia gama de tareas de segmentación utilizando una instrucción adecuada, como clics, cuadros, texto y más.

SAM se entrena en un conjunto de datos diverso e informativo de más de 1.000 millones de máscaras, lo que hace posible reconocer nuevos objetos y imágenes no disponibles en el conjunto de entrenamiento. Este marco moderno revolucionará ampliamente los modelos de CV en aplicaciones como coches autónomos, seguridad y realidad aumentada.

SAM puede detectar y segmentar objetos alrededor del coche en coches autónomos, como otros vehículos, peatones y señales de tráfico. En la realidad aumentada, SAM puede segmentar el entorno del mundo real para colocar objetos virtuales en ubicaciones adecuadas, creando una experiencia de usuario más realista y atractiva.

Desafíos de la Segmentación de Imágenes en 2023

El aumento de la investigación y el desarrollo en la segmentación de imágenes también plantea importantes desafíos. Algunos de los principales desafíos de la segmentación de imágenes en 2023 incluyen:

• La creciente complejidad de los conjuntos de datos, especialmente para la segmentación de imágenes 3D
• El desarrollo de modelos profundos interpretables
• El uso de modelos de aprendizaje no supervisado que minimicen la intervención humana
• La necesidad de modelos en tiempo real y eficientes en términos de memoria
• Eliminar los cuellos de botella de la segmentación de nubes de puntos 3D

El Futuro de la Visión por Computadora

El mercado global de visión por computadora impacta múltiples industrias y se espera que alcance más de $41 mil millones para 2030. Las técnicas modernas de segmentación de imágenes como el Modelo de Segmentación de Cualquier Cosa, combinadas con otros algoritmos de aprendizaje profundo, fortalecerán aún más la base de la visión por computadora en el paisaje digital. Por lo tanto, veremos modelos de visión por computadora más robustos y aplicaciones inteligentes en el futuro.

Para obtener más información sobre IA y ML, explore Unite.ai – su solución integral para todas las consultas sobre tecnología y su estado moderno.