Ángulo de Anderson
Dibujar rutas para ciegos con aprendizaje automático
Añade Unite.AI a tus fuentes preferidas en Google
Nueva investigación en Alemania ofrece un sistema portátil innovador, impulsado por GPU, para ayudar a las personas con discapacidad visual a navegar en el mundo real. El sistema aborda uno de los desafíos fundamentales en los marcos de visión computacional en tiempo real: la identificación de obstáculos transparentes como el vidrio.
El documento, del Instituto de Tecnología de Karlsruhe, detalla la construcción de un sistema que se lleva puesto, llamado Trans4Trans, que consiste en un par de gafas inteligentes conectadas a un estuche portátil de GPU, efectivamente un laptop ligero, que captura imágenes RGB y de profundidad a 640×480 píxeles en un flujo continuo, que luego se procesa a través de un marco de segmentación semántica.
Los sensores móviles en el conjunto Trans4Trans. Fuente: https://arxiv.org/pdf/2107.03172.pdf
Las capacidades de retroalimentación sensorial del sistema se ven reforzadas por un par de auriculares de conducción ósea, que emiten retroalimentación acústica en respuesta a obstáculos ambientales.
El sistema Trans4Trans también se ha probado en el conjunto de realidad aumentada Microsoft HoloLens 2, logrando una segmentación completa y coherente (es decir, reconocimiento) de obstrucciones potencialmente peligrosas como puertas de vidrio.
Trans4Trans ejecutándose en HoloLens 2.
Arquitectura
Trans4Trans utiliza un enfoque dual, utilizando tanto un codificador basado en transformadores como un decodificador, y aprovechando un módulo de emparejamiento de transformadores (TPM) propietario capaz de recopilar mapas de características generados por las incrustaciones de particiones densas, mientras que el decodificador basado en transformadores puede analizar coherentemente mapas de características de su codificador emparejado.
La arquitectura de Trans4Trans.
Cada TPM consiste en una capa basada en transformadores individual, esencial para el bajo drenaje de recursos y la portabilidad del sistema. El decodificador contiene cuatro etapas simétricas para el codificador, con un módulo TPM asignado a cada uno. El sistema ahorra recursos integrando la funcionalidad de múltiples enfoques en un sistema coherente, en lugar de implementar dos modelos separados en un flujo de trabajo lineal.
Hardware
Las gafas utilizadas en el sistema incorporan un sensor RGB-D RealSense R200, mientras que la máquina host alberga un Jetson AGX Xavier NVIDIA GPU, diseñado para sistemas integrados, y que cuenta con 384 núcleos CUDA de NVIDIA y 48 núcleos Tensor.
El R200 ofrece proyección de speckle y coincidencia de estéreo pasiva, lo que lo hace adecuado para entornos interiores y exteriores. La instalación de speckle es de particular beneficio al evaluar superficies transparentes, ya que aumenta y clarifica los datos visuales de entrada sin quedar cegado por fuentes de luz extremas. Las capacidades de infrarrojos del sensor también ayudan a obtener geometría y forma distintas, y mapas de profundidad que son críticos para la evitación de obstáculos, en el contexto de los objetivos del proyecto.
Prevención de la sobrecarga cognitiva para el usuario
El sistema necesita encontrar un equilibrio entre la frecuencia de datos adecuada y la información excesiva, ya que el usuario necesita poder distinguir el entorno coherentemente a través de la retroalimentación acústica y la retroalimentación por vibración.
En consecuencia, Trans4Trans limita artificialmente el volumen de datos de retroalimentación, con un umbral predeterminado único establecido en un metro, en lugar de obligar al usuario a aprender una variedad de ajustes de vibración que se correspondan con distancias variables de objetos y barreras en ciernes.
Pruebas de Trans4Trans
El sistema Trans4Trans se probó en dos conjuntos de datos que tratan sobre la segmentación de objetos transparentes: Trans10K-V2, de la Universidad de Hong Kong et al, que contiene 10,428 imágenes de objetos transparentes para validación, entrenamiento y prueba; y el conjunto de datos Stanford2D3D, que contiene 70,496 imágenes de objetos de transparencia mixta, capturados a una resolución de 1080×1080.
Imágenes y máscaras correspondientes del conjunto de datos Trans10k. Fuente: https://arxiv.org/pdf/2101.08461.pdf
El sistema Stanford2D3D en acción. Fuente: http://buildingparser.stanford.edu/dataset.html
En las pruebas, Trans4Trans también pudo segmentar objetos transparentes que fueron mal clasificados por la iniciativa Trans2Seg lanzada a principios de 2021 por los mismos investigadores, mientras requería menos GFLOPS para calcular y segmentar las superficies.
A diferencia de Trans2Seq, que utiliza un codificador basado en CNN y un decodificador basado en transformadores, Trans4Trans utiliza solo una arquitectura codificador-decodificador basada en transformadores, superando el enfoque anterior y mejorando significativamente en PVT.
El algoritmo también logró resultados de estado del arte para un número particular de clases transparentes, incluyendo frasco, ventana, puerta, taza, caja y botella.
