La IA descubre el secreto de la actividad revelada por paredes en blanco

Una colaboración de investigación, que incluye contribuyentes de NVIDIA y MIT, ha desarrollado un método de aprendizaje automático que puede identificar personas ocultas simplemente observando la iluminación indirecta en una pared cercana, incluso cuando las personas no están cerca de las fuentes de luz. El método tiene una precisión cercana al 94% al intentar identificar el número de personas ocultas, y también puede identificar la actividad específica de una persona oculta amplificando enormemente los rebotes de luz que son invisibles para los ojos humanos y para los métodos estándar de amplificación de imágenes.

Perturbaciones imperceptibles de la luz, amplificadas por el nuevo método, que utiliza redes neuronales convolucionales para identificar áreas de cambio. Fuente: https://www.youtube.com/watch?v=K4PapXyX-bI

El nuevo artículo se titula Qué puedes aprender mirando una pared en blanco, con contribuyentes de NVIDIA y MIT, así como del Instituto de Tecnología de Israel.

Los enfoques anteriores para “ver alrededor de las paredes” han dependido de fuentes de luz controlables o de conocimiento previo de fuentes de occlusión conocidas, mientras que la nueva técnica puede generalizarse a cualquier nueva habitación, sin requerimiento de recalibración. Las dos redes neuronales convolucionales que identifican a las personas ocultas utilizaron datos obtenidos de solo 20 escenas.

El proyecto está dirigido a situaciones de alto riesgo y críticas para la seguridad, para operaciones de búsqueda y rescate, tareas de vigilancia policial en general, escenarios de respuesta a emergencias, para la detección de caídas entre personas mayores, y como medio para detectar peatones ocultos para vehículos autónomos.

Evaluación pasiva

Como sucede con frecuencia en proyectos de visión por computadora, la tarea central fue identificar, clasificar y operacionalizar los cambios de estado percibidos en una secuencia de imágenes. Concatenar los cambios conduce a patrones de firma que se pueden utilizar para identificar un número de individuos o para detectar la actividad de uno o más individuos.

El trabajo abre la posibilidad de una evaluación de escena completamente pasiva, sin la necesidad de utilizar superficies reflectantes, señales de Wi-Fi, radar, sonido o cualquier otra “circunstancia especial” requerida en otros esfuerzos de investigación de los últimos años que han buscado establecer la presencia humana oculta en un entorno peligroso o crítico.

Un escenario de recopilación de datos del tipo utilizado para la nueva investigación. Los sujetos están cuidadosamente posicionados para no proyectar sombras o ocultar directamente las luces, y no se permiten superficies reflectantes o otros “vectores de trampa”. Fuente: https://arxiv.org/pdf/2108.13027.pdf

En efecto, la luz ambiental para el escenario típico previsto para la aplicación abrumaría cualquier perturbación menor causada por la luz reflejada de las personas ocultas en la escena. Los investigadores calculan que la contribución de la perturbación de la luz de los individuos sería típicamente menos del 1% de la luz total visible.

Eliminación de iluminación estática

Para extraer el movimiento de la imagen de la pared aparentemente estática, es necesario calcular el promedio temporal del video y eliminarlo de cada cuadro. Los patrones resultantes de movimiento suelen estar por debajo del umbral de ruido incluso de equipos de video de buena calidad, y en efecto, gran parte del movimiento ocurre dentro de un espacio de píxeles negativos.

Para remediar esto, los investigadores reducen la muestra del video en un factor de 16 y amplifican la filmación resultante en un factor de 50, mientras agregan un nivel de gris medio para discernir la presencia de píxeles negativos (que no podrían ser contabilizados por el ruido de los sensores de video de base).

La diferencia entre la pared percibida por el ser humano y la perturbación extraída de las personas ocultas. Dado que la calidad de la imagen es un problema central en esta investigación, por favor consulte el video oficial al final del artículo para una imagen de mayor calidad.

La ventana de oportunidad para percibir el movimiento es muy frágil y puede verse afectada incluso por el parpadeo de las luces a una frecuencia de 60 Hz de CA. Por lo tanto, esta perturbación natural también debe ser evaluada y eliminada de la filmación antes de que el movimiento inducido por la persona emerja.

Finalmente, el sistema produce trazados espacio-tiempo que señalan un número específico de habitantes de la habitación oculta – firmas visuales discretas:

Trazados espacio-tiempo de firma que representan diferentes números de personas ocultas en una habitación.

Diferentes actividades humanas también resultarán en perturbaciones de firma que se pueden clasificar y reconocer más adelante:

Las firmas de los trazados espacio-tiempo para la inactividad, caminar, agacharse, agitar las manos y saltar.

Para producir un flujo de trabajo automatizado basado en aprendizaje automático para el reconocimiento de personas ocultas, se utilizó filmación variada de 20 escenarios apropiados para entrenar dos redes neuronales que operan en configuraciones ampliamente similares – una para contar el número de personas en una escena y la otra para identificar cualquier movimiento que ocurra.

Pruebas

Los investigadores probaron el sistema entrenado en diez entornos reales no vistos diseñados para recrear las limitaciones anticipadas para la implementación final. El sistema pudo lograr una precisión de hasta el 94,4% (sobre 256 cuadros – típicamente solo más de 8 segundos de video) al clasificar el número de personas ocultas, y hasta el 93,7% (bajo las mismas condiciones) al clasificar las actividades. Aunque la precisión disminuye con menos cuadros de origen, no es una disminución lineal, y incluso 64 cuadros lograrán una tasa de precisión del 79,4% para la evaluación del “número de personas” (frente a casi el 95% para cuatro veces el número de cuadros).

Aunque el método es robusto a los cambios en la iluminación basados en el clima, lucha en una escena iluminada por una televisión, o en circunstancias en que las personas llevan ropa de un solo color similar al de la pared reflectante.

Más detalles de la investigación, incluyendo filmaciones de mayor calidad de las extracciones, se pueden ver en el video oficial a continuación.