La IA descubre la actividad secreta revelada por paredes en blanco

Una colaboración de investigación, que incluye contribuyentes de NVIDIA y MIT, ha desarrollado un método de aprendizaje automático que puede identificar a personas ocultas simplemente observando la iluminación indirecta en una pared cercana, incluso cuando las personas no están cerca de las fuentes de luz. El método tiene una precisión cercana al 94% al intentar identificar el número de personas ocultas, y también puede identificar la actividad específica de una persona oculta amplificando masivamente los rebotes de luz que son invisibles para los ojos humanos y para los métodos estándar de amplificación de imágenes.

Perturbaciones imperceptibles de la luz, amplificadas por el nuevo método, que utiliza redes neuronales convolucionales para identificar áreas de cambio. Fuente: https://www.youtube.com/watch?v=K4PapXyX-bI

El nuevo artículo se titula Lo que puedes aprender mirando una pared en blanco, con contribuciones de NVIDIA y MIT, así como del Instituto de Tecnología de Israel.

Los enfoques anteriores para “ver alrededor de las paredes” han dependido de fuentes de luz controlables o de conocimiento previo de fuentes conocidas de occlusión, mientras que la nueva técnica puede generalizarse a cualquier nueva habitación, sin requerimiento de recalibración. Las dos redes neuronales convolucionales que individúan a personas ocultas utilizaron datos obtenidos de solo 20 escenas.

El proyecto está dirigido a situaciones de alto riesgo y críticas para la seguridad, para operaciones de búsqueda y rescate, tareas de vigilancia policial en general, escenarios de respuesta a emergencias, para la detección de caídas entre personas mayores y como medio para detectar peatones ocultos para vehículos autónomos.

Evaluación pasiva

Como sucede frecuentemente con proyectos de visión por computadora, la tarea central fue identificar, clasificar y operacionalizar los cambios de estado percibidos en una secuencia de imágenes. Concatenar los cambios conduce a patrones de firma que se pueden utilizar para identificar un número de individuos o para detectar la actividad de uno o más individuos.

El trabajo abre la posibilidad de una evaluación de escena completamente pasiva, sin la necesidad de utilizar superficies reflectantes, señales de Wi-Fi, radar, sonido o cualquier otra “circunstancia especial” requerida en otros esfuerzos de investigación de años recientes que han buscado establecer la presencia humana oculta en un entorno peligroso o crítico.

Un escenario de recopilación de datos del tipo utilizado para la nueva investigación. Los sujetos están cuidadosamente posicionados para no proyectar sombras o ocultar directamente las luces, y no se permiten superficies reflectantes ni otros “vectores de trampa” permitidos. Fuente: https://arxiv.org/pdf/2108.13027.pdf

Efectivamente, la luz ambiental para el escenario típico previsto para la aplicación abrumaría cualquier perturbación menor causada por la luz reflejada de las personas ocultas en otra parte de la escena. Los investigadores calculan que la contribución de la luz-disturbio de los individuos sería típicamente menos del 1% de la luz visible total.

Eliminación de iluminación estática

Para extraer el movimiento de la imagen de la pared aparentemente estática, es necesario calcular el promedio temporal del video y eliminarlo de cada cuadro. Los patrones de movimiento resultantes suelen estar por debajo del umbral de ruido incluso de equipos de video de buena calidad, y en efecto, gran parte del movimiento ocurre dentro de un espacio de píxel negativo.

Para solucionar esto, los investigadores reducen la muestra del video en un factor de 16 y escalan la filmación resultante en un factor de 50, mientras agregan un nivel de gris medio para discernir la presencia de píxeles negativos (que no podrían ser contabilizados por el ruido de la cámara de video).

La diferencia entre la pared percibida por el ser humano y la perturbación extraída de las personas ocultas. Dado que la calidad de la imagen es un tema central en esta investigación, por favor refiérase al video oficial al final del artículo para una imagen de mayor calidad.

La ventana de oportunidad para percibir el movimiento es muy frágil y puede verse afectada incluso por el parpadeo de las luces a una frecuencia de 60 Hz CA. Por lo tanto, esta perturbación natural también debe ser evaluada y eliminada de la filmación antes de que emerja el movimiento inducido por la persona.

Finalmente, el sistema produce trazados espacio-tiempo que señalan un número específico de habitantes de la habitación oculta – firmas visuales discretas:

Trazados espacio-tiempo de firmas que representan diferentes números de personas ocultas en una habitación.

Diferentes actividades humanas también resultarán en perturbaciones de firma que se pueden clasificar y reconocer más adelante:

Los trazados espacio-tiempo de firmas para inactividad, caminar, agacharse, agitar las manos y saltar.

Para producir un flujo de trabajo automatizado basado en aprendizaje automático para el reconocimiento de personas ocultas, se utilizó filmación variada de 20 escenarios apropiados para entrenar dos redes neuronales que operan en configuraciones ampliamente similares – una para contar el número de personas en una escena y la otra para identificar cualquier movimiento que ocurra.

Pruebas

Los investigadores probaron el sistema entrenado en diez entornos reales no vistos diseñados para recrear las limitaciones anticipadas para la implementación final. El sistema pudo lograr una precisión de hasta el 94,4% (en 256 cuadros – típicamente un poco más de 8 segundos de video) al clasificar el número de personas ocultas, y hasta el 93,7% (bajo las mismas condiciones) al clasificar actividades. Aunque la precisión disminuye con menos cuadros de origen, no es una disminución lineal, y incluso 64 cuadros lograrán una tasa de precisión del 79,4% para la evaluación de “número de personas” (frente a casi el 95% para cuatro veces la cantidad de cuadros).

Aunque el método es robusto a los cambios en la iluminación basados en el clima, lucha en una escena iluminada por una televisión, o en circunstancias en las que las personas llevan ropa de un solo color del mismo color que la pared reflectante.

Más detalles de la investigación, incluyendo filmaciones de mayor calidad de las extracciones, se pueden ver en el video oficial a continuación.