Reducción de imágenes de alta resolución con aprendizaje automático

Nueva investigación del Reino Unido ha propuesto un método mejorado de aprendizaje automático para cambiar el tamaño de las imágenes, basado en el valor percibido de las diferentes partes del contenido de la imagen, en lugar de reducir indiscriminadamente la dimensión (y por lo tanto la calidad y las características extraíbles) para todos los píxeles de la imagen.

Como parte de un creciente interés en sistemas de compresión impulsados por inteligencia artificial, se trata de un enfoque que podría informar eventualmente nuevos códigos para la compresión de imágenes en general, aunque el trabajo está motivado por la imagen médica, donde la reducción de tamaño arbitraria de imágenes médicas de alta resolución podría llevar a la pérdida de información que salva vidas.

Arquitectura representativa del nuevo sistema. El módulo de deformación intersticial produce un mapa de deformación que corresponde a áreas de interés en la imagen. La densidad y la dirección de los puntos rojos indican estas áreas. El mapa se utiliza no solo para reducir el tamaño, sino también para reconstruir las áreas de interés principal cuando el contenido de la imagen se reescala de manera no uniforme en el otro lado del proceso de entrenamiento.   Fuente: https://arxiv.org/pdf/2109.11071.pdf

El sistema aplica segmentación semántica a las imágenes – bloques amplios, representados como bloques de color en la imagen de arriba, que abarcan entidades reconocidas dentro de la imagen, como ‘carretera’, ‘bicicleta’, ‘lesión’, etc. La disposición de los mapas de segmentación semántica se utilizan para calcular qué partes de la foto no deben reducirse en exceso.

Titulado Aprendiendo a reducir el tamaño para la segmentación de imágenes de ultra-alta resolución, el nuevo documento es una colaboración entre investigadores del Centro de Computación de Imágenes Médicas de la Universidad College de Londres y investigadores del Departamento de Inteligencia de Salud de Microsoft Cambridge.

El mundo (bastante) de baja resolución de la formación de visión por computadora

La formación de sistemas de visión por computadora está significativamente limitada por la capacidad de las GPU. Los conjuntos de datos pueden contener muchos miles de imágenes de las que se deben extraer características, pero incluso las GPU de alcance industrial tienden a alcanzar un máximo de 24 GB de VRAM, con escasez continua que afecta la disponibilidad y el costo.

Esto significa que los datos deben pasar por los núcleos de tensor limitados de la GPU en lotes manejables, con 8-16 imágenes típicas de muchos flujos de trabajo de formación de visión por computadora.

No hay muchas soluciones obvias: incluso si la VRAM fuera ilimitada y las arquitecturas de CPU pudieran acomodar ese tipo de rendimiento de la GPU sin formar un cuello de botella arquitectónico, los tamaños de lote muy grandes tenderán a derivar características de alto nivel a expensas de las transformaciones más detalladas que pueden ser críticas para la utilidad del algoritmo final.

Aumentar la resolución de las imágenes de entrada significará que debes utilizar tamaños de lote más pequeños para ajustar los datos en el “espacio latente” de la GPU de formación. Esto, a su vez, es probable que produzca un modelo que es “excéntrico” y sobreajustado.

Ni siquiera agregar GPUs adicionales ayuda, al menos en las arquitecturas más comunes: mientras que los conjuntos de múltiples GPU pueden acelerar los tiempos de formación, también pueden comprometer la integridad de los resultados de formación, como dos fábricas adyacentes que trabajan en el mismo producto, con solo una línea telefónica para coordinar sus esfuerzos.

Imágenes redimensionadas de manera inteligente

Lo que queda es que las secciones más relevantes de una imagen típica para un conjunto de datos de visión por computadora podrían, con el nuevo método, preservarse intactas en el redimensionamiento automático que ocurre cuando las imágenes de muy alta resolución deben reducirse para ajustarse a una tubería de aprendizaje automático.

Este es un desafío separado al problema de artefactos de pérdida en conjuntos de datos de visión por computadora, donde la calidad se pierde en tuberías de redimensionamiento automatizadas porque el códec de compresión descarta demasiada información (generalmente irreparable).

Más bien, en este caso, incluso guardar en un formato de imagen sin pérdida (como PNG con compresión LZW) no puede recuperar la información que se descarta genéricamente cuando se reduce el tamaño (por ejemplo) de una exploración de resonancia magnética (MRI) desde dimensiones a menudo récord a una resolución más creíble de 256×256 o 512×512 píxeles.

Para empeorar las cosas, dependiendo de los requisitos del marco, a menudo se agregan bordes negros a las imágenes de origen rectangulares como una tarea de procesamiento de datos de rutina, para producir un formato de entrada genuinamente cuadrado para el procesamiento de redes neuronales, lo que reduce aún más el espacio disponible para datos potencialmente cruciales.

Los investigadores de la UCL y Microsoft proponen en cambio hacer que el proceso de redimensionamiento sea más inteligente, utilizando efectivamente lo que siempre ha sido una etapa genérica en la tubería para resaltar áreas de interés, descargando parte de la carga interpretativa del sistema de aprendizaje automático a través del cual las imágenes pasarán finalmente.

El método, según afirman los investigadores, mejora una oferta de 2019 (imagen a continuación) que buscaba ganancias similares centrándose en la calidad de la atención en los límites de los objetos.

De ‘Segmentación eficiente: aprendiendo a reducir el tamaño cerca de los límites semánticos’, Marin et al., 2019. Fuente: https://arxiv.org/pdf/1907.07156.pdf

Como señala el nuevo trabajo, este enfoque supone que las áreas de interés se reúnen en los límites, mientras que ejemplos de imágenes médicas, como regiones de cáncer anotadas, dependen de un contexto de más alto nivel y pueden aparecer como detalles fácilmente descartables dentro de áreas más amplias en una imagen, en lugar de en los bordes.

Muestreador adaptable

La nueva investigación propone un muestreador adaptable llamado módulo de deformación, que se entrena conjuntamente con un módulo de segmentación paralelo, y por lo tanto puede estar informado sobre las áreas de interés identificadas por la segmentación semántica, y priorizar estas durante el proceso de reducción de tamaño.

Los autores probaron el sistema en varios conjuntos de datos populares, incluyendo Cityscapes, DeepGlobe y un conjunto de datos local de histología de cáncer de próstata, ‘PCa-Histo’.

Tres enfoques: a la izquierda, muestreo ‘uniforme’ existente; en el medio, el enfoque ‘borde óptimo’ del documento de 2019; a la derecha, la arquitectura detrás del nuevo sistema, informada por el reconocimiento de entidades en una capa de segmentación semántica.

Un enfoque similar se ha intentado para un clasificador propuesto en 2019, pero los autores del documento actual afirman que este método no regulariza adecuadamente las áreas de énfasis, lo que podría hacer que se pierdan áreas vitales en un contexto de imágenes médicas.

Resultados

El módulo de deformación en el nuevo sistema es una pequeña Red Neuronal Convolucional (CNN), mientras que la capa de segmentación es una arquitectura de CNN profunda que emplea HRNetV2-W48. Se utilizó la Red de Análisis de Escena Piramidal (PSP-net) como una capa de verificación de sanidad para las pruebas de CityScapes.

Los conjuntos de datos mencionados se probaron con el nuevo marco, utilizando muestreo uniforme (el método habitual), el método de borde óptimo de 2019 y el nuevo enfoque que aprovecha la segmentación semántica.

Los autores informan que el nuevo método muestra ‘una ventaja clara en la identificación y distinción de las clases más clínicamente importantes’, con un aumento de precisión del 15-20%. También observan que la distancia entre estas clases a menudo se define como ‘el umbral desde la salud hasta el cáncer’.

Análisis de intersección sobre la unión (IoU) por clase a través de los tres métodos: a la izquierda, muestreo estándar; en el medio, borde óptimo; y a la derecha, el nuevo enfoque. CityScapes se redujo a un mero 64 x 128, con PCaHisto a 80 x 800, y DeepGlobe a 300 píxeles cuadrados.

El informe establece que su método ‘puede aprender una estrategia de muestreo, preservar mejor la información y permitir una mejor compensación.’, concluyendo que el nuevo marco ‘puede aprender de manera eficiente dónde “invertir” el presupuesto limitado de píxeles en la reducción de tamaño para lograr la mayor rentabilidad general en la precisión de la segmentación’.

La imagen principal para este artículo fue obtenida de thispersondoesnotexist.com. Actualizado a las 3:35 p.m. GMT+2 por error de texto.