Resolviendo el problema de los artefactos JPEG en conjuntos de datos de visión por computadora

Un nuevo estudio de la Universidad de Maryland y Facebook AI ha encontrado una “penalización significativa del rendimiento” para los sistemas de aprendizaje profundo que utilizan imágenes JPEG altamente comprimidas en sus conjuntos de datos, y ofrece algunos nuevos métodos para mitigar los efectos de esto.

El informe, titulado Análisis y mitigación de defectos de compresión JPEG en aprendizaje profundo, afirma ser “significativamente más completo” que los estudios anteriores sobre los efectos de los artefactos en los conjuntos de datos de visión por computadora. El papel encuentra que “[la compresión JPEG pesada] a moderada incurre una penalización significativa del rendimiento en métricas estándar”, y que las redes neuronales pueden no ser tan resistentes a tales perturbaciones como sugiere el trabajo anterior anterior.

Una foto de un perro del conjunto de datos MobileNetV2 de 2018. En calidad 10 (izquierda), un sistema de clasificación no logra identificar la raza correcta ‘Pembroke Welsh Corgi’, en su lugar adivina ‘Norwich terrier’ (el sistema ya sabe que es una foto de un perro, pero no la raza); segundo desde la izquierda, una versión corregida de artefactos JPEG de la imagen también no logra identificar la raza correcta; segundo desde la derecha, la corrección de artefactos dirigida restaura la clasificación correcta; y derecha, la foto original, clasificada correctamente. Fuente: https://arxiv.org/pdf/2011.08932.pdf

Artefactos de compresión como ‘datos’

La compresión JPEG extrema probablemente cree bordes visibles o semivisibles alrededor de los bloques de 8×8 a partir de los cuales se ensambla una cuadrícula de píxeles JPEG. Una vez que aparecen estos artefactos de bloqueo o “ringing”, es probable que sean malinterpretados por los sistemas de aprendizaje automático como elementos del mundo real del sujeto de la imagen, a menos que se realice alguna compensación por esto.

Arriba, un sistema de aprendizaje automático de visión por computadora extrae una imagen de gradiente ‘limpio’ de una buena calidad de imagen. Abajo, los artefactos de ‘bloqueo’ en una imagen de menor calidad ocultan las características del sujeto y pueden terminar ‘infectando’ las características derivadas de un conjunto de imágenes, particularmente en casos donde imágenes de alta y baja calidad ocurren en el conjunto de datos, como en colecciones de web-scraping a las que solo se ha aplicado una limpieza de datos genérica. Fuente: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Como se ve en la primera imagen de arriba, tales artefactos pueden afectar las tareas de clasificación de imágenes, con implicaciones también para los algoritmos de reconocimiento de texto, que pueden no identificar correctamente los caracteres afectados por artefactos.

En el caso de los sistemas de entrenamiento de síntesis de imágenes (como software de deepfake o sistemas de generación de imágenes basados en GAN), un bloque “renegado” de imágenes de baja calidad y altamente comprimidas en un conjunto de datos puede arrastrar la calidad media de reproducción hacia abajo, o ser subsumido y esencialmente anulado por un mayor número de características de alta calidad extraídas de mejores imágenes en el conjunto. En cualquier caso, se desea mejores datos, o al menos datos consistentes.

JPEG – Generalmente ‘Bastante bueno’

La compresión JPEG es un códec de pérdida irreversible que se puede aplicar a varios formatos de imagen, aunque se aplica principalmente al formato de archivo de imagen JFIF. A pesar de esto, el formato JPEG (.jpg) se nombró después de su método de compresión asociado, y no del contenedor JFIF para los datos de la imagen.

Arquitecturas de aprendizaje automático enteras han surgido en los últimos años que incluyen la mitigación de artefactos JPEG como parte de las rutinas de escalado/restauración impulsadas por IA, y la eliminación de artefactos de compresión basada en IA ahora se incorpora en una serie de productos comerciales, como la suite de imagen/video Topaz, y las características neuronales de las versiones recientes de Adobe Photoshop.

Desde que el esquema JPEG de 1986 actualmente en uso común se cerró en la década de 1990, no es posible agregar metadatos a una imagen que indique qué nivel de calidad (1-100) se utilizó para guardar una imagen JPEG – al menos, no sin modificar más de treinta años de software de consumidor, profesional y académico que no esperaban que dichos metadatos estuvieran disponibles.

En consecuencia, no es inusual adaptar las rutinas de entrenamiento de aprendizaje automático a la calidad evaluada o conocida de los datos de imagen JPEG, como han hecho los investigadores para el nuevo papel (ver abajo). En ausencia de una entrada de metadatos de “calidad”, actualmente es necesario conocer los detalles de cómo se comprimió la imagen (es decir, se comprimió a partir de una fuente sin pérdida), o estimar la calidad a través de algoritmos perceptuales o clasificación manual.

Un compromiso económico

JPEG no es el único método de compresión con pérdida que puede afectar la calidad de los conjuntos de datos de aprendizaje automático; los ajustes de compresión en los archivos PDF también pueden descartar información de esta manera, y se pueden configurar para niveles de calidad muy bajos con el fin de ahorrar espacio en disco para fines de archivo local o de red.

Esto se puede ver al muestrear varios PDF en archive.org, algunos de los cuales se han comprimido tanto que son un desafío notable para los sistemas de reconocimiento de imágenes o texto. En muchos casos, como los libros con derechos de autor, esta compresión intensa parece haberse aplicado como una forma de DRM barata, de manera similar a como los titulares de derechos de autor pueden optar por reducir la resolución de los videos subidos por los usuarios a YouTube en los que poseen la propiedad intelectual, dejando los videos “blocky” como tokens promocionales para inspirar compras de “alta resolución”, en lugar de eliminarlos.

En muchos otros casos, la resolución o la calidad de la imagen es baja simplemente porque los datos son muy antiguos y provienen de una época en la que el almacenamiento local y de red era más caro, y cuando las velocidades de red limitadas favorecían imágenes altamente optimizadas y portátiles sobre la reproducción de alta calidad.

Se ha argumentado que JPEG, aunque no sea la mejor solución ahora, ha sido “consagrado” como infraestructura de legado irremovable que está esencialmente entretejida con los cimientos de Internet.

Carga de legado

Aunque las innovaciones posteriores como JPEG 2000, PNG y (más recientemente) el formato.webp ofrecen una calidad superior, volver a muestrear conjuntos de datos de aprendizaje automático más antiguos y muy populares probablemente “reiniciaría” la continuidad y la historia de los desafíos anuales de visión por computadora en la comunidad académica – un impedimento que también se aplicaría en el caso de volver a guardar imágenes de conjunto de datos PNG a ajustes de calidad más altos. Esto podría considerarse como una especie de deuda técnica.

Mientras que las bibliotecas de procesamiento de imágenes impulsadas por servidor como ImageMagick admiten mejores formatos, incluido.webp, los requisitos de transformación de imágenes a menudo ocurren en sistemas de legado que no están configurados para nada más que JPG o PNG (que ofrece compresión sin pérdida, pero a expensas de la latencia y el espacio en disco). Incluso WordPress, el CMS que impulsa casi el 40% de todos los sitios web, solo agregó soporte para.webp hace tres meses.

PNG fue una entrada tardía (arguably demasiado tarde) en el sector de formatos de imagen, surgiendo como una solución de código abierto en la segunda mitad de la década de 1990 en respuesta a una declaración de 1995 por Unisys y CompuServe de que se pagarían regalías por el formato de compresión LZW utilizado en los archivos GIF, que se utilizaban comúnmente en ese momento para logotipos y elementos de color plano, incluso si el resurgimiento de GIF en la década de 2010 se centró en su capacidad para proporcionar contenido animado de baja banda y snappy (irónicamente, los PNG animados nunca ganaron popularidad o amplio soporte, y fueron prohibidos en Twitter en 2019).

A pesar de sus limitaciones, la compresión JPEG es rápida, eficiente en términos de espacio y profundamente integrada en sistemas de todos los tipos – y por lo tanto no es probable que desaparezca completamente de la escena de aprendizaje automático en el futuro cercano.

Hacer lo mejor de la tregua AI/JPEG

En cierta medida, la comunidad de aprendizaje automático se ha acomodado a las peculiaridades de la compresión JPEG: en 2011, la Sociedad Europea de Radiología (ESR) publicó un estudio sobre la “usabilidad de la compresión de imagen irreversible en la imagen radiológica”, que proporciona pautas para la “pérdida aceptable”; cuando el venerable conjunto de datos de reconocimiento de texto MNIST (cuyos datos de imagen se proporcionaron originalmente en un formato binario novedoso) se trasladó a un formato de imagen “regular”, JPEG, no PNG, se eligió; y una colaboración anterior (2020) de los autores del nuevo papel ofreció una arquitectura novedosa para calibrar los sistemas de aprendizaje automático a las limitaciones de la calidad variable de la imagen JPEG, sin la necesidad de que los modelos se entrenen en cada ajuste de calidad JPEG – una característica utilizada en el nuevo trabajo.

De hecho, la investigación sobre la utilidad de los datos de calidad variable JPEG es un campo relativamente próspero en el aprendizaje automático. Un proyecto de 2016 (no relacionado) del Centro de Investigación de Automatización de la Universidad de Maryland se centra en el dominio DCT (donde ocurren los artefactos JPEG a ajustes de calidad bajos) como una ruta para la extracción de características profundas; otro proyecto de 2019 se centra en la lectura a nivel de byte de los datos JPEG sin la necesidad de descomprimir las imágenes (es decir, abrirlos en algún momento de un flujo de trabajo automatizado); y un estudio de Francia en 2019 aprovecha activamente la compresión JPEG en servicio de las rutinas de reconocimiento de objetos.

Pruebas y conclusiones

Para regresar al estudio más reciente de UoM y Facebook, los investigadores buscaron probar la comprensibilidad y utilidad de JPEG en imágenes comprimidas entre 10-90 (por debajo de las cuales la imagen está imposiblemente perturbada, y por encima de las cuales es igual a la compresión sin pérdida). Las imágenes utilizadas en las pruebas se precomprimieron en cada valor dentro del rango de calidad objetivo, lo que implicó al menos ocho sesiones de entrenamiento.

Los modelos se entrenaron en descenso de gradiente estocástico a través de cuatro métodos: base, donde no se agregaron mitigaciones adicionales; ajuste fino supervisado, donde el conjunto de entrenamiento tiene la ventaja de pesos preentrenados y datos etiquetados (aunque los investigadores admiten que esto es difícil de replicar en aplicaciones de consumidor); corrección de artefactos, donde se realiza una mejora en las imágenes comprimidas antes del entrenamiento; y corrección de artefactos dirigida a tareas, donde la red de corrección de artefactos se ajusta en errores devueltos.

El entrenamiento se realizó en una amplia variedad de conjuntos de datos aptos, incluyendo múltiples variantes de ResNet, FastRCNN, MobileNetV2, MaskRCNN y Keras’ InceptionV3.

Los resultados de pérdida de muestra después de la corrección de artefactos dirigida a tareas se visualizan a continuación (menor es mejor).

No es posible profundizar en los detalles de los resultados obtenidos en el estudio, porque los hallazgos de los investigadores se dividen entre el objetivo de evaluar los artefactos JPEG y los nuevos métodos para aliviar esto; el entrenamiento se iteró por calidad en tantos conjuntos de datos; y las tareas incluyeron múltiples objetivos como la detección de objetos, la segmentación y la clasificación. Esencialmente, el nuevo informe se posiciona como una obra de referencia integral que aborda múltiples problemas.

No obstante, el papel concluye en general que “la compresión JPEG tiene una penalización pronunciada en todo el tablero para la compresión pesada a moderada”. También afirma que sus estrategias de mitigación no supervisadas novedosas logran resultados superiores entre otros enfoques similares; que, para tareas complejas, el método supervisado de los investigadores también supera a sus pares, a pesar de no tener acceso a etiquetas de verdad; y que estas metodologías novedosas permiten la reutilización de modelos, ya que los pesos obtenidos son transferibles entre tareas.

En cuanto a las tareas de clasificación, el papel establece explícitamente que “JPEG degrada la calidad del gradiente así como induce errores de localización”.

Los autores esperan ampliar estudios futuros para cubrir otros métodos de compresión como el ampliamente descuidado JPEG 2000, así como WebP, HEIF y BPG. También sugieren que su metodología podría aplicarse a investigaciones análogas sobre algoritmos de compresión de video.

Como el método de corrección de artefactos dirigida a tareas ha demostrado ser tan exitoso en el estudio, los autores también señalan su intención de publicar los pesos entrenados durante el proyecto, anticipando que “[muchas] aplicaciones se beneficiarán del uso de nuestros pesos TTAC sin modificación”.

n.b. La imagen de origen del artículo proviene de thispersondoesnotexist.com