Løsning af JPEG-artefaktproblemet i computer vision-datasets

En ny studie fra University of Maryland og Facebook AI har fundet en ‘betydelig præstationsstraf’ for dyb læringssystemer, der bruger højkomprimerede JPEG-billeder i deres datasets, og tilbyder nogle nye metoder til at mildne effekterne heraf.

Rapporten, titlen Analyse og mildning af JPEG-kompressionsfejl i dyb læring, hævder at være ‘væsentligt mere omfattende’ end tidligere studier af effekterne af artefakter i træning af computer vision-datasets. Papiret finder, at ‘[tung] til moderat JPEG-kompression medfører en betydelig præstationsstraf på standardmetrikker’, og at neurale netværk måske ikke er så robuste over for sådanne forstyrrelser, som tidligere arbejde forslår.

Et billede af en hund fra 2018 MobileNetV2-datasettet. Ved kvalitet 10 (venstre), mislykkes en klassificeringssystem i at identificere den korrekte race ‘Pembroke Welsh Corgi’, men gætter i stedet ‘Norwich terrier’ (systemet kender allerede, at dette er et billede af en hund, men ikke racen); anden fra venstre, en standard JPEG-artefakt-korrigeret version af billedet mislykkes også i at identificere den korrekte race; anden fra højre, målrettet artefakt-korrektion genskaber den korrekte klassificering; og højre, det originale billede, korrekt klassificeret. Kilde: https://arxiv.org/pdf/2011.08932.pdf

Kompressionsartefakter som ‘data’

Ekstrem JPEG-kompression er sandsynligvis til at skabe synlige eller semi-synlige kanter omkring de 8×8-blokke, som en JPEG består af, når den samles til en pixelgrid. Når disse blok- eller ‘ringing’-artefakter optræder, er de sandsynligvis til at blive misfortolket af maskinlærings-systemer som virkelige verdens-elementer i billedets motiv, medmindre der sker en kompensation for dette.

Ovenfor, vil et computer vision-maskinlærings-system udtrække et ‘rent’ gradientbillede fra et højkvalitetsbillede. Nedenfor, ‘blok’-artefakter i en lavkvalitetsgemme af billedet skjuler motivets træk, og kan ende med at ‘inficere’ trækkene, der er afledt fra et billedsæt, især i tilfælde, hvor høj- og lavkvalitetsbilleder optræder i datasettet, såsom i web-skrapede samlinger, som kun har fået generisk data-rengøring. Kilde: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Som vist i det første billede ovenfor, kan sådanne artefakter påvirke billedklassificering, med implikationer også for tekstgenkendelsesalgoritmer, som kan fejlslå i at korrekt identificere artefakt-påvirkede tegn.

I tilfælde af billedsynthese-træningssystemer (såsom deepfake-software eller GAN-baserede billedgenereringssystemer), kan en ‘rogue’-blok af lavkvalitets-, højkomprimerede billeder i et dataset enten trække mediankvaliteten af reproduktionen ned eller blive underlagt og i virkeligheden erstattet af en større mængde højere kvalitets-træk, der er afledt fra bedre billeder i sættet. I begge tilfælde er bedre data ønskeligt – eller i hvert fald, konsistente data.

JPEG – Som regel ‘god nok’

JPEG-kompression er en irreversibel tabsgivende codec, der kan anvendes på forskellige billedformater, selvom det primært anvendes på JFIF-billedwrapperen wrapper. Trods dette blev JPEG (.jpg)-formatet navngivet efter sin tilknyttede kompressionsmetode og ikke JFIF-wrapperen for billeddata.

Hele maskinlæringsarkitekturer er opstået i de seneste år, der inkluderer JPEG-stil-artefakt-mildning som en del af AI-drevne opskalering/genskabningsroutiner, og AI-baseret kompressionsartefakt-fjernelse er nu inkorporeret i en række kommercielle produkter, såsom Topaz-billed/video-suite, og de neurale funktioner i seneste versioner af Adobe Photoshop.

Siden 1986 JPEG-skema, der i øjeblikket er almindeligt brugt, blev låst ned i begyndelsen af 1990’erne, er det ikke muligt at tilføje metadata til et billede, der angiver, hvilken kvalitetsniveau (1-100) et JPEG-billede er gemt ved – i hvert fald ikke uden at ændre mere end 30 års legacy forbruger-, professionel- og akademisk software-systemer, der ikke forventede, at sådan metadata ville være tilgængeligt.

Følgelig er det ikke usædvanligt at tilpasse maskinlærings-træningsrutiner til den vurderede eller kendte kvalitet af JPEG-billeddata, som forskerne har gjort for den nye rapport (se nedenfor). I mangelen på en ‘kvalitets’-metadata-post, er det i øjeblikket nødvendigt at enten kende detaljerne om, hvordan billedet blev komprimeret (dvs. komprimeret fra en tabsløs kilde), eller at anslå kvaliteten gennem perceptuelle algoritmer eller manuel klassificering.

En økonomisk kompromis

JPEG er ikke den eneste tabsgivende kompressionsmetode, der kan påvirke kvaliteten af maskinlærings-datasets; kompressionsindstillinger i PDF-filer kan også forkaste information på denne måde og kan være indstillet til meget lave kvalitetsniveauer for at spare diskplads til lokale eller netværksarkivering.

Dette kan ses ved at prøve forskellige PDF’er på archive.org, nogle af hvilke er blevet komprimeret så kraftigt, at de udgør en bemærkelsesværdig udfordring for billed- eller tekstgenkendelsessystemer. I mange tilfælde, såsom ophavsretligt beskyttede bøger, synes denne intense kompression at være blevet anvendt som en form for billig DRM, på samme måde som ophavsretshavere kan vælge at reducere opløsningen af brugeruploadede YouTube-videoer, som de har ophavsretten til, efterlader ‘blocky’-videoer som promotions-token til at inspirere ‘fuld opløsning’-køb, snarere end at slette dem.

I mange andre tilfælde er opløsningen eller billedkvaliteten lav, simpelthen fordi data er meget gammel og stammer fra en æra, hvor lokal og netværkslagring var mere dyrt, og hvor begrænsede netværkshastigheder favoriserede højoptimerede og portable billeder over høj kvalitetsreproduktion.

Det er blevet argumenteret for, at JPEG, selvom det ikke er den bedste løsning nu, er blevet ‘indskrevet’ som ufjernelig legacy-infrastruktur, der i virkeligheden er sammenflettet med internettets grundlag.

Arven fra legacy

Selvom senere innovationer såsom JPEG 2000, PNG og (mest nyligt).webp-formatet tilbyder bedre kvalitet, ville genskabelse af ældre, højpopulære maskinlærings-datasets sandsynligvis ‘nulstille’ kontinuiteten og historien om år-for-år computer vision-udfordringer i den akademiske fællesskab – en forhindring, der også ville gælde i tilfælde af genskabelse af PNG-dataset-billeder ved højere kvalitetsindstillinger. Dette kunne betragtes som en slags teknisk gæld.

Mens værdsatte server-drevne billedbehandlingsbiblioteker såsom ImageMagick understøtter bedre formater, herunder.webp, opstår billedtransformationskrav ofte i legacy-systemer, der ikke er indstillet til andet end JPG eller PNG (der tilbyder tabsløs kompression, men på bekostning af latency og diskplads). Selv WordPress, det CMS, der driver næsten 40% af alle websteder, tilføjede.webp-understøttelse for tre måneder siden.

PNG var en sen (arguably for sent) indgang i billedformatsektoren, opstået som en åben kilde-løsning i den sidste del af 1990’erne som svar på en 1995-erklæring af Unisys og CompuServe, om at royalties herefter ville være betalingspligtige på LZW-kompressionsformatet, der blev brugt i GIF-filer, som blev almindeligt brugt dengang til logos og fladfarvede elementer, selvom formatets genoplivning i begyndelsen af 2010’erne centered på dets evne til at levere lav-båndbredde, snappy animeret indhold (ironisk nok, animerede PNG’er opnåede aldrig popularitet eller bred understøttelse og blev endda forbudt på Twitter i 2019).

Trods sine mangler er JPEG-kompression hurtig, pladsbesparende og dybt indlejret i systemer af alle typer – og derfor ikke sandsynligvis forsvinder helt fra maskinlærings-scenen i den nærmeste fremtid.

At gøre det bedste af AI/JPEG-våbenstilstanden

I en vis udstrækning har maskinlæringsfællesskabet tilpasset sig JPEG-kompressions svagheder: i 2011 offentliggjorde den europæiske radiologiske selskab (ESR) en studie om ‘brugen af irreversibel billedkompression i radiologisk billedbehandling’, der giver retningslinjer for ‘acceptabel’ tab; når det værdsatte MNIST-tekstgenkendelsesdatasettet (hvis billeddata oprindeligt blev leveret i en ny binær format) blev overført til et ‘normalt’ billedformat, JPEG, ikke PNG, blev valgt; og en tidligere (2020) samarbejde fra den nye rapports forfattere tilbød en ny arkitektur for at kalibrere maskinlærings-systemer til svaghederne ved varierende JPEG-billedkvalitet, uden at modellerne behøver at blive trænet ved hver JPEG-kvalitetsindstilling – en funktion, der blev anvendt i det nye arbejde.

Sandelig er forskning i nyttigheden af kvalitets-variant JPEG-data et relativt blomstrende felt i maskinlæring. Et (uafhængigt) 2016-projekt fra Center for Automation Research ved University of Maryland handler faktisk om DCT-domænet (hvor JPEG-artefakter optræder ved lave kvalitetsindstillinger) som en vej til dyb feature-ekstraktion; et andet projekt fra 2019 koncentrerer sig om byte-niveau-læsning af JPEG-data uden den tidskrævende nødvendighed af at faktisk dekomprimere billederne (dvs. åbne dem på et tidspunkt i en automatiseret arbejdsproces); og en studie fra Frankrig i 2019 udnytter aktivt JPEG-kompression i service af objektgenkendelses-rutiner.

Test og konklusioner

For at vende tilbage til den seneste studie fra UoM og Facebook, søgte forskerne at teste JPEG-forståelighed og nyttighed på billeder komprimeret mellem 10-90 (hvorunder billedet er umuligt forstyrret, og hvorover det er lig med tabsløs kompression). Billederne, der blev brugt i testene, blev før-komprimeret ved hver værdi inden for det målte kvalitetsområde, hvilket medførte mindst otte træningssessioner.

Modellerne blev trænet på stokastisk gradient-decent over fire metoder: baseline, hvor ingen yderligere mildninger blev tilføjet; supervised finjustering, hvor træningssættet har fordelene af forudtrænede vægte og mærkede data (selvom forskerne indrømmer, at dette er svært at reproducere i forbruger-niveau-applikationer); artefakt-korrektion, hvor forbedring/forbedring udføres på de komprimerede billeder før træning; og opgave-målrettet artefakt-korrektion, hvor artefakt-korrektnettet blev finjusteret på returnerede fejl.

Træning fandt sted på en bred vifte af egnede datasets, herunder multiple varianter af ResNet, FastRCNN, MobileNetV2, MaskRCNN og Keras’ InceptionV3.

Eksempel på tab-resultater efter opgave-målrettet artefakt-korrektion vises nedenfor (lavere = bedre).

Det er ikke muligt at dykke dybt ind i detaljerne af resultaterne, der blev opnået i studiet, fordi forskernes fund er fordelt mellem målet om at evaluere JPEG-artefakter og nye metoder til at mildne dette; træningen blev itereret per-kvalitet over så mange datasets; og opgaverne omfattede multiple formål såsom objekt-detektion, segmentering og klassificering. I virkeligheden positionerer den nye rapport sig selv som en omfattende referenceværk, der behandler multiple problemer.

Alligevel konkluderer papiret bredt, at ‘JPEG-kompression har en stejl straf på tværs af brættet for tung til moderat kompression’. Det hævder også, at dets nye umærkede mildningsstrategier opnår bedre resultater end andre tilsvarende tilgange; at for komplekse opgaver, forskernes supervised-metode også overgår dens ligemænd, på trods af at den ikke havde adgang til grund-sandheds-mærker; og at disse nye metoder tillader model-genbrug, da vægtene, der blev opnået, kan overføres mellem opgaver.

I forhold til klassificeringsopgaver, fastslår papiret udtrykkeligt, at ‘JPEG forringrer gradientkvaliteten samt inducerer lokaliseringsfejl’.

Forskerne håber at udvide fremtidige studier for at dække andre kompressionsmetoder såsom den stort set oversete JPEG 2000, samt WebP, HEIF og BPG. De foreslår yderligere, at deres metode kunne anvendes på tilsvarende forskning i video-kompressionsalgoritmer.

Siden opgave-målrettet artefakt-korrektionsmetoden har vist sig så succesfuld i studiet, signalerer forfatterne deres intention om at udgive de vægte, der blev trænet under projektet, og forventer, at ‘[mange] applikationer vil kunne drage fordel af at bruge vores TTAC-vægte uden ændringer.’

n.b. Kildebillede til artiklen kommer fra thispersondoesnotexist.com