Att lösa JPEG-artefaktproblemet i datorseende-datasets

En ny studie från University of Maryland och Facebook AI har funnit en “betydande prestandapenalti” för djupinlärningssystem som använder högt komprimerade JPEG-bilder i sina dataset, och erbjuder några nya metoder för att mildra effekterna av detta.

Rapporten, med titeln Analys och mildring av JPEG-kompressionsdefekter i djupinlärning, hävdar att den är “väsentligt mer omfattande” än tidigare studier om effekterna av artefakter i träningsdataset för datorseende. Rapporten finner att “[tung] till måttlig JPEG-kompression medför en betydande prestandapenalti på standardmått”, och att neurala nätverk kanske inte är så resistenta mot sådana störningar som tidigare arbete föreslår.

En bild av en hund från 2018 års MobileNetV2-dataset. Vid kvalitet 10 (vänster), misslyckas ett klassificeringssystem med att identifiera den korrekta rasen ‘Pembroke Welsh Corgi’, och gissar istället ‘Norwich terrier’ (systemet vet redan att det är en bild av en hund, men inte rasen); andra från vänster, en färdig JPEG-artefakt-korrigerad version av bilden misslyckas också med att identifiera den korrekta rasen; andra från höger, riktad artefaktkorrektion återställer den korrekta klassificeringen; och höger, den ursprungliga bilden, korrekt klassificerad. Källa: https://arxiv.org/pdf/2011.08932.pdf

Kompressionsartefakter som ‘data’

Extrem JPEG-kompression är sannolikt att skapa synliga eller semi-synliga gränser runt 8×8-block som en JPEG är sammansatt av i en pixellista. När dessa block- eller ‘ringing’-artefakter uppträder, är de sannolikt att misstolkas av maskinlärningssystem som verkliga världselement i bilden, såvida inte någon kompensation görs för detta.

Ovan, extraherar ett datorseende-maskinlärningssystem en ‘ren’ gradientbild från en bild av god kvalitet. Under, ‘block’-artefakter i en lägre kvalitetsversion av bilden döljer subjektets funktioner och kan slutligen ‘infektera’ funktionerna som hämtas från en bilduppsättning, särskilt i fall där hög- och lågkvalitetsbilder förekommer i dataset, såsom i webbskrapade samlingar till vilka endast generisk datarengöring har tillämpats. Källa: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Som syns i den första bilden ovan, kan sådana artefakter påverka bildklassificeringsuppgifter, med implikationer också för textigenkänningsalgoritmer, som kan misslyckas med att korrekt identifiera artefakt-påverkade tecken.

I fallet med bildsyntesträningsystem (såsom deepfake-mjukvara eller GAN-baserade bildgenereringsystem), kan en ‘rogue’-block av lågkvalitetsbilder i en dataset antingen dra mediankvaliteten på reproduktionen ned, eller också absorberas och i princip åsidosättas av ett större antal högkvalitetsfunktioner som extraheras från bättre bilder i uppsättningen. I båda fallen är bättre data önskvärt – eller, åtminstone, konsekventa data.

JPEG – Vanligtvis ’tillräckligt bra’

JPEG-kompression är en oåterkallelig förlust codec som kan tillämpas på olika bildformat, även om den främst tillämpas på JFIF-bildfil wrapper. Trots detta, namngavs JPEG (.jpg)-formatet efter dess associerade kompressionsmetod, och inte JFIF-wrappern för bilddata.

Helmaskinlärningsarkitekturer har uppstått under de senaste åren som inkluderar JPEG-stil artefaktmildring som en del av AI-drivna uppskalnings-/återställningsrutiner, och AI-baserad kompressionsartefaktborttagning är nu inkorporerad i ett antal kommersiella produkter, såsom Topaz bild/video svit, och neuralfunktioner i senaste versioner av Adobe Photoshop.

Sedan 1986 JPEG-schemat som för närvarande används i allmänhet låstes fast i början av 1990-talet, är det inte möjligt att lägga till metadata till en bild som skulle ange vilken kvalitetsnivå (1-100) en JPEG-bild sparades vid – åtminstone, inte utan att modifiera över trettio års legacykonsument-, professionell- och akademisk programvara som inte förväntade sig sådan metadata att vara tillgänglig.

Följaktligen är det inte ovanligt att anpassa maskinlärningsträningsrutiner till den utvärderade eller kända kvaliteten på JPEG-bilddata, som forskarna har gjort för den nya rapporten (se nedan). I avsaknad av en ‘kvalitets’-metadata-post, är det för närvarande nödvändigt att antingen veta detaljerna om hur bilden komprimerades (dvs. komprimerad från en förlustfri källa), eller uppskatta kvaliteten genom perceptuella algoritmer eller manuell klassificering.

En ekonomisk kompromiss

JPEG är inte den enda förlustrika kompressionsmetoden som kan påverka kvaliteten på maskinlärningsdataset; kompressionsinställningar i PDF-filer kan också kasta bort information på detta sätt och ställas in på mycket låga kvalitetsnivåer för att spara diskutrymme för lokal eller nätverksarkivering.

Detta kan ses genom att samppla olika PDF-filer över archive.org, vissa av vilka har komprimerats så kraftigt att de utgör en betydande utmaning för bild- eller textigenkänningsystem. I många fall, såsom upphovsrättsskyddade böcker, verkar denna intensiva kompression ha tillämpats som en form av billig DRM, på samma sätt som upphovsrättsinnehavare kan välja att sänka upplösningen på användaruppladdade YouTube-videor på vilka de har IP, och lämna ‘blockiga’ videor som promotions-token för att inspirera ‘full upplösning’-köp, snarare än att ta bort dem.

I många andra fall är upplösningen eller bildkvaliteten låg enbart för att data är mycket gammal och kommer från en tid då lokal och nätverkslagring var dyrare, och när begränsade nätverkshastigheter gynnade högt optimerade och portabla bilder över högkvalitativ reproduktion.

Det har hävdats att JPEG, medan det inte är den bästa lösningen nu, har blivit ‘inristat’ som icke-raderbar legacy-infrastruktur som är väsentligen sammanflätad med internetets grundvalar.

Legacy-bördan

Även om senare innovationer som JPEG 2000, PNG och (senast).webp-formatet erbjuder överlägsen kvalitet, skulle om-sparandet av äldre, högt populära maskinlärningsdataset arguable ‘återställa’ kontinuiteten och historien av år-för-år datorseendeutmaningar i den akademiska gemenskapen – ett hinder som också skulle gälla i fallet med om-sparande av PNG-datasetbilder i högre kvalitetsinställningar. Detta kunde betraktas som en form av teknisk skuld.

Medan ärevördiga serverdrivna bildbehandlingsbibliotek som ImageMagick stöder bättre format, inklusive.webp, förekommer bildomvandlingskrav ofta i legacy-system som inte är inställda för något annat än JPG eller PNG (vilket erbjuder förlustfri kompression, men på bekostnad av latency och diskutrymme). Även WordPress, det CMS som driver nästan 40% av alla webbplatser, lade bara till.webp-stöd för tre månader sedan.

PNG var en sen (arguable för sent) entré i bildformatsektorn, uppkommen som en öppen källkods-lösning i slutet av 1990-talet som svar på en 1995-deklaration av Unisys och CompuServe att royalties skulle betalas på LZW-kompressionsformatet som användes i GIF-filer, som ofta användes för logotyper och platta färgelement, även om formatets återfödelse i början av 2010-talet kretsade kring dess förmåga att tillhandahålla lågbandbredd, snabbt animerat innehåll (ironiskt nog, animerade PNG-filer fick aldrig popularitet eller brett stöd och var till och med förbjudna från Twitter 2019).

Trots sina brister är JPEG-kompression snabb, utrymmeseffektiv och djupt inbäddad i system av alla slag – och därför inte sannolikt att försvinna helt från maskinlärningsscenen inom den närmaste framtiden.

Att göra det bästa av AI/JPEG-vapenstilleståndet

Till viss del har maskinlärningsgemenskapen anpassat sig till JPEG-kompressionens egenheter: 2011 publicerade den europeiska radiologisällskapet (ESR) en studie om ‘användbarheten av irreversibel bildkompression i radiologisk avbildning’, som tillhandahöll riktlinjer för ‘acceptabel’ förlust; när det väletablerade MNIST-textigenkänningsdatasetet (vars bilddata ursprungligen tillhandahölls i ett nytt binärt format) portades till ett ‘vanligt’ bildformat, JPEG, inte PNG, valdes; och en tidigare (2020) samarbete från den nya rapportens författare erbjöd ‘en ny arkitektur’ för att kalibrera maskinlärningssystem till bristerna i varierande JPEG-bildkvalitet, utan att modellerna behövde tränas vid varje JPEG-kvalitetsinställning – en funktion som används i det nya arbetet.

Verkligen, forskning om nyttan av kvalitetsvarierad JPEG-data är ett relativt blomstrande fält inom maskinlärning. Ett (orelaterat) 2016-projekt från Center for Automation Research vid University of Maryland fokuserar faktiskt på DCT-domänen (där JPEG-artefakter förekommer vid låga kvalitetsinställningar) som en väg till djupfunktionsextrahering; ett annat projekt från 2019 koncentrerar sig på byte-nivå-läsning av JPEG-data utan den tidskrävande nödvändigheten att faktiskt dekomprimera bilderna (dvs. öppna dem vid någon punkt i en automatiserad arbetsflöde); och en studie från Frankrike 2019 använder aktivt JPEG-kompression i tjänst för objektigenkänningsrutiner.

Testning och slutsatser

För att återvända till den senaste studien från UoM och Facebook, sökte forskarna att testa JPEG-förståelse och användbarhet på bilder komprimerade mellan 10-90 (under vilken, bilden är omöjligt störd, och ovan vilken det är lika med förlustfri kompression). Bilderna som användes i testerna förkompilerades vid varje värde inom målkvalitetsområdet, vilket innebar minst åtta träningspass.

Modeller tränades på stokastisk gradientnedgång över fyra metoder: baslinje, där inga ytterligare mildringar lades till; övervakad finjustering, där träningsuppsättningen har fördelen av förtränade vikter och märkta data (även om forskarna medger att detta är svårt att replikera i konsumentnivåapplikationer); artefaktkorrektion, där augmentering/förbättring utförs på de komprimerade bilderna före träningspasset; och uppgiftsriktad artefaktkorrektion, där artefaktkorrektionsnätverket finjusteras på återförda fel.

Träningspasset skedde på en mängd olika lämpliga dataset, inklusive flera varianter av ResNet, FastRCNN, MobileNetV2, MaskRCNN och Keras’ InceptionV3.

Exempel på förlustresultat efter uppgiftsriktad artefaktkorrektion visualiseras nedan (lägre = bättre).

Det är inte möjligt att dyka djupt in i detaljerna i resultaten som erhållits i studien, eftersom forskarnas fynd är splittrade mellan målet att utvärdera JPEG-artefakter och nya metoder för att lindra detta; träningspasset itererades per-kvalitet över så många dataset; och uppgifterna inkluderade flera mål, såsom objektigenkänning, segmentering och klassificering. I princip positionerar sig den nya rapporten som en omfattande referensarbete som behandlar flera frågor.

Ändå drar rapporten breda slutsatser att ‘JPEG-kompression har en brant straff över hela linjen för tung till måttlig kompression’. Den hävdar också att dess nya omarkerade mildringsstrategier uppnår överlägsna resultat bland andra liknande tillvägagångssätt; att, för komplexa uppgifter, forskarnas övervakade metod också överträffar sina likar, trots att den inte har tillgång till grundtruth-märkta data; och att dessa nya metoder möjliggör modellåteranvändning, eftersom de vikter som erhålls är överförbara mellan uppgifter.

Vid klassificeringsuppgifter anger rapporten uttryckligen att ‘JPEG försämrar gradientkvaliteten och inducerar lokaliseringsfel’.

Författarna hoppas att utöka framtida studier för att täcka andra kompressionsmetoder, såsom den i stort sett försummade JPEG 2000, samt WebP, HEIF och BPG. De föreslår också att deras metodik kunde tillämpas på analog forskning om videokompressionsalgoritmer.

Eftersom den uppgiftsriktade artefaktkorrektionsmetoden har visat sig vara så framgångsrik i studien, signalerar författarna också sin avsikt att släppa de vikter som tränades under projektet, i förväntan att ‘[många] applikationer kommer att dra nytta av att använda våra TTAC-vikter utan modifiering.’

n.b. Källbilden för artikeln kommer från thispersondoesnotexist.com