DRM för datorseende-datasets

Historien visar att den “öppna” eran av datorseende-forskning, där reproducerbarhet och gynnsam peer review är centrala för utvecklingen av en ny initiativ, så småningom måste ge vika för en ny era av immateriell rättighetsskydd – där stängda mekanismer och murade plattformar förhindrar konkurrenter från att undergräva höga dataset-utvecklingskostnader, eller från att använda en kostsam projekt som en enkel stegsten för att utveckla sin egen (kanske bättre) version.

För närvarande är den växande trenden mot protectionism främst stödd av att stänga av proprietära centrala ramverk bakom API-åtkomst, där användare skickar sparsamma token eller förfrågningar, och där transformationsprocesserna som gör ramverkets svar värdefulla är helt dolda.

I andra fall kan den slutliga modellen själv släppas, men utan den centrala informationen som gör den värdefull, såsom de förtränade vikterna som kan ha kostat flera miljoner att generera; eller saknar en proprietär dataset, eller exakta detaljer om hur en undermängd producerades från en rad öppna dataset. I fallet med OpenAI:s transformerande naturliga språkmodell GPT-3, används båda skyddsåtgärderna för närvarande, vilket lämnar modellens imitatorer, såsom GPT Neo, att sammanfoga en approximation av produkten så gott de kan.

Kopieringsskydd av bild-datasets

Men intresset växer för metoder med vilka ett “skyddat” maskinlärningsramverk kunde återfå en viss nivå av portabilitet, genom att säkerställa att endast auktoriserade användare (t.ex. betalade användare) kunde använda systemet i fråga på ett vinstgivande sätt. Detta innebär vanligtvis att dataset krypteras på något programmatiskt sätt, så att det läses “rent” av AI-ramverket vid tränningstiden, men är komprometterat eller på något sätt oanvändbart i någon annan kontext.

Sådant system har just föreslagits av forskare vid University of Science and Technology of China i Anhui och Fudan University i Shanghai. Med titeln Invertible Image Dataset Protection, erbjuder artikeln en pipeline som automatiskt lägger till adversarial exempel-perturbation till en bild-dataset, så att den inte kan användas på ett meningsfullt sätt för träningsändamål i händelse av piratkopiering, men där skyddet är helt filterat av ett auktoriserat system som innehåller en hemlig token.

Från artikeln: en ‘värdefull’ källbild återges effektivt oanvändbar med adversarial exempel-tekniker, med perturbationerna borttagna systematiskt och helt automatiskt för en ‘auktoriserad’ användare. Källa: https://arxiv.org/pdf/2112.14420.pdf

Mekanismen som möjliggör skyddet kallas reversibel adversarial exempel-generator (RAEG), och motsvarar i princip kryptering av den faktiska användbarheten av bilderna för klassificeringsändamål, med hjälp av reversible data hiding (RDH). Författarna påstår:

‘Metoden genererar först den adversariala bilden med hjälp av befintliga AE-metoder, sedan infogar den adversariala perturbationen i den adversariala bilden, och genererar stego-bilden med hjälp av RDH. På grund av den reversibla egenskapen kan den adversariala perturbationen och den ursprungliga bilden återställas.’

De ursprungliga bilderna från datasetet matas in i ett U-formigt invertibelt neuronnätverk (INN) för att producera adversarialt påverkade bilder som är utformade för att lura klassificeringssystem. Detta innebär att typisk funktionsextrahering kommer att undergrävas, vilket gör det svårt att klassificera drag som kön, och andra ansiktsbaserade funktioner (även om arkitekturen stöder en rad domäner, snarare än bara ansiktsbaserat material).

En inversionstest av RAEG, där olika typer av attacker utförs på bilderna före rekonstruktion.

Således, om man försöker använda den “skadade” eller “krypterade” dataseten i ett ramverk utformat för GAN-baserad ansiktsgenerering, eller för ansiktsigenkänning, kommer den resulterande modellen att vara mindre effektiv än den skulle ha varit om den hade tränats på opåverkade bilder.

Låsning av bilderna

Men det är bara en bieffekt av den allmänna tillämpbarheten av populära perturbationsmetoder. I själva verket, i den användningsfall som är tänkt, kommer data att vara funktionshindrad utom i fallet med auktoriserad åtkomst till målramverket, eftersom den centrala “nyckeln” till den rena data är en hemlig token inom målarkitekturen.

Denna kryptering kommer med en pris; forskarna karakteriserar förlusten av ursprunglig bildkvalitet som ‘liten distorsion’, och påstår ‘[Den] föreslagna metoden kan nästan perfekt återställa den ursprungliga bilden, medan tidigare metoder endast kan återställa en suddig version.’

De tidigare metoderna i fråga är från november 2018 artikeln Unauthorized AI cannot Recognize Me: Reversible Adversarial Example, ett samarbete mellan två kinesiska universitet och RIKEN Center for Advanced Intelligence Project (AIP); och Reversible Adversarial Attack based on Reversible Image Transformation, en 2019-artikel också från den kinesiska akademiska forskningssektorn.

Forskarna bakom den nya artikeln påstår att de har gjort betydande förbättringar i användbarheten av återställda bilder, i jämförelse med dessa tidigare tillvägagångssätt, och observerar att den första metoden är för känslig för mellanliggande störningar, och för lätt att kringgå, medan den andra orsakar överdriven försämring av de ursprungliga bilderna vid (auktoriserad) tränings tid, vilket undergräver systemets användbarhet.

Arkitektur, data och tester

Det nya systemet består av en generator, en attacklager som tillämpar perturbation, förtränade målklassificerare och en diskriminerande element.

Arkitekturen för RAEG. Längst till vänster, ser vi den hemliga token ‘I_prt‘, som kommer att tillåta av-perturbation av bilden vid tränings tid, genom att identifiera de perturberade funktionerna som är inbäddade i källbilderna och diskontera dem.

Nedan följer resultaten av en testjämförelse med de två tidigare tillvägagångssätten, med hjälp av tre dataset: CelebA-100; Caltech-101; och Mini-ImageNet.

De tre dataseten tränades som målklassificeringsnätverk, med en batchstorlek på 32, under en veckas tid, för 50 epoker.

Författarna påstår att RAEG är det första arbetet som erbjuder ett invertibelt neuronnätverk som kan aktivt generera adversariala exempel.

Publicerad första gången den 4 januari 2022.