Kina föreslår ökad reglering av deepfakes och andra AI-syntesystem

Kinas cyberspaceadministration (CAC) har föreslagit en ny uppsättning utkast till regler för att styra AI-baserade syntesystem, inklusive deepfakes, virtuella verklighetsscenarier, textgenerering, ljud och andra undersektorer av AI-mediesyntes – ett område där Kina producerar en stor mängd akademiska artiklar och innovativa forskningsprojekt varje månad.

Ett inlägg (Google Översättning, ursprungligen här) på CAC:s officiella webbplats presenterar de föreslagna skyldigheterna och karakteriserar berörda tjänster som “djup syntes-tjänsteleverantörer”, och inbjuder medborgare att delta genom att lämna synpunkter på utkastförslagen, med en deadline den 28 februari.

Inte bara deepfakes

Även om de föreslagna reglerna har rapporterats i termer av deras potentiella inverkan på skapandet och spridningen av deepfakes, försöker dokumentet att ha en allomfattande översikt över algoritmernas förmåga att generera alla typer av innehåll som kan tolkas i den breda meningen av “media”.

Artikel 2 deklarerar den planerade omfattningen av reglerna över sex sektorer*:

(1) Tekniker för att generera eller redigera textinnehåll, såsom kapitelgenerering, textstilsomvandling och fråga-och-svar-dialog;

(2) Teknologier för att generera eller redigera röst-innehåll, såsom text-till-tal, röstomvandling och röstattributeditor;

(3) Teknologier för att generera eller redigera icke-röst-innehåll, såsom musikgenerering och scenljudredigering;

(4) Ansiktsgenerering, ansiktsersättning, karaktärsattributeditor, ansiktsmanipulation, gester-manipulation och andra tekniker för att generera eller redigera biometriska egenskaper såsom ansikten i bilder och videoinnehåll;

(5) Tekniker för att redigera icke-biologiska egenskaper i bilder och videoinnehåll, såsom bildförbättring och bildåterställning;

(6) Teknologier för att generera eller redigera virtuella scener, såsom 3D-rekonstruktion.

Deepfake-reglering

Kina kriminaliserade användningen av AI för spridning av falska nyheter i slutet av 2019, vid vilken tidpunkt CAC uttryckte oro över de potentiella implikationerna av deepfake-teknik, vilket fick många att tro att den kinesiska regeringen skulle förbjuda deepfake-teknik helt och hållet.

Men detta skulle innebära att Kina officiellt överger en av de mest politiskt och kulturellt betydelsefulla utvecklingarna i mediegenereringens historia, AI och till och med politik, och skär av sig från fördelarna med global och öppen vetenskaplig samverkan.

Därför verkar det som om Kina nu är fast beslutet att experimentera med att kontrollera snarare än att förbjuda den potentiellt oaktsamma tekniken, som många tror kommer att migrera ut från sin pornografiska acceleratorfas och in i en legitim och exploaterbar uppsättning användningsfall, främst inom underhållning.

NeRF ingår

Artikel 2.6 behandlar generering eller redigering av virtuella scener, såsom 3D-rekonstruktion, en mer outvecklad teknik än deepfake-impersonation, och en som har uppnått mest framträdande under de senaste två åren genom införandet av Neural Radiance Fields (NeRF), där fotogrammetri används för att syntetisera hela scener i den utforskbara latenta utrymmet för maskinlärningsmodeller.

Men NeRF utvidgar snabbt sitt område utanför modellscener och miljögenomgångar till generering av fullständiga videor, med kinesiska forskare som har gjort viktiga innovationer i detta avseende.

Kinas ST-NeRF i aktion.

Även om NeRF har producerat en blizzard av ny forskning sedan dess tillkännagivande 2020, har dess implementering i VR- eller AR-system, eller dess lämplighet i visuella effektpipelines, fortfarande många betydande utmaningar och tekniska flaskhalsar att övervinna. NeRF:s växande förmåga att rekonstruera och redigera fullständiga mänskliga fysionomier har ännu inte inkorporerat någon av de standardidentitetsomvandlande deepfake-funktionerna som har karakteriserat nyhetsrubriker under de senaste två åren.

Ljud-deepfakes en prioritet?

Om man ska ta Artikel 2:s listordning som en indikation på de djup syntes-tekniker som Kina är mest angeläget att kontrollera och reglera, skulle detta antyda att textbaserad AI-genererad falsk nyhet är av primär betydelse, med röstsyntes före video-deepfakes i termer av dess potentiella inverkan.

Om så är fallet, överensstämmer detta med faktum att deepfake-video ännu inte har använts i något brott som inte är relaterat till pornografi (Asien har inte tvekat att kriminalisera deepfake-porn), medan ljud-deepfakes har föreslagits som en aktiv teknologi i minst två stora finansiella brott, i Storbritannien 2019, och i Förenade Arabemiraten 2021.

De nya utkastförslagen ålägger användare som vill utnyttja en persons identitet via användning av maskinlärningssystem att söka skriftligt tillstånd från personen. Dessutom måste syntetiserat media visa någon form av “framträdande” logotyp eller vattenstämpel, eller andra medel genom vilka personen som konsumerar materialet kan göras att förstå att innehållet är ändrat eller helt fabricerat. Det är inte helt klart hur detta kan åstadkommas i fallet med ljud-deepfakes.

Registrering

Om utkastförslagen antas, skulle de föreslagna förslagen ålägga djup syntes-tjänsteleverantörer att registrera sina relevanta applikationer hos staten, i enlighet med befintliga bestämmelser om administration av algoritmbaserade rekommendationer för internetinformationstjänster, och att följa alla nödvändiga registreringsförfaranden. Djup syntes-leverantörer kommer också att krävas att samarbeta fritt i termer av tillsyn och inspektion, och att producera “nödvändigt tekniskt och datormässigt stöd och assistans” på begäran.

Utöver detta kommer sådana leverantörer att behöva etablera användarvänliga portaler för klagomål, och att publicera förväntade tidsgränser för bearbetning av sådana klagomål, samt att erbjuda “ryktedödande mekanismer” – även om förslagen inte tillhandahåller detaljer i fråga om genomförandet av detta.

Överträdelser kunde medföra böter på mellan 10 000 och 100 000 yuan (1 600 och 16 000 dollar), samt utsätta brottsliga företag för civila och brottsliga rättegångar.

* Översättning av Google Översättning, se länk tidigt i artikeln.

Publicerad första gången den 28 januari 2022.