Andersons vinkel

Kina föreslår ökad reglering av deepfakes och andra AI-syntesystem

Martin Anderson
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterKinas utkast till regleringar riktar sig mot sex AI-syntesområden, inklusive text, röst…
Visa mer
  • Kinas utkast till regleringar riktar sig mot sex AI-syntesområden, inklusive text, röst och 3D-rekonstruktion.
  • Leverantörer måste vattenmärka all syntetiserad media och erhålla skriftligt tillstånd för användning av identitet.
  • Böter på upp till 100 000 yuan väntar överträdare som inte registrerar djup syntestjänster.

Kinas cyberspaceadministration (CAC) har föreslagit en ny uppsättning utkast till regler för att styra AI-baserade syntesystem, inklusive deepfakes, virtuella verklighetsscenarier, textgenerering, ljud och andra undersektorer av AI-mediesyntes – ett område där Kina producerar en stor mängd akademiska artiklar och innovativa forskningsprojekt varje månad.

Ett inlägg (Google Översättning, ursprungligen här) på CAC:s officiella webbplats presenterar de föreslagna skyldigheterna och karakteriserar berörda tjänster som “djup syntes-tjänsteleverantörer”, och inbjuder medborgare att delta genom att lämna synpunkter på utkastförslagen, med en deadline den 28 februari.

Inte bara deepfakes

Även om de föreslagna reglerna har rapporterats i termer av deras potentiella inverkan på skapandet och spridningen av deepfakes, försöker dokumentet att ha en allomfattande översikt över algoritmernas förmåga att generera alla typer av innehåll som kan tolkas i den breda meningen av “media”.

Artikel 2 deklarerar den planerade omfattningen av reglerna över sex sektorer*:

(1) Tekniker för att generera eller redigera textinnehåll, såsom kapitelgenerering, textstilsomvandling och fråga-och-svar-dialog;

(2) Teknologier för att generera eller redigera röst-innehåll, såsom text-till-tal, röstomvandling och redigering av röstegenskaper;

(3) Teknologier för att generera eller redigera icke-röst-innehåll, såsom musikgenerering och scenljudredigering;

(4) Ansiktsgenerering, ansiktsersättning, redigering av karaktärsegenskaper, ansiktsmanipulation, gestmanipulation och andra tekniker för att generera eller redigera biometriska egenskaper såsom ansikten i bilder och videoinnehåll;

(5) Tekniker för att redigera icke-biologiska egenskaper i bilder och videoinnehåll, såsom bildförbättring och bildåterställning;

(6) Teknologier för att generera eller redigera virtuella scener, såsom 3D-rekonstruktion.

Deepfake-reglering

Kina kriminaliserade användningen av AI för spridning av falska nyheter i slutet av 2019, vid vilken tidpunkt CAC uttryckte oro över de potentiella implikationerna av deepfake-teknik, vilket fick många att tro att den kinesiska regeringen skulle förbjuda deepfake-teknik helt och hållet.

Men detta skulle innebära att Kina officiellt överger en av de mest politiskt och kulturellt betydelsefulla utvecklingarna i mediegenereringens historia, AI och till och med politik, och skär av sig från fördelarna med global och öppen vetenskaplig samverkan.

Därför verkar det som om Kina nu är fast beslutet att experimentera med att kontrollera snarare än att förbjuda den potentiellt okontrollerbara tekniken, som många tror kommer att migrera ut från sin utvecklingsfas pådriven av pornografi och in i en legitim och exploaterbar uppsättning användningsfall, främst inom underhållning.

NeRF ingår

Artikel 2.6 behandlar generering eller redigering av virtuella scener, såsom 3D-rekonstruktion, en yngre teknik än identitetsimitation med deepfakes, och en som har uppnått mest framträdande under de senaste två åren genom införandet av Neural Radiance Fields (NeRF), där fotogrammetri används för att syntetisera hela scener i det utforskbara latenta rummet i maskininlärningsmodeller.

Men NeRF utvidgar snabbt sitt område från statiska framställningar av modeller och virtuella rundturer i miljöer till generering av helkroppsvideor, med kinesiska forskare som har gjort viktiga innovationer i detta avseende.

ST-NeRF

Kinas ST-NeRF i aktion.

Även om NeRF har producerat en strid ström av ny forskning sedan dess tillkännagivande 2020, har dess implementering i VR- eller AR-system, eller dess lämplighet i visuella effektpipelines, fortfarande många betydande utmaningar och tekniska flaskhalsar att övervinna. NeRF:s växande förmåga att rekonstruera och redigera fullständiga mänskliga fysionomier har ännu inte inkorporerat någon av de standardidentitetsomvandlande deepfake-funktionerna som har karakteriserat nyhetsrubriker under de senaste två åren.

Ljud-deepfakes en prioritet?

Om man ska ta Artikel 2:s listordning som en indikation på de djup syntes-tekniker som Kina är mest angeläget att kontrollera och reglera, skulle detta antyda att textbaserad AI-genererad falsk nyhet är av primär betydelse, med röstsyntes före video-deepfakes i termer av dess potentiella inverkan.

Om så är fallet, överensstämmer detta med faktum att deepfake-video ännu inte har använts i något brott som inte är relaterat till pornografi (Asien har inte tvekat att kriminalisera deepfake-porn), medan ljud-deepfakes har antagits vara en teknik som använts i minst två stora ekonomiska brott, i Storbritannien 2019, och i Förenade Arabemiraten 2021.

De nya utkastförslagen ålägger användare som vill utnyttja en persons identitet via användning av maskinlärningssystem att söka skriftligt tillstånd från personen. Dessutom måste syntetiserat media visa någon form av “framträdande” logotyp eller vattenstämpel, eller andra medel genom vilka personen som konsumerar materialet kan göras att förstå att innehållet är ändrat eller helt fabricerat. Det är inte helt klart hur detta kan åstadkommas i fallet med ljud-deepfakes.

Registrering

Om utkastförslagen antas, skulle förslagen ålägga djup syntes-tjänsteleverantörer att registrera sina relevanta applikationer hos staten, i enlighet med befintliga bestämmelser om administration av algoritmbaserade rekommendationer för internetinformationstjänster, och att följa alla nödvändiga registreringsförfaranden. Djup syntes-leverantörer kommer också att krävas att samarbeta fritt i termer av tillsyn och inspektion, och att producera “nödvändigt tekniskt stöd och datastöd samt assistans” på begäran.

Utöver detta kommer sådana leverantörer att behöva etablera användarvänliga portaler för klagomål, och att publicera förväntade tidsgränser för bearbetning av sådana klagomål, samt att erbjuda “ryktedödande mekanismer” – även om förslagen inte tillhandahåller detaljer i fråga om genomförandet av detta.

Överträdelser kunde medföra böter på mellan 10 000 och 100 000 yuan (1 600 och 16 000 dollar), samt utsätta brottsliga företag för civilrättsliga och straffrättsliga processer.

 

* Översättning av Google Översättning, se länk tidigt i artikeln.

Publicerad första gången den 28 januari 2022.

Skribent inom maskininlärning, domänspecialist på mänsklig bildsyntes. Tidigare chef för forskningsinnehåll på Metaphysic.ai, fram till dess upplösning i DNEG:s Brahma.ai.
Webbplats: martinanderson.ai
Kontakt: martin@martinanderson.ai