Sviktene i utkastet til EUs kunstig intelligens-akt

En ny juridisk kritikk av Europas unionens utkast til “kunstig intelligens-akt” retter en rekke kritikk mot de foreslåtte reguleringsbestemmelsene publisert i april, og konkluderer med at mye av dokumentet er “sydd sammen” fra knapt anvendelige 1980-tallets forbrukerreguleringer; at det faktisk fremmer en deregulert kunstig intelligens-miljø i Europa, snarere enn å bringe sektoren under sammenhengende regulering; og – blant en rekke andre kritikker – at forslagene tegner opp en fremtidig regulering av kunstig intelligens som har “liten mening og virkning”.

Tittelen på rapporten er Demystifying the Draft EU Artificial Intelligence Act, og er et samarbeid mellom forskere fra UCL London og Radboud University i Nijmegen.

Rapporten legger til en voksende mengde negative meninger om den foreslåtte implementeringen (i stedet for den meget beundrede intensjonen) av en regulering av kunstig intelligens, inkludert påstanden i april fra en av bidragsyterne til utkastet at de foreslåtte retningslinjene er “lunkne, korttenkende og bevisst vagt”, og karakteriserer Europakommisjonens dokument som en forkjemper for “falsk etikk”.

Manipulative kunstig intelligens-systemer

Den nye rapporten hevder at kunstig intelligens-aktens foreslåtte begrensninger på “manipulative systemer” er hemmet av en vag og til og med motsigende definisjon av “skade”, og kommenterer at “[e]n skeptiker kan føle at kommisjonen er mer interessert i forbudets retoriske verdi enn praktisk effekt”.

De foreslåtte reguleringsbestemmelsene omfatter to påståtte forbudte praksiser:

(a)  plassering på markedet, setting i drift eller bruk av et kunstig intelligens-system som benytter underbevisste teknikker utenfor en persons bevissthet for å materielt forvrengle en persons atferd på en måte som kan forårsake eller er sannsynlig å forårsake fysisk eller psykisk skade for den personen eller en annen person;

(b)  plassering på markedet, setting i drift eller bruk av et kunstig intelligens-system som utnytter noen av svakhetene til en bestemt gruppe personer på grunn av deres alder, fysisk eller psykisk funksjonsnedsettelse, for å materielt forvrengle atferden til en person som hører til den gruppen på en måte som kan forårsake eller er sannsynlig å forårsake fysisk eller psykisk skade for den personen eller en annen person;

Forskerne argumenterer for at disse begrensningene ikke tar hensyn til om en kunstig intelligens-leverandørs tjenester eller programvare er vellykket i å fremme sine egne mål, men bare om sluttbrukeren lider “skade” i prosessen. De legger til at utkastets definisjon av skade er dødelig begrenset til enkeltpersoner, snarere enn den type kollektive eller samfunnsmessige skade som kan rimeligvis antas fra en rekke kunstig intelligens-baserte kontroverser i de senere årene, som Cambridge Analytica-skandalen.

Rapporten observerer at “I virkeligheten kan skade akkumuleres uten at en enkelt hendelse utløser en alvorlighetsgrense, og gjør det vanskelig å bevise”.

Skadelige kunstig intelligens-systemer tillatt, men ikke for EU-forbruk

Kunstig intelligens-aktens foreslår å implementere et forbud mot “sanntids” biometriske systemer i offentlige rom av lovens fuldmektige. Selv om noen offentlig skepsis har vært rettet mot unntakene forslaget gjør for anti-terrorisme, barnetransport og etterforskning av en europeisk arrestordre, påpeker forskerne også at ingenting vil hindre leverandører fra å selge biometriske systemer som strider mot dette til undertrykkende regimer.

Rapporten observerer at dette allerede er historisk praksis, som avdekket i en rapport fra Amnesty International i 2020.

Den fastslår videre at kunstig intelligens-aktens spesifikasjon av “sanntids” biometriske systemer er arbitrær, og ekskluderer offline-analytiske systemer, som senere prosessering av videoopptak fra protestarrangementer.

I tillegg påpekes det at forslaget ikke tilbyr noen mekanisme for å begrense biometriske systemer som ikke er relatert til lovens fuldmektige, som i stedet er latently henviser til GDPR; og at GDPR selv “setter et krav om høykvalitets, individuell samtykke for hver scannet person som er effektivt umulig å oppfylle”.

Formuleringen av denne delen av kunstig intelligens-aktens kommer også under kritikk fra forskerne. Utkastet fastslår at forhåndsgodkjenning vil være nødvendig for innføringen av biometriske systemer for kompetente myndigheters “enkelte bruk” av slike systemer – men klargjør ikke hva “enkelte bruk” betyr i denne sammenhengen. Rapporten påpeker at kontroversielle fullmakter kan være tematiske, og relatere til brede organisasjoner, formål og steder.

Videre fastslår utkastet ikke en gjennomsiktighetsmekanisme for antallet og typen godkjennelser utstedt, og gjør det vanskelig å gjennomføre offentlig granskning.

Utlevering av regulering til “harmoniserte standarder”

Forskningen fastslår at de viktigste enhetene i kunstig intelligens-aktens er faktisk ikke nevnt en gang i utkastet: CEN (Den europeiske komité for standardisering) og CENELEC (Den europeiske komité for elektroteknisk standardisering) – to av tre europeiske standardiseringsorganisasjoner (ESO) som Europakommisjonen kan mandatere til å formulere harmoniserte standarder, som i mange tilfeller vil forbli de styrende reguleringer for bestemte typer kunstig intelligens-tjenester og -utviklinger.

Dette betyr effektivt at kunstig intelligens-produsenter kan velge å følge standardene for hva som i virkeligheten er konkurranse- snarere enn komplementær-reguleringer, i stedet for å møte de essensielle kravene som er fastsatt i kunstig intelligens-aktens. Dette tillater leverandører å tolke de foreslåtte reguleringsbestemmelsene mer løst når de kommer i kraft i 2024-5.

Forskernes rapport fastslår også at de innledende årene med industriell lobbyvirksomhet blant standardiseringsorganisasjoner sannsynligvis vil omdefinere disse “essensielle standardene” betraktelig, og foreslår at “ideelle” reguleringer bør starte på et høyere etisk nivå og lovgivningsklarhet, hvis ikke bare for å ta hensyn til denne uunngåelige prosessen med tilbakegang.

Gjennomføring av feilaktigheten i følelsesgjenkjenningssystemer

Kunstig intelligens-aktens inneholder bestemmelser mot innføringen av følelsesgjenkjenning og -kategoriseringssystemer – rammer som ikke nødvendigvis identifiserer en enkelt person, men som enten hevder å forstå hva de føler eller å kunne kategorisere dem i henhold til kjønn, etnisitet og andre økonomiske og sosiale tegn.

Forskerne argumenterer for at denne bestemmelsen er meningsløs, da GDPR allerede pålegger leverandørene av slike systemer å gi brukerne klare opplysninger om bruken av slike systemer, så at brukerne kan velge å ikke bruke dem (hvortil kan høre ikke å bruke en online-tjeneste eller ikke å gå inn i et område hvor slike systemer er kunngjort å eksistere).

Viktigere er at rapporten hevder at denne bestemmelsen legitimerer en avvist teknologi, og karakteriserer FACS-stil følelsesgjenkjenningssystemer i lys av den skamfulle historien om frenologi og andre nær-shamanistiske tilnærminger til sosial kategorisering fra den tidlige industrielle tiden.

‘De som hevder å kunne gjenkjenne følelser, bruker forenklede, tvilsomme taksonomier; antar feilaktig universalitet over kulturer og sammenhenger; og risikerer å “ta oss tilbake til frenologiens fortid” av å analysere karaktertrekk fra ansiktsstrukturer. Aktens bestemmelser om følelsesgjenkjenning og biometrisk kategorisering synes å være utilstrekkelige til å mildne risikoene.’

Et for beskjedent forslag

Foruten disse, behandler forskerne andre påståtte mangler i kunstig intelligens-aktens i forhold til regulering av deepfakes, manglende tilsyn over karbonutslipp fra kunstig intelligens-systemer, duplisering av reguleringstilsyn med andre rammer, og utilstrekkelig definisjon av straffbare juridiske enheter.

De oppfordrer lovgivere og sivile aktivister til å handle for å rette opp feilene som er identifisert, og påpeker at selv deres omfattende dekonstruksjon av utkastet har måttet utelate mange andre områder av bekymring på grunn av manglende plass.

Likevel applauderer rapporten aktens banebrytende forsøk på å innføre et system for horisontal regulering av kunstig intelligens-systemer, og henviser til mange “sensible elementer”, som å skape en hierarki av risikovurderingsnivåer, å ha forpliktelsen til å innføre forbud, og å foreslå en offentlig database over systemer som leverandører må bidra til for å oppnå europeisk legitimitet, selv om det bemerkes at dette sistnevnte kravet sannsynligvis vil våke juridiske tvil.