De tekortkomingen van het ontwerp EU-wetgeving voor kunstmatige intelligentie

Een nieuwe juridische kritiek op het ontwerp ‘AI-wet’ van de Europese Unie richt een breed scala aan kritiek op de voorgestelde regels die in april zijn vrijgegeven, en concludeert dat een groot deel van het document ‘in elkaar gezet’ is uit amper toepasbare consumentenregulering uit de jaren 80; dat het eigenlijk een gedereguleerde AI-omgeving in Europa bevordert, in plaats van het onderbrengen van de sector onder een samenhangende regulering; en – onder een reeks andere kritiek – dat de voorstellen een toekomstig regelgevingskader voor AI in kaart brengen dat ‘weinig zin en impact’ heeft.

Genoemd Demystifying the Draft EU Artificial Intelligence Act, is de pre-print een samenwerking tussen onderzoekers van UCL London en Radboud University in Nijmegen.

Het artikel voegt zich bij een groeiende hoeveelheid negatieve meningen over de voorgestelde implementatie (in plaats van de zeer gewaardeerde intentie) van een regelgevingskader voor AI, waaronder de bewering in april van een van de medewerkers van het ontwerpreglement dat de voorgestelde richtlijnen ‘lauw, kortzichtig en opzettelijk vaag’ zijn, en dat het document van de Europese Commissie een voorstander is van ‘nep-ethiek’.

Manipulatieve AI-systemen

Het nieuwe artikel stelt dat de voorgestelde beperkingen van de AI-wet op ‘manipulatieve systemen’ worden gehinderd door een vage en zelfs tegenstrijdige definitie van ‘schade’, en merkt op dat ‘[e]en cynicus zou kunnen denken dat de Commissie meer geïnteresseerd is in de retorische waarde van verboden dan in de praktische uitwerking’.

De ontwerpregels schetsen twee vermeende verboden praktijken:

(a)  het op de markt brengen, in gebruik nemen of gebruiken van een AI-systeem dat subliminale technieken gebruikt die verder gaan dan het bewustzijn van een persoon om het gedrag van een persoon op een manier te verstoren die fysieke of psychische schade kan veroorzaken of waarschijnlijk zal veroorzaken voor die persoon of een andere persoon;

(b)  het op de markt brengen, in gebruik nemen of gebruiken van een AI-systeem dat de kwetsbaarheden van een specifieke groep personen uitbuit vanwege hun leeftijd, fysieke of geestelijke handicap, om het gedrag van een persoon die tot die groep behoort op een manier te verstoren die fysieke of psychische schade kan veroorzaken of waarschijnlijk zal veroorzaken voor die persoon of een andere persoon;

De onderzoekers betogen dat deze beperkingen niet aangeven of de diensten of software van een AI-aanbieder succesvol zijn in het verwezenlijken van hun doelen, maar alleen of de eindgebruiker ‘schade’ lijdt tijdens het proces. Ze voegen eraan toe dat de definitie van schade in het ontwerp fataliter beperkt is tot individuele gebruikers, in plaats van de soort collectieve of maatschappelijke schade die redelijkerwijs kan worden afgeleid uit een aantal AI-gerelateerde controverses van de afgelopen jaren, zoals het debacle van Cambridge Analytica.

Het artikel merkt op dat ‘In het echte leven kan schade zich ophopen zonder dat een enkel evenement een drempel van ernst overschrijdt, waardoor het moeilijk is om het te bewijzen’.

Schadelijke AI-systemen toegestaan, maar niet voor EU-consumptie

De AI-wet stelt voor om een verbod in te voeren op ‘real-time’ biometrische systemen in openbare ruimtes door de wetshandhaving. Hoewel enige openbare scepsis is gericht op de uitzonderingen die de voorstellen maken voor anti-terrorisme, kinderhandel en het opvolgen van een Europees arrestatiebevel, merken de onderzoekers op dat niets leveranciers zou verhinderen om biometrische systemen die in strijd zijn met de regels te verkopen aan onderdrukkende regimes.

Het artikel merkt op dat dit al historische praktijk is, zoals onthuld in een rapport van Amnesty International uit 2020.

Het stelt verder dat de specificatie van ‘real-time’ biometrische systemen in de AI-wet willekeurig is en offline analytische systemen uitsluit, zoals de latere verwerking van videobeelden van protestevenementen.

Bovendien wordt opgemerkt dat de voorstellen geen mechanisme bieden om biometrische systemen te beperken die niet verband houden met de wetshandhaving, die in plaats daarvan lui worden doorgestuurd naar de AVG; en dat de AVG zelf ‘een vereiste van hoge kwaliteit, individuele toestemming voor elke gescande persoon vereist, wat effectief onmogelijk is om te vervullen’.

De formulering van dit deel van de AI-wet komt ook onder kritiek te staan van de onderzoekers. Het ontwerp stelt dat voorafgaande autorisatie vereist is voor de inzet van biometrische systemen voor het ‘individuele gebruik’ van dergelijke systemen door bevoegde autoriteiten – maar verduidelijkt niet wat ‘individueel gebruik’ in deze context betekent. Het artikel merkt op dat omstreden arrestatiebevelen thematisch kunnen zijn en verband houden met brede organisaties, doelen en plaatsen.

Verder stellen de ontwerpregels geen transparantiemechanisme vast voor het aantal en het type autorisaties dat wordt afgegeven, waardoor openbare controle problematisch wordt.

Regulering uitbesteden aan ‘geharmoniseerde normen’

Het onderzoek stelt dat de belangrijkste entiteiten in de AI-wet eigenlijk niet één keer worden genoemd in het ontwerpreglement: CEN (Europees Comité voor Standaardisatie) en CENELEC (Europees Comité voor Elektrotechnische Standaardisatie) – twee van de drie Europese Standaardisatieorganisaties (ESO’s) die de Europese Commissie kunnen gelasten om geharmoniseerde normen op te stellen, die in veel gevallen de regelgevende kaders voor bepaalde soorten AI-diensten en -implementaties zullen vormen.

Dit betekent effectief dat AI-producers kunnen kiezen voor het volgen van de normen van wat in feite concurrerende in plaats van complementaire regelgeving is, in plaats van het vervullen van de essentiële vereisten die zijn opgenomen in de AI-wet. Dit stelt aanbieders in staat om de voorgestelde regels losser te interpreteren wanneer ze in 2024-5 in werking treden.

De onderzoekers van het artikel zijn ook van mening dat de tussenliggende jaren van industriële lobby bij standaardisatieorganisaties waarschijnlijk de ‘essentiële normen’ aanzienlijk zullen herschrijven, en suggereren dat ‘ideale’ regels moeten beginnen met een hoger ethisch niveau en wetgevingsduidelijkheid, als dat al niet is om rekening te houden met dit onvermijdelijke proces van aftakeling.

Legitimeren van de dwaling van emotieherkenningsystemen

De AI-wet bevat een bepaling tegen de inzet van emotieherkennings- en -categorisatiesystemen – kaders die niet noodzakelijkerwijs een individu identificeren, maar die beweren te begrijpen wat iemand voelt of die kunnen categoriseren op basis van geslacht, etniciteit en diverse andere economische en sociale kenmerken.

De onderzoekers betogen dat deze clausule zinloos is, aangezien de AVG al verplicht dat de aanbieders van dergelijke systemen gebruikers duidelijke informatie verstrekken over het gebruik van dergelijke systemen, zodat gebruikers kunnen afzien (wat kan betekenen dat ze geen online dienst gebruiken, of geen gebied betreden waarin dergelijke systemen worden aangekondigd).

Belangrijker nog, stelt het artikel dat deze clausule een ontmaskerde technologie legitimeert, en karakteriseert FACS-stijl emotieherkenningsystemen in het licht van de schandelijke geschiedenis van frenologie en andere near-sjamanistische benaderingen van sociale categorisatie uit de vroege industriële tijd.

‘Diegenen die beweren emoties te detecteren, gebruiken oversimplificeerde, twijfelachtige taxonomieën; nemen ten onrechte aan dat universeelheid bestaat over culturen en contexten heen; en riskeren ‘[terug te gaan naar het frenologische verleden](https://dl.acm.org/doi/pdf/10.1145/3442188.3445939)’ van het analyseren van karaktertrekken op basis van gezichtsstructuren. De bepalingen van de wet over emotieherkenning en biometrische categorisatie lijken onvoldoende om de risico’s te mitigeren.’

Een te bescheiden voorstel

Naast deze, behandelen de onderzoekers andere vermeende tekortkomingen in de AI-wet met betrekking tot de regulering van deepfakes, een gebrek aan toezicht op de koolstofemissies van AI-systemen, duplicatie van regelgevingscontrole met andere kaders en onvoldoende definitie van strafrechtelijke entiteiten.

Ze dringen er bij wetgevers en burgeractivisten op aan om actie te ondernemen om de geïdentificeerde problemen aan te pakken en merken verder op dat zelfs hun uitgebreide deconstructie van het ontwerpreglement veel andere gebieden van zorg heeft moeten weglaten vanwege een gebrek aan ruimte.

Nonetheless, prijst het artikel de voorhoedepoging van de wet om een systeem van horizontale regulering van AI-systemen in te voeren, en noemt het vele ‘verstandige elementen’, zoals het creëren van een hiërarchie van risicobeoordelingsniveaus, het engagement om verboden in te stellen en het voorstel van een openbare database van systemen waarvoor aanbieders moeten bijdragen om Europese legitimiteit te verwerven, hoewel het opmerkt dat deze laatste vereiste waarschijnlijk juridische dilemma’s met zich meebrengt.