De tekortkomingen van de ontwerpwet voor kunstmatige intelligentie van de EU

Een nieuwe juridische kritiek op de ontwerpwet voor kunstmatige intelligentie van de Europese Unie stelt een breed scala aan kritiekpunten vast aan de voorgestelde regelgeving die in april is vrijgegeven, en concludeert dat een groot deel van het document ‘in elkaar gezet’ is uit amper toepasbare consumentenregelgeving uit de jaren tachtig; dat het eigenlijk een gedereguleerde omgeving voor kunstmatige intelligentie in Europa bevordert, in plaats van het onderwerp onder een samenhangende regelgeving te brengen; en – onder een reeks andere kritiekpunten – dat de voorstellen een toekomstig regelgevingskader voor kunstmatige intelligentie in kaart brengen dat ‘weinig zin en impact’ heeft.

De titel van het document is Demystifying the Draft EU Artificial Intelligence Act, en het is een samenwerking tussen onderzoekers van UCL London en Radboud Universiteit in Nijmegen.

Het document voegt zich bij een groeiende hoeveelheid negatieve meningen over de voorgestelde implementatie (in plaats van de zeer gewaardeerde intentie) van een regelgevingskader voor kunstmatige intelligentie, waaronder de bewering in april van een van de bijdragers van de ontwerpwetgeving dat de voorgestelde richtlijnen ‘lauw, kortzichtig en opzettelijk vaag’ zijn, en dat de documenten van de Europese Commissie ‘fake ethics’ bevorderen.

Manipulatieve AI-systemen

Het nieuwe document stelt dat de voorgestelde beperkingen van de AI-wet op ‘manipulatieve systemen’ worden gehinderd door een vage en zelfs tegenstrijdige definitie van ‘schade’, en merkt op dat ‘[e]en cynicus zou kunnen denken dat de Commissie meer geïnteresseerd is in de retorische waarde van verboden dan in de praktische uitwerking’.

De ontwerpwetgeving schetst twee vermeende verboden praktijken:

(a)  het op de markt brengen, in gebruik nemen of gebruiken van een AI-systeem dat subliminale technieken gebruikt die buiten het bewustzijn van een persoon liggen om het gedrag van een persoon materieel te verstoren op een manier die fysieke of psychische schade kan veroorzaken of waarschijnlijk zal veroorzaken voor die persoon of een andere persoon;

(b)  het op de markt brengen, in gebruik nemen of gebruiken van een AI-systeem dat de kwetsbaarheden van een specifieke groep personen uitbuit vanwege hun leeftijd, fysieke of mentale handicap, om het gedrag van een persoon die tot die groep behoort materieel te verstoren op een manier die fysieke of psychische schade kan veroorzaken of waarschijnlijk zal veroorzaken voor die persoon of een andere persoon;

De onderzoekers betogen dat deze beperkingen niet aangeven of de diensten of software van een AI-aanbieder succesvol zijn in het verwezenlijken van hun eigen doelen, maar alleen of de eindgebruiker ‘schade’ lijdt in het proces. Ze voegen eraan toe dat de definitie van schade in de ontwerp wetgeving beperkt is tot individuele gebruikers, en niet tot de soort collectieve of maatschappelijke schade die redelijkerwijs kan worden afgeleid uit een aantal AI-gerelateerde controverses van de afgelopen jaren, zoals het debacle van Cambridge Analytica.

Het document merkt op dat ‘In het echte leven kan schade zich opbouwen zonder dat een enkel evenement een drempel van ernst overschrijdt, waardoor het moeilijk is om te bewijzen’.

Schadelijke AI-systemen toegestaan, maar niet voor EU-consumptie

De AI-wet stelt voor om een verbod in te voeren op ‘real-time’ biometrische systemen in openbare ruimtes door de politie. Hoewel enige openbare scepsis is gericht op de uitzonderingen die de voorstellen maken voor anti-terrorisme, kinderhandel en het opvolgen van een Europees arrestatiebevel, merken de onderzoekers op dat niets zou verhinderen dat leveranciers biometrische systemen die in strijd zijn met de regels verkopen aan onderdrukkende regimes.

Het document merkt op dat dit al historische praktijk is, zoals blijkt uit een rapport van Amnesty International uit 2020.

Het stelt verder dat de specificatie van ‘real-time’ biometrische systemen in de AI-wet willekeurig is en offline analytische systemen uitsluit, zoals de latere verwerking van videobeelden van protestevenementen.

Bovendien wordt opgemerkt dat de voorstellen geen mechanisme bieden om biometrische systemen te beperken die niet verband houden met de politie, die in plaats daarvan lui worden doorgestuurd naar de AVG; en dat de AVG zelf ‘een vereiste stelt van hoge kwaliteit, individuele toestemming voor elke gescande persoon, die effectief onmogelijk is om te vervullen’.

De formulering van dit deel van de AI-wet komt ook onder kritiek te staan van de onderzoekers. De ontwerp wetgeving bepaalt dat voorafgaande goedkeuring vereist is voor de inzet van biometrische systemen voor het ‘individuele gebruik’ van dergelijke systemen door bevoegde autoriteiten – maar verduidelijkt niet wat ‘individueel gebruik’ in deze context betekent. Het document merkt op dat omstreden warrants thematisch kunnen zijn en verband houden met brede organisaties, doelen en plaatsen.

Bovendien stellen de ontwerp wetgevingen geen transparantiemechanisme vast voor het aantal en het type goedgekeurde autorisaties, waardoor openbare controle problematisch wordt.

Regulering uitbesteden aan ‘geharmoniseerde normen’

Het onderzoek stelt dat de belangrijkste entiteiten in de AI-wet eigenlijk niet één keer worden genoemd in de ontwerpwetgeving: CEN (Europees Comité voor Standaardisatie) en CENELEC (Europees Comité voor Elektrotechnische Standaardisatie) – twee van de drie Europese Standaardisatieorganisaties (ESO’s) die de Europese Commissie kunnen gelasten om geharmoniseerde normen op te stellen, die in veel gevallen het regelgevingskader voor bepaalde soorten AI-diensten en -implementaties zullen vormen.

Dit betekent effectief dat AI-producenten kunnen kiezen om de normen van concurrerende in plaats van complementaire regelgevingen te volgen, in plaats van te voldoen aan de essentiële vereisten die in de AI-wet zijn opgenomen. Dit stelt aanbieders in staat om de voorgestelde regelgevingen losser te interpreteren wanneer ze in 2024-5 van kracht worden.

De onderzoekers van het document menen ook dat de tussenliggende jaren van industriële lobby bij standaardisatieorganisaties waarschijnlijk de ‘essentiële normen’ aanzienlijk zullen herdefiniëren, en suggereren dat ‘ideale’ regelgevingen moeten beginnen met een hoger ethisch niveau en wetgevingsduidelijkheid, als dat al niet om rekening te houden met dit onvermijdelijke proces van aantasting.

Legitimeren van de dwaling van emotieherkenningsystemen

De AI-wet bevat een bepaling tegen de inzet van emotieherkennings- en -categorisatiesystemen – kaders die mogelijk geen individu identificeren, maar die beweren te begrijpen wat iemand voelt of die iemand kunnen categoriseren op basis van geslacht, etniciteit en diverse andere economische en sociale kenmerken.

De onderzoekers betogen dat deze clausule zinloos is, omdat de AVG al verplicht dat de aanbieders van dergelijke systemen gebruikers duidelijke informatie verstrekken over het gebruik van dergelijke systemen, zodat gebruikers kunnen afzien (wat kan betekenen dat ze geen online dienst gebruiken of geen gebied betreden waar dergelijke systemen worden aangekondigd).

Belangrijker nog, het document beweert dat deze clausule een ontmaskerde technologie legitimeert en gaat verder met het karakteriseren van FACS-stijl emotieherkenningsystemen in het licht van de schandelijke geschiedenis van frenologie en andere near-sjamanistische benaderingen van sociale categorisatie uit de vroege industriële tijd.

‘Degene die beweren emoties te detecteren, gebruiken vereenvoudigde, twijfelachtige taxonomieën; veronderstellen ten onrechte universaliteit over culturen en contexten heen; en riskeren ‘[terug te gaan naar het frenologische verleden’ van het analyseren van karaktertrekken op basis van gezichtsstructuren. De bepalingen van de Wet inzake emotieherkenning en biometrische categorisatie lijken onvoldoende om de risico’s te mitigeren.’

Een te bescheiden voorstel

Naast deze punten behandelen de onderzoekers andere vermeende tekortkomingen in de AI-wet met betrekking tot de regulering van deepfakes, een gebrek aan toezicht op de koolstofemissies van AI-systemen, duplicatie van regelgevingscontrole met andere kaders en onvoldoende definitie van strafrechtelijk aanspreekbare entiteiten.

Zij dringen er bij wetgevers en burgeractivisten op aan om actie te ondernemen om de geïdentificeerde problemen aan te pakken en merken verder op dat zelfs hun uitgebreide deconstructie van de ontwerpwetgeving veel andere gebieden van zorg heeft moeten weglaten vanwege een gebrek aan ruimte.

Nonetheless, het document prijst de poging van de Wet om een systeem van horizontale regulering van AI-systemen in te voeren, en noemt zijn vele ‘verstandige elementen’, zoals het creëren van een hiërarchie van risicobeoordelingsniveaus, het hebben van een verbintenis om verboden in te voeren, en het voorstellen van een openbare database van systemen waaraan aanbieders moeten bijdragen om Europese legitimiteit te verkrijgen, hoewel het opmerkt dat deze laatste vereiste waarschijnlijk juridische problemen met zich mee zal brengen.