AI Now Institute waarschuwt voor misbruik van emotie-detectie software en andere ethische kwesties

Het AI Now Institute heeft een rapport uitgebracht waarin wordt opgeroepen om harde limieten te stellen aan het gebruik van emotie-detectie technologie, en deze te verbieden in gevallen waarin deze kan worden gebruikt om belangrijke beslissingen te nemen, zoals het aannemen van werknemers of het toelaten van studenten. Bovendien bevat het rapport een aantal andere aanbevelingen over een breed scala aan onderwerpen op het gebied van AI.

Het AI Now Institute is een onderzoeksinstelling gevestigd bij NYU, met als missie het bestuderen van de impact van AI op de samenleving. AI Now brengt jaarlijks een rapport uit waarin de resultaten van hun onderzoek naar de staat van AI-onderzoek en de ethische implicaties van de huidige toepassing van AI worden gepresenteerd. Volgens de BBC richtte dit jaarlijkse rapport zich op onderwerpen als algoritme-discriminatie, het gebrek aan diversiteit in AI-onderzoek en arbeidskwesties.

Affect-herkenning, de technische term voor emotie-detectie algoritmes, is een snel groeiend gebied van AI-onderzoek. Degene die deze technologie gebruiken om beslissingen te nemen, beweren vaak dat de systemen betrouwbare informatie over de emotionele toestand van mensen kunnen verzamelen door micro-uitdrukkingen te analyseren, evenals andere signalen zoals toonhoogte en lichaamstaal. Het AI Now-instituut merkt op dat de technologie op een breed scala aan toepassingen wordt gebruikt, zoals het bepalen van wie wordt aangenomen, het vaststellen van verzekeringsprijzen en het controleren of studenten in de klas opletten.

Prof. Kate Crawford, mede-oprichter van AI Now, legde uit dat het vaak wordt aangenomen dat menselijke emoties met relatief eenvoudige modellen nauwkeurig kunnen worden voorspeld. Crawford zei dat sommige bedrijven de ontwikkeling van hun software baseren op het werk van Paul Ekman, een psycholoog die heeft gesteld dat er slechts zes basisemoties zijn die op het gezicht worden geregistreerd. Crawford merkt echter op dat sinds Ekman’s theorie werd geïntroduceerd, studies hebben aangetoond dat er een veel grotere variatie in gezichtsuitdrukkingen is en dat uitdrukkingen gemakkelijk kunnen veranderen in verschillende situaties en culturen.

“Tegelijkertijd met de uitrol van deze technologieën, laten grote aantallen studies zien dat er… geen substantieel bewijs is dat mensen een consistente relatie hebben tussen de emotie die je voelt en de manier waarop je gezicht eruitziet,” zei Crawford tegen de BBC.

Om deze reden stelt het AI Now-instituut dat een groot deel van de affect-herkenning is gebaseerd op onbetrouwbare theorieën en twijfelachtige wetenschap. Daarom zouden emotie-detectie systemen niet moeten worden ingezet totdat meer onderzoek is gedaan en dat “overheden specifiek het gebruik van affect-herkenning in beslissingsprocessen met hoge inzet moeten verbieden”. AI Now stelt dat we vooral moeten stoppen met het gebruik van de technologie in “gevoelige sociale en politieke contexten”, contexten die onderwijs, werkgelegenheid en politie omvatten.

Ten minste één AI-ontwikkelingsbedrijf dat gespecialiseerd is in affect-herkenning, Emteq, is het eens met de stelling dat er regelgeving moet komen om misbruik van de technologie te voorkomen. De oprichter van Emteq, Charles Nduka, legde aan de BBC uit dat hoewel AI-systemen verschillende gezichtsuitdrukkingen nauwkeurig kunnen herkennen, er geen eenvoudige kaart is van uitdrukking naar emotie. Nduka uitte wel zorgen over regelgeving die te ver gaat en onderzoeksmogelijkheden beperkt, en merkte op dat als “dingen worden verboden, het heel belangrijk is dat mensen niet het kind met het badwater weggooien”.

Volgens The Next Web heeft AI Now ook een aantal andere beleidsaanbevelingen en normen gedaan die de AI-industrie in de toekomst moeten leiden.

AI Now benadrukte de noodzaak voor de AI-industrie om werkplekken diverser te maken en stelde dat werknemers het recht moeten hebben om hun zorgen over invasieve en exploitatieve AI te uiten. Tech-werknemers moeten ook het recht hebben om te weten of hun inspanningen worden gebruikt om schadelijk of onethisch werk te creëren.

AI Now stelde ook voor dat wetgevers stappen moeten nemen om geïnformeerde toestemming te vereisen voor het gebruik van alle gegevens die afkomstig zijn van gezondheidsgerelateerde AI. Bovendien werd geadviseerd dat gegevensbescherming serieuzer moet worden genomen en dat staten moeten werken aan het ontwerpen van privacywetten voor biometrische gegevens die zowel particuliere als openbare entiteiten omvatten.

Tenslotte adviseerde het instituut dat de AI-industrie moet beginnen met wereldwijd denken en handelen, en moet proberen de grotere politieke, sociale en ecologische gevolgen van AI aan te pakken. Er werd aanbevolen dat er een aanzienlijke inspanning moet worden geleverd om rekening te houden met de impact van AI op geografische verplaatsing en klimaat, en dat overheden de klimaatinpak van de AI-industrie openbaar moeten maken.