De AI-incidentendatabase heeft als doel AI-algoritmen veiliger te maken

Elk voldoende groot systeem heeft fouten, en onderdeel van het corrigeren van deze fouten is het hebben van een database met fouten die kan worden geanalyseerd voor impact en potentiële oorzaken. Net zoals de FDA een database bijhoudt voor bijwerkingen van medicijnen, of de National Transportation Safety Board een database bijhoudt voor luchtvaartongelukken, is de AI-incidentendatabase een database bedoeld om falen van AI-systemen te catalogiseren en om AI-onderzoekers te helpen bij het ontwikkelen van nieuwe methoden om deze falen te voorkomen. De makers van de AI-incidentendatabase (AIID) hopen dat het AI-bedrijven zal helpen bij het ontwikkelen van veiligere, meer ethische AI.

Wat is de AIID?

De AIID is het product van de Partnership on AI (PAI)-organisatie. PAI werd oorspronkelijk opgericht in 2016 door leden van AI-onderzoeksteams bij grote technologiebedrijven zoals Facebook (META ), Apple (AAPL ), Amazon (AMZN ), Google (GOOGL ), IBM en Microsoft. Sindsdien heeft de organisatie leden geworven uit veel meer organisaties, waaronder verschillende non-profitorganisaties. In 2018 besloot PAI om een consistent classificatiesysteem voor AI-falen te ontwikkelen. Er was echter geen verzameling van AI-incidenten om deze classificatie op te baseren. Om deze reden creëerde PAI de AIID.

Volgens TechTalks was de opmaak van AIID geïnformeerd door de structuur van de luchtvaartongelukken-database die wordt onderhouden door de National Transportation Safety Board. Sinds het verzamelen van rapporten in 1996 is het commerciële luchtverkeerssysteem erin geslaagd de veiligheid van de luchtvaartindustrie te vergroten door incidenten te archiveren en te analyseren. De hoop is dat een soortgelijke repository van AI-incidenten AI-systemen veiliger, ethischer en betrouwbaarder kan maken. AIID haalde ook inspiratie uit de Common Vulnerabilities and Exposures-database, die een repository is van opvallende software-falen die een breed scala aan industrieën en disciplines omvatten.

Sean McGregor is de leidinggevende technisch consultant bij IBM voor de Watson AI XPRIZE. McGregor is ook verantwoordelijk voor het toezicht op de ontwikkeling van de daadwerkelijke AIID-database. McGregor legde uit dat het uiteindelijke doel van AIID is om AI-systemen te voorkomen van het veroorzaken van schade, of om het aantal en de ernst van ongewenste incidenten te verminderen. Zoals McGregor opmerkte, zijn machine learning-systemen aanzienlijk complexer en onvoorspelbaarder dan traditionele software-systemen, en kunnen ze daarom niet op dezelfde manier worden getest als andere software. Machine learning-systemen kunnen hun gedrag op onverwachte manieren veranderen. McGregor merkt op dat de capaciteit van deep learning-systemen om te leren kan betekenen dat “storingen vaker, complexer en gevaarlijker zijn” wanneer ze een ongestructureerde wereld betreden.

Meer dan 1.000 AI-gerelateerde incidenten geregistreerd

Sinds de AIID oorspronkelijk werd gemaakt, zijn er meer dan 1.000 AI-gerelateerde incidenten in de database geregistreerd. Van alle incidenten in de database waren problemen met AI-rechtvaardigheid het meest voorkomende type ongewenst incident. Veel van deze rechtvaardigheidsincidenten houden verband met het gebruik van gezichtsherkenning-algoritmen door overheidsinstanties. McGregor merkt ook op dat er een toenemend aantal incidenten met betrekking tot robotica aan de database wordt toegevoegd.

Bezoekers van de database kunnen queries uitvoeren, de database doorzoeken op basis van criteria zoals trefwoorden, incident-ID, bron of auteur. Bijvoorbeeld, het uitvoeren van een zoekopdracht naar “Deepfake” retourneert 7 rapporten, terwijl zoeken naar “robots” 158 rapporten retourneert.

Een centrale database voor incidenten van AI-falen en onverwacht gedrag kan onderzoekers, ingenieurs en ethici helpen bij het toezicht op de ontwikkeling en implementatie van AI-systemen. Productmanagers bij technologiebedrijven kunnen de AIID gebruiken om te zien of er potentieel problemen zijn voordat ze AI-aanbevelingssystemen gebruiken, of een AI-ingenieur kan een idee krijgen van potentieel voor te corrigeren vooroordelen bij het maken van de AI-toepassing. Evenzo kunnen risicomanagers de database gebruiken om te bepalen welke potentieel negatieve neveneffecten aan een AI-model zijn gekoppeld, waardoor ze vooruit kunnen plannen en maatregelen kunnen ontwikkelen om potentieel kwaad te mitigeren.

De architectuur van AIID is bedoeld om flexibel te zijn, waardoor het mogelijk is om nieuwe tools te maken om de database te doorzoeken en zinvolle inzichten te extraheren. De Partnership on AI en McGregor zullen samenwerken om een flexibele taxonomie te ontwikkelen die kan worden gebruikt om alle verschillende soorten AI-incidenten te classificeren. Het team hoopt dat, zodra de flexibele taxonomie is gemaakt, deze kan worden gecombineerd met een geautomatiseerd systeem dat automatisch AI-incidenten zal registreren.

“De AI-gemeenschap is begonnen met het delen van incidentenregisters met elkaar om veranderingen in hun producten, controleprocedures en onderzoeksprogramma’s te motiveren,” legde McGregor uit via TechTalks. “De site werd in november openbaar gemaakt, dus we zijn net begonnen met het realiseren van de voordelen van het systeem.”