AI-incidentdatabasen syftar till att göra AI-algoritmer säkrare

Varje tillräckligt stort system kommer att ha fel, och en del av att korrigera dessa fel är att ha en databas över dem som kan analyseras för att identifiera effekter och potentiella orsaker. Liksom FDA upprätthåller en databas för biverkningar av läkemedel, eller National Transportation Safety Board upprätthåller en databas för flygolyckor, är AI-incidentdatabasen en databas som avser att katalogisera fel i AI-system och hjälpa AI-forskare att utveckla nya metoder för att undvika dessa fel. Skaparna av AI-incidentdatabasen (AIID) hoppas att den ska hjälpa AI-företag att utveckla säkrare, mer etiska AI.

Vad är AIID?

AIID är ett projekt som drivs av organisationen Partnership on AI (PAI). PAI grundades ursprungligen 2016 av medlemmar i AI-forskningsgrupper vid stora teknikföretag som Facebook (META ), Apple (AAPL ), Amazon (AMZN ), Google (GOOGL ), IBM och Microsoft. Sedan dess har organisationen rekryterat medlemmar från många fler organisationer, inklusive olika ideella organisationer. 2018 satte PAI igång för att skapa en konsekvent klassificeringsstandard för AI-fel. Men det fanns ingen samling av AI-incidenter som kunde användas för att basera denna klassificering på. Av denna anledning skapade PAI AIID.

Enligt TechTalks var formatet för AIID influerat av strukturen för flygolycksdatabasen som upprätthålls av National Transportation Safety Board. Sedan rapporter började samlas in 1996 har det kommersiella flygsystemet lyckats öka säkerheten inom flygindustrin genom att arkivera och analysera incidenter. Hoppet är att en liknande samling av AI-incidenter kan göra AI-system säkrare, mer etiska och tillförlitliga. AIID tog också inspiration från Common Vulnerabilities and Exposures-databasen, som är en samling av noterbara mjukvarufel som omfattar olika branscher och discipliner.

Sean McGregor är den ledande tekniska konsulten på IBM för Watson AI XPRIZE. McGregor ansvarar också för att övervaka utvecklingen av AIID:s faktiska databas. McGregor förklarade att målet med AIID är slutligen att förhindra att AI-system orsakar skada, eller åtminstone minska allvarlighetsgraden av oönskade incidenter. Som McGregor noterade är maskinlärningssystem avsevärt mer komplexa och oförutsägbara än traditionella mjukvarusystem, och som ett resultat kan de inte testas på samma sätt som annan mjukvara. Maskinlärningssystem kan ändra sitt beteende på oförutsedda sätt. McGregor noterar att kapaciteten för djupinlärningssystem att lära sig kan innebära att “fel är mer sannolika, mer komplicerade och farligare” när de kommer in i en ostrukturerad värld.

Över 1 000 AI-relaterade incidenter registrerade

Sedan AIID skapades har det registrerats över 1 000 AI-relaterade incidenter i databasen. Av alla incidenter i databasen var frågor relaterade till AI-rättvisa den vanligaste typen av oönskad incident. Många av dessa rättviseincidenter involverar användningen av ansiktsigenkänningsalgoritmer av myndigheter. McGregor noterar också att det finns en ökande mängd incidenter som involverar robotteknik som läggs till i databasen.

Besökare på databasen kan köra frågor, söka i databasen efter incidenter baserat på kriterier som nyckelord, incident-ID, källa eller författare. Till exempel returnerar en sökning efter “Deepfake” 7 rapporter, medan en sökning efter “robotar” returnerar 158 rapporter.

En centraliserad databas för incidenter av AI:s fel och oväntade beteenden kan hjälpa forskare, ingenjörer och etiker att övervaka utvecklingen och distributionen av AI-system. Produktchefer på teknikföretag kan använda AIID för att se om det finns några potentiella problem innan de använder AI-rekommendationssystem, eller en AI-ingenjör kan få en idé om potentiella fördomar som behöver korrigeras när de skapar AI-applikationen. Likaså kan risktjänstemän använda databasen för att bestämma potentiella negativa bieffekter som är förknippade med en AI-modell, vilket möjliggör för dem att planera i förväg och utveckla åtgärder för att mildra potentiella skador.

Arkitekturen som ligger till grund för AIID är avsedd att vara flexibel, eftersom detta möjliggör skapandet av nya verktyg för att fråga databasen och extrahera meningsfulla insikter. Partnership on AI och McGregor kommer att samarbeta för att utveckla en flexibel taxonomi som kan användas för att klassificera alla former av AI-incidenter. Teamet hoppas att när den flexibla taxonomin har skapats kan den kombineras med ett automatiserat system som automatiskt loggar AI-incidenter.

“AI-samhället har börjat dela incidentrapporter med varandra för att motivera förändringar i deras produkter, kontrollförfaranden och forskningsprogram”, förklarade McGregor via TechTalks. “Webbplatsen släpptes offentligt i november, så vi börjar bara förstå fördelarna med systemet.”