Nystartade företag som skapar verktyg för att övervaka AI och främja etisk AI-användning

Under det senaste året verkar det som att mer och mer uppmärksamhet ägnas åt att säkerställa att AI används på etiska sätt. Google och Microsoft har båda varnade nyligen investerare att missbruk av AI-algoritmer eller dåligt utformade AI-algoritmer utgör etiska och juridiska risker. Samtidigt har delstaten Kalifornien precis beslutat att passera en räkning som förbjuder användningen av ansiktsigenkänningsteknik av Kaliforniens brottsbekämpande myndigheter.

Nyligen har startups som Arthur försökt designa verktyg som hjälper AI-ingenjörer att kvantifiera och kvalificera hur deras maskininlärningsmodeller presterar. Som rapporterats av Wired, Arthur försöker ge AI-utvecklare en verktygslåda som gör det lättare för dem att upptäcka problem när de designar finansiella applikationer, som att avslöja partiskhet i investerings- eller lånebeslut.

Arthurs ansträngningar är inriktade på att ta itu med "black box"-problem med AI. Black box-problemet i AI beskriver hur till skillnad från traditionell kod, som lätt kan tolkas av de som vet hur man läser den, kartlägger maskininlärningssystem funktioner till beteende utan att avslöja orsakerna till att dessa beteenden är valda/hur funktionerna har tolkats. Med andra ord, i ett black box-system är den exakta implementeringen av algoritmen ogenomskinlig.

Maskininlärningssystem fungerar genom att extrahera mönster från indata och resonemang om dessa mönster. Detta åstadkoms genom att i huvudsak låta en dator skriva sin egen kod genom att manipulera vissa matematiska funktioner. För att ta itu med detta problem behöver forskare och ingenjörer verktyg som gör observation och analys av maskininlärningsprogramvarans beteende lättare. Nystartade företag som Arthur erkänner svårigheten att lösa detta problem och hävdar inte att de har de optimala lösningarna, men de hoppas kunna göra framsteg på detta område och göra det lite lättare att öppna den svarta lådan. Man hoppas att om AI-system kan analyseras enklare, kommer det att bli lättare att korrigera problem som bias också.

Stora företag som Facebook har redan några verktyg för att analysera det inre arbetet i maskininlärningssystem. Till exempel har Facebook ett verktyg kallat Fairness Flow som är avsett att se till att annonserna som rekommenderar jobb till människor riktar sig till människor från alla olika bakgrunder. Det är dock troligt att stora AI-team inte vill investera tid i att skapa sådana verktyg, och därför finns det en affärsmöjlighet för företag som vill skapa övervakningsverktyg för användning av AI-företag.

Arthur är fokuserad på att skapa verktyg som gör det möjligt för företag att bättre underhålla och övervaka AI-system efter att systemet redan har distribuerats. Arthurs verktyg är avsedda att låta företag se hur deras systems prestanda förändras över tiden, vilket teoretiskt skulle låta företag fånga upp potentiella yttringar av partiskhet. Om ett företags lånerekommendationsprogram börjar exkludera vissa grupper av kunder, kan en flagga sättas som indikerar att systemet behöver granskas för att säkerställa att det inte diskriminerar kunder baserat på känsliga egenskaper som ras eller kön.

Arthur är dock inte det enda företaget som skapar verktyg som låter AI-företag granska prestandan för sina algoritmer. Många startups investerar i att skapa verktyg för att bekämpa partiskhet och se till att AI-algoritmer används etiskt. Weights & Biases är en annan startup som skapar verktyg för att hjälpa maskininlärningsingenjörer att analysera potentiella problem med deras nätverk. Toyota har använt verktygen som skapats av Weights & Biases för att övervaka sina maskininlärningsenheter när de tränar. Under tiden arbetar startupen Fiddler på att skapa en annan uppsättning AI-övervakningsverktyg. IBM har till och med skapat sin egen övervakningstjänst som heter OpenScale.

Liz O'Sullivan, en av medskaparna till Arthur, förklarade att intresset för att skapa verktyg för att lösa Black Box-problemet drivs av en växande medvetenhet om kraften i AI.

"Människor börjar inse hur kraftfulla dessa system kan vara och att de måste dra nytta av fördelarna på ett ansvarsfullt sätt," sa O'Sullivan.