Startups skapar verktyg för att övervaka AI och främja etisk AI-användning

Under det senaste året verkar det som att alltmer uppmärksamhet ägnas åt att säkerställa att AI används på etiska sätt. Google och Microsoft har båda nyligen varnat investerare för att missbruk av AI-algoritmer eller dåligt utformade AI-algoritmer medför etiska och juridiska risker. Samtidigt har delstaten Kalifornien just beslutat att antaga en lag som förbjuder användningen av ansiktsigenkänningsteknik av Kaliforniens lagföringsmyndigheter.

Nyligen har startups som Arthur försökt att utforma verktyg som hjälper AI-ingenjörer att kvantifiera och kvalificera hur deras maskinlärningsmodeller fungerar. Som rapporterats av Wired, försöker Arthur ge AI-utvecklare ett verktyg som gör det lättare för dem att upptäcka problem när de utformar finansiella applikationer, som att avslöja fördomar i investerings- eller lånbeslut.

Arthurs ansträngningar syftar till att hantera “svarta lådan”-problemet med AI. Svarta lådan-problemet i AI beskriver hur, till skillnad från traditionell kod som kan läsas av dem som vet hur man läser den, maskinlärningssystem mappar funktioner till beteende utan att avslöja skälen till att dessa beteenden väljs / hur funktionerna har tolkats. Med andra ord är den exakta implementeringen av algoritmen ogenomskinlig i ett svart lådesystem.

Maskinlärningssystem fungerar genom att extrahera mönster från indata och resonera om dessa mönster. Detta åstadkoms genom att i princip låta en dator skriva sin egen kod genom att manipulera vissa matematiska funktioner. För att hantera detta problem behöver forskare och ingenjörer verktyg som gör det lättare att observera och analysera maskinlärningsprogramvarans beteende. Startups som Arthur erkänner svårigheten att lösa detta problem och hävdar inte att de har de optimala lösningarna, men de hoppas på att göra framsteg i detta område och göra det lättare att öppna den svarta lådan. Det hoppas att om AI-system kan analyseras lättare, kommer det att bli lättare att korrigera problem som fördomar.

Stora företag som Facebook har redan några verktyg för att analysera de inre mekanismerna i maskinlärningssystem. Till exempel har Facebook ett verktyg som kallas Fairness Flow, som är avsett att säkerställa att annonser som rekommenderar jobb till människor riktar sig till människor från alla olika bakgrunder. Det är dock troligt att stora AI-lag inte vill investera tid i att skapa sådana verktyg, och därför finns en affärsmöjlighet för företag som vill skapa övervakningsverktyg för användning av AI-företag.

Arthur fokuserar på att skapa verktyg som möjliggör för företag att bättre underhålla och övervaka AI-system efter att systemet har distribuerats. Arthurs verktyg är avsedda att låta företag se hur systemets prestanda förändras över tiden, vilket teoretiskt sett skulle låta företag upptäcka potentiella manifestationer av fördomar. Om ett företags lånrekommendationsprogram börjar utesluta vissa grupper av kunder, kan en flagga sättas som indikerar att systemet behöver granskas för att säkerställa att det inte diskriminerar kunder baserat på känsliga attribut som ras eller kön.

Men Arthur är inte det enda företaget som skapar verktyg som låter AI-företag granska prestandan för sina algoritmer. Många startups investerar i skapandet av verktyg för att bekämpa fördomar och säkerställa att AI-algoritmer används på etiska sätt. Weights & Biases är ett annat startup som skapar verktyg för att hjälpa maskinläringsingenjörer att analysera potentiella problem med sin nätverksarkitektur. Toyota har använt verktygen som skapats av Weights & Biases för att övervaka sina maskinlärningsenheter medan de tränas. Samtidigt arbetar startupen Fiddler med att skapa en annan uppsättning AI-övervakningsverktyg. IBM har till och med skapat sin egen övervakningstjänst som kallas OpenScale.

Liz O’Sullivan, en av medskaparna av Arthur, förklarade att intresset för att skapa verktyg för att hjälpa till att lösa det svarta lådan-problemet drivs av en växande medvetenhet om AI:s kraft.

“Människor börjar förstå hur kraftfulla dessa system kan vara, och att de behöver utnyttja fördelarna på ett ansvarsfullt sätt”, sade O’Sullivan.