Startups skapar verktyg för att övervaka AI och främja etisk AI-användning

Under det senaste året verkar det som att alltmer uppmärksamhet ägnas åt att säkerställa att AI används på etiska sätt. Google (GOOGL ) och Microsoft (MSFT ) har båda nyligen varnat investerare för att missbruk av AI-algoritmer eller dåligt utformade AI-algoritmer presenterar etiska och juridiska risker. Samtidigt har delstaten Kalifornien just antagit en lag som förbjuder användningen av ansiktsigenkänningsteknik av Kaliforniens lagföringsmyndigheter.

Nyligen har startups som Arthur försökt utforma verktyg som kan hjälpa AI-ingenjörer att kvantifiera och kvalificera hur deras maskinlärningsmodeller fungerar. Enligt Wired försöker Arthur ge AI-utvecklare ett verktyg som gör det lättare för dem att upptäcka problem när de utformar finansiella applikationer, som att avslöja bias i investerings- eller lånbeslut.

Arthurs ansträngningar syftar till att hantera “svarta lådan”-problemet med AI. Svarta lådan-problemet i AI beskriver hur maskinlärningssystem, till skillnad från traditionell kod som kan läsas av dem som vet hur man läser den, kartlägger funktioner till beteende utan att avslöja skälen till att dessa beteenden väljs eller hur funktionerna har tolkats. Med andra ord är den exakta implementeringen av algoritmen ogenomskinlig i ett svart lådesystem.

Maskinlärningssystem fungerar genom att extrahera mönster från indata och resonera om dessa mönster. Detta uppnås genom att i princip låta en dator skriva sin egen kod genom att manipulera vissa matematiska funktioner. För att hantera detta problem behöver forskare och ingenjörer verktyg som gör det lättare att observera och analysera maskinlärningsprogramvarans beteende. Startups som Arthur erkänner svårigheten med att lösa detta problem och hävdar inte att de har de optimala lösningarna, men de hoppas på att göra framsteg inom detta område och göra det lättare att öppna den svarta lådan. Det hoppas att om AI-system kan analyseras lättare, kommer det att bli lättare att korrigera problem som bias.

Stora företag som Facebook (META ) har redan några verktyg för att analysera de inre mekanismerna i maskinlärningssystem. Till exempel har Facebook ett verktyg som kallas Fairness Flow, som är avsett att säkerställa att de annonser som rekommenderar jobb till människor riktar sig till människor från alla olika bakgrunder. Det är dock troligt att stora AI-lag inte vill investera tid i att skapa sådana verktyg, och därför finns en affärsmöjlighet för företag som vill skapa övervakningsverktyg för användning av AI-företag.

Arthur fokuserar på att skapa verktyg som möjliggör för företag att bättre underhålla och övervaka AI-system efter att systemet redan har distribuerats. Arthurs verktyg är avsedda att låta företag se hur systemets prestanda förändras över tid, vilket teoretiskt sett skulle låta företag upptäcka potentiella manifestationer av bias. Om ett företags lånrekommendationssystem börjar utesluta vissa grupper av kunder, kan en flagga sättas som indikerar att systemet behöver granskas för att säkerställa att det inte diskriminerar kunder baserat på känsliga attribut som ras eller kön.

Men Arthur är inte det enda företaget som skapar verktyg som låter AI-företag granska prestandan hos sina algoritmer. Många startups investerar i skapandet av verktyg för att bekämpa bias och säkerställa att AI-algoritmer används på etiska sätt. Weights & Biases är ett annat startup som skapar verktyg för att hjälpa maskinläringsingenjörer att analysera potentiella problem med deras nätverk. Toyota har använt verktygen skapade av Weights & Biases för att övervaka deras maskinlärningsenheter medan de tränar. Samtidigt arbetar startupen Fiddler med att skapa en annan uppsättning AI-övervakningsverktyg. IBM har till och med skapat sin egen övervakningstjänst som kallas OpenScale.

Liz O’Sullivan, en av medskaparna till Arthur, förklarade att intresset för att skapa verktyg för att hjälpa till att lösa det svarta lådan-problemet drivs av en växande medvetenhet om AI:s kraft.

”Människor börjar förstå hur kraftfulla dessa system kan vara, och att de behöver utnyttja fördelarna på ett ansvarsfullt sätt”, sade O’Sullivan.