Startups som lager verktøy for å overvåke AI og fremme etisk AI-bruk

Over det siste året synes det som om det blir mer og mer fokus på å sikre at AI brukes på en etisk måte. Google (GOOGL ) og Microsoft (MSFT ) har begge nylig advart investorer om at misbruk av AI-algoritmer eller dårlig designet AI-algoritmer presenterer etiske og juridiske risikoer. I mellomtiden har delstaten California nettopp bestemt seg for å godkjenne en lov som forbryter bruk av ansiktsgjenkjenningsteknologi av Californias lovens verksteder.

Nylig har startups som Arthur forsøkt å designe verktøy som kan hjelpe AI-ingeniører med å kvantifisere og kvalifisere hvordan deres maskinlæringsmodeller fungerer. Ifølge Wired prøver Arthur å gi AI-utviklere en verktøykasse som gjør det enklere for dem å oppdage problemer når de designer finansielle applikasjoner, som å avdekke bias i investerings- eller lånbeslutninger.

Arthurs innsats er rettet mot å løse “black box”-problemet i AI. Black box-problemet i AI beskriver hvordan, i motsetning til tradisjonell kode som kan leses av de som vet hvordan de skal lese den, maskinlæringsystemer kartlegger funksjoner til atferd uten å avsløre årsakene til disse atferdene/hvordan funksjonene er tolket. Med andre ord er den eksakte implementeringen av algoritmen ugjennomsiktig i et black box-system.

Maskinlæringsystemer fungerer ved å trekke ut mønster fra inndata og resonere om disse mønstrene. Dette oppnås ved å la en datamaskin skrive sin egen kode ved å manipulere bestemte matematiske funksjoner. For å løse dette problemet, trenger forskere og ingeniører verktøy som gjør det enklere å observere og analysere maskinlæringsprogramvareatferd. Startups som Arthur innrømmer vanskeligheten ved å løse dette problemet og hevder ikke å ha de optimale løsningene, men de håper å gjøre fremgang i dette området og gjøre det lettere å åpne den svarte boksen. Det håpes at hvis AI-systemer kan analyseres enklere, vil det bli enklere å korrigere problemer som bias.

Store selskaper som Facebook (META ) har allerede noen verktøy for å analysere de indre mekanismene i maskinlæringsystemer. For eksempel har Facebook et verktøy kalt Fairness Flow som er ment å sikre at annonser som anbefaler jobber til mennesker målretter mennesker fra alle forskjellige bakgrunner. Det er imidlertid sannsynlig at store AI-team ikke vil investere tid i å lage slike verktøy, og derfor finnes det en forretningsmulighet for selskaper som ønsker å lage overvåkingsverktøy for bruk av AI-selskaper.

Arthur fokuserer på å lage verktøy som gjør det mulig for selskaper å bedre vedlikeholde og overvåke AI-systemer etter at systemet allerede er deployert. Arthurs verktøy er ment å la selskaper se hvordan systemets ytelse endrer seg over tid, noe som teoretisk sett skulle la selskaper oppdage potensielle manifestasjoner av bias. Hvis et selskaps låneanbefalingsprogram begynner å utelukke bestemte grupper av kunder, kan en flagg settes som indikerer at systemet trenger gjennsyn for å sikre at det ikke diskriminerer kunder basert på sensitive attributter som rase eller kjønn.

Men Arthur er ikke det eneste selskapet som lager verktøy som lar AI-selskaper gjennomgå ytelsen til deres algoritmer. Mange startups investerer i å lage verktøy for å bekjempe bias og sikre at AI-algoritmer brukes på en etisk måte. Weights & Biases er et annet startup som lager verktøy for å hjelpe maskinlæringsingeniører med å analysere potensielle problemer med deres nettverk. Toyota har brukt verktøyene laget av Weights & Biases for å overvåke deres maskinlæringsenheter mens de trenes. I mellomtiden arbeider startupen Fiddler med å lage en annen samling AI-overvåkingsverktøy. IBM har til og med laget sin egen overvåkningstjeneste kalt OpenScale.

Liz O’Sullivan, en av med-creatorene av Arthur, forklarte at interessen for å lage verktøy for å hjelpe med å løse Black Box (BBOX.BO ) -problemet, drives av en økende bevissthet om AIens kraft.

“Folk begynner å forstå hvor kraftfulle disse systemene kan være, og at de må dra nytte av fordelene på en ansvarlig måte,” sa O’Sullivan.