Startups skaber værktøjer til at overvåge AI og fremme etisk AI-brug

Over det sidste år synes det, at der er blevet lagt mere og mere opmærksomhed på, at AI bliver brugt på etisk vis. Google og Microsoft har begge nyligt advaret investorer om, at misbrug af AI-algoritmer eller dårligt designede AI-algoritmer udgør etisk og juridisk risiko. Imens har staten California lige besluttet at vedtage en lov, der forbyder brugen af ansigtsgenkendelsesteknologi af Californiens lovenhedsmyndigheder.

For nylig har startups som Arthur forsøgt at designe værktøjer, der kan hjælpe AI-ingeniører med at kvantificere og kvalificere, hvordan deres maskinelæringsmodeller fungerer. Som Wired har rapporteret, forsøger Arthur at give AI-udviklere en værktøjskasse, der gør det lettere for dem at opdage problemer, når de designer finansielle applikationer, som afslører bias i investerings- eller lånbeslutninger.

Arthurs bestræbelser er rettet mod at løse “black box”-problemet med AI. Black box-problemet i AI beskriver, hvordan maskinelæringsystemer, til forskel fra traditionel kode, der kan læses af dem, der ved, hvordan man læser den, mapper funktioner til adfærd uden at afsløre årsagerne til, at disse adfærdsmønstre vælges/hvordan funktionerne er blevet fortolket. Med andre ord er den præcise implementering af algoritmen uigennemsigtig i et black box-system.

Maskinelæringsystemer fungerer ved at udtrække mønstre fra inputdata og resonere om disse mønstre. Dette opnås ved at lade en computer skrive sin egen kode ved at manipulere visse matematiske funktioner. For at løse dette problem har forskere og ingeniører brug for værktøjer, der gør observationen og analysen af maskinelæringssoftwarens adfærd lettere. Startups som Arthur anerkender vanskeligheden ved at løse dette problem og hævder ikke at have de optimale løsninger, men de håber at gøre fremskridt på dette område og gøre det lettere at åbne den sorte kasse. Det håbes, at hvis AI-systemer kan analyseres lettere, vil det blive lettere at korrigere problemer som bias.

Store virksomheder som Facebook har allerede nogle værktøjer til at analysere de indre mekanismer i maskinelærningssystemer. For eksempel har Facebook et værktøj kaldet Fairness Flow, der er ment til at sikre, at annoncer, der anbefaler job til mennesker, målretter mennesker fra alle forskellige baggrunde. Det er dog sandsynligt, at store AI-hold ikke vil investere tid i at skabe sådanne værktøjer, og derfor findes der en forretningsmulighed for virksomheder, der ønsker at skabe overvågningsværktøjer til brug af AI-virksomheder.

Arthur fokuserer på at skabe værktøjer, der giver virksomheder mulighed for bedre at vedligeholde og overvåge AI-systemer, efter at systemet allerede er implementeret. Arthurs værktøjer er ment til at lade virksomheder se, hvordan systemets præstation ændrer sig over tid, hvilket teoretisk set ville give virksomheder mulighed for at opdage potentielle manifesteringer af bias. Hvis en virksomheds låneanbefalingssoftware begynder at udelukke bestemte grupper af kunder, kan en flag worden sat, der angiver, at systemet har brug for gennemgang for at sikre, at det ikke diskriminerer kunderne på baggrund af følsomme attributter som race eller køn.

Men Arthur er ikke den eneste virksomhed, der skaber værktøjer, der giver AI-virksomheder mulighed for at gennemgå præstationen af deres algoritmer. Mange startups investerer i skabelsen af værktøjer til at bekæmpe bias og sikre, at AI-algoritmer bliver brugt på etisk vis. Weights & Biases er en anden startup, der skaber værktøjer til at hjælpe maskinelæringsingeniører med at analysere potentielle problemer med deres netværk. Toyota har brugt værktøjerne skabt af Weights & Biases til at overvåge deres maskinelæringsenheder, mens de træner. Imens arbejder startuppet Fiddler på at skabe en anden sæt AI-overvågningsværktøjer. IBM har endda skabt sin egen overvågningservice kaldet OpenScale.

Liz O’Sullivan, en af medskaberne af Arthur, forklarede, at interessen for at skabe værktøjer til at hjælpe med at løse Black Box-problemet er drevet af en voksende bevidsthed om AI’s magt.

“Folk begynder at forstå, hvor kraftfulde disse systemer kan være, og at de har brug for at udnytte fordelene på en ansvarlig måde,” sagde O’Sullivan.