Startups skaber værktøjer til at overvåge AI og fremme etisk AI-brug

Over det sidste år synes det, som om der er blevet lagt mere og mere opmærksomhed på at sikre, at AI anvendes på en etisk måde. Google (GOOGL ) og Microsoft (MSFT ) har begge nyligt advaret investorer om, at misbrug af AI-algoritmer eller dårligt designede AI-algoritmer udgør etiske og juridiske risici. Imens har delstaten California lige besluttet at vedtage en lov, der forbinder brugen af ansigtsgenkendelsesteknologi af Californiens lovgivningsmyndigheder.

For nylig har startups som Arthur forsøgt at designe værktøjer, der kan hjælpe AI-ingeniører med at kvantificere og kvalificere, hvordan deres maskinelæringmodeller fungerer. Som Wired har rapporteret, forsøger Arthur at give AI-udviklere en værktøjskasse, der gør det lettere for dem at opdage problemer, når de designer finansielle applikationer, som afslører bias i investerings- eller lånbeslutninger.

Arthurs bestræbelser er rettet mod at løse “black box”-problemet i AI. Black box-problemet i AI beskriver, hvordan maskinelæringssystemer, i modsætning til traditionel kode, som kan læses af dem, der ved, hvordan man læser det, mapper funktioner til adfærd uden at afsløre årsagerne til, at disse adfærdsmønstre vælges/hvordan funktionerne er fortolket. Med andre ord er den eksakte implementering af algoritmen i et black box-system uigennemsigtig.

Maskinelæringssystemer fungerer ved at udtrække mønstre fra inputdata og resonere om disse mønstre. Dette opnås ved at lade en computer skrive sin egen kode ved at manipulere visse matematiske funktioner. For at løse dette problem har forskere og ingeniører brug for værktøjer, der gør det lettere at observere og analysere maskinelæringssoftwares adfærd. Startups som Arthur anerkender vanskeligheden ved at løse dette problem og hævder ikke at have de optimale løsninger, men de håber at gøre fremskridt på dette område og gøre det lettere at åbne den sorte æske. Det håbes, at hvis AI-systemer kan analyseres lettere, vil det blive lettere at korrigere problemer som bias.

Store virksomheder som Facebook (META ) har allerede nogle værktøjer til at analysere de indre mekanismer i maskinelæringssystemer. For eksempel har Facebook et værktøj kaldet Fairness Flow, der er designet til at sikre, at annoncer, der anbefaler job til mennesker, targetter mennesker fra alle forskellige baggrunde. Det er dog sandsynligt, at store AI-hold ikke vil investere tid i at skabe sådanne værktøjer, og derfor findes der en forretningsmulighed for virksomheder, der ønsker at skabe overvågningsværktøjer til brug af AI-virksomheder.

Arthur fokuserer på at skabe værktøjer, der giver virksomheder mulighed for bedre at vedligeholde og overvåge AI-systemer efter, at systemet allerede er implementeret. Arthurs værktøjer er designet til at lade virksomheder se, hvordan deres systems præstation ændrer sig over tid, hvilket teoretisk set kunne give virksomheder mulighed for at opdage potentielle manifestationer af bias. Hvis en virksomheds låneanbefalingssoftware begynder at udelukke visse grupper af kunder, kan en flag kunne sættes, der angiver, at systemet har brug for gennemgang for at sikre, at det ikke diskriminerer kunder på grund af følsomme attributter som race eller køn.

Men Arthur er ikke den eneste virksomhed, der skaber værktøjer, der giver AI-virksomheder mulighed for at gennemgå deres algoritmers præstation. Mange startups investerer i skabelsen af værktøjer til at bekæmpe bias og sikre, at AI-algoritmer anvendes på en etisk måde. Weights & Biases er en anden startup, der skaber værktøjer til at hjælpe maskinelæringingeniører med at analysere potentielle problemer med deres netværk. Toyota har brugt værktøjerne skabt af Weights & Biases til at overvåge deres maskinelæringenheder, mens de træner. Imens arbejder startuppet Fiddler på at skabe en anden sæt AI-overvågningsværktøjer. IBM har endda skabt sin egen overvågningservice kaldet OpenScale.

Liz O’Sullivan, en af medskaberne af Arthur, forklarede, at interessen for at skabe værktøjer til at løse Black Box (BBOX.BO ) -problemet er drevet af en voksende bevidsthed om AI’s magt.

“Folk begynder at forstå, hvor kraftfulde disse systemer kan være, og at de har brug for at udnytte fordelene på en ansvarlig måde,” sagde O’Sullivan.