Startups creëren tools om AI te monitoren en ethisch AI-gebruik te bevorderen

Over de loop van het afgelopen jaar lijkt het erop dat er steeds meer aandacht wordt besteed aan het waarborgen dat AI op een ethische manier wordt gebruikt. Google en Microsoft hebben beide onlangs beleggers gewaarschuwd dat misbruik van AI-algoritmen of slecht ontworpen AI-algoritmen ethische en juridische risico’s met zich meebrengt. Ondertussen heeft de staat Californië zojuist besloten om een wet aan te nemen die het gebruik van gezichtsherkenningstechnologie door de Californische rechtshandhavingsdiensten verbiedt.

Onlangs hebben startups zoals Arthur geprobeerd om tools te ontwikkelen die AI-engineers helpen om te kwantificeren en te kwalificeren hoe hun machine learning-modellen presteren. Volgens Wired probeert Arthur AI-ontwikkelaars een toolkit te geven die het voor hen gemakkelijker maakt om problemen te ontdekken bij het ontwerpen van financiële toepassingen, zoals het ontdekken van vooroordelen in investerings- of leningsbeslissingen.

De inspanningen van Arthur zijn gericht op het aanpakken van het “black box”-probleem van AI. Het black box-probleem in AI beschrijft hoe, in tegenstelling tot traditionele code, die gemakkelijk kan worden geïnterpreteerd door mensen die weten hoe ze deze moeten lezen, machine learning-systemen functies toewijzen aan gedrag zonder de redenen te onthullen waarom dit gedrag is geselecteerd/hoe de functies zijn geïnterpreteerd. Met andere woorden, in een black box-systeem is de exacte implementatie van het algoritme ondoorzichtig.

Machine learning-systemen werken door patronen te extraheren uit invoergegevens en over deze patronen te redeneren. Dit gebeurt door middel van het laten schrijven van code door een computer door het manipuleren van bepaalde wiskundige functies. Om dit probleem aan te pakken, hebben onderzoekers en ingenieurs tools nodig die het observeren en analyseren van machine learning-softwaregedrag gemakkelijker maken. Startups zoals Arthur erkennen de moeilijkheid van het oplossen van dit probleem en beweren niet dat ze de optimale oplossingen hebben, maar ze hopen vooruitgang te boeken in dit gebied en het openen van de black box een beetje gemakkelijker te maken. Het is de bedoeling dat, als AI-systemen gemakkelijker kunnen worden geanalyseerd, het ook gemakkelijker wordt om problemen zoals vooroordelen te corrigeren.

Grote bedrijven zoals Facebook hebben al enkele tools om de interne werking van machine learning-systemen te analyseren. Zo heeft Facebook een tool genaamd Fairness Flow, die bedoeld is om ervoor te zorgen dat advertenties die banen aan mensen aanbevelen, mensen uit alle verschillende achtergronden targeten. Het is echter waarschijnlijk dat grote AI-teams geen tijd willen investeren in het creëren van dergelijke tools, en daarom bestaat er een zakelijke kans voor bedrijven die tools willen creëren voor gebruik door AI-bedrijven.

Arthur richt zich op het creëren van tools die bedrijven in staat stellen om AI-systemen beter te onderhouden en te monitoren nadat het systeem al is geïmplementeerd. De tools van Arthur zijn bedoeld om bedrijven te laten zien hoe de prestaties van hun systeem zich over tijd veranderen, wat bedrijven in theorie in staat zou stellen om potentiële manifestaties van vooroordelen op te sporen. Als de leningsaanbevelingssoftware van een bedrijf bepaalde groepen klanten begint uit te sluiten, kan een vlag worden ingesteld die aangeeft dat het systeem moet worden herzien om ervoor te zorgen dat het geen klanten op basis van gevoelige kenmerken zoals ras of geslacht discrimineert.

Arthur is echter niet het enige bedrijf dat tools creëert die AI-bedrijven in staat stellen om de prestaties van hun algoritmen te controleren. Veel startups investeren in de creatie van tools om vooroordelen te bestrijden en ervoor te zorgen dat AI-algoritmen op een ethische manier worden gebruikt. Weights & Biases is een andere startup die tools creëert om machine learning-engineers te helpen bij het analyseren van potentiële problemen met hun netwerk. Toyota heeft de tools van Weights & Biases gebruikt om hun machine learning-apparaten te monitoren terwijl ze in training zijn. Ondertussen werkt de startup Fiddler aan de creatie van een ander set van AI-monitortools. IBM heeft zelfs een eigen monitordienst genaamd OpenScale gecreëerd.

Liz O’Sullivan, een van de mede-oprichters van Arthur, legde uit dat de interesse in het creëren van tools om het Black Box-probleem op te lossen, wordt gedreven door een groeiend besef van de kracht van AI.

“Mensen beginnen te beseffen hoe krachtig deze systemen kunnen zijn, en dat ze ervoor moeten zorgen dat ze de voordelen op een verantwoorde manier benutten,” zei O’Sullivan.