Startups creëren tools om AI te monitoren en ethisch AI-gebruik te bevorderen

Over de afgelopen jaar lijkt het erop dat er steeds meer aandacht wordt besteed aan het gebruik van AI op een ethische manier. Google (GOOGL ) en Microsoft (MSFT ) hebben onlangs gewaarschuwd dat misbruik van AI-algoritmen of slecht ontworpen AI-algoritmen ethische en juridische risico’s met zich meebrengt. Ondertussen heeft de staat Californië zojuist een wet aangenomen die het gebruik van gezichtsherkenningstechnologie door de Californische rechtshandhavingsdiensten verbiedt.

Onlangs hebben startups zoals Arthur geprobeerd om tools te ontwikkelen die AI-ingenieurs helpen om de prestaties van hun machine learning-modellen te kwantificeren en te kwalificeren. Volgens Wired probeert Arthur AI-ontwikkelaars een toolkit te geven die het voor hen gemakkelijker maakt om problemen te ontdekken bij het ontwerpen van financiële toepassingen, zoals het ontdekken van vooroordelen in investerings- of leningsbeslissingen.

De inspanningen van Arthur zijn gericht op het aanpakken van het “black box”-probleem van AI. Het black box-probleem in AI beschrijft hoe, in tegenstelling tot traditionele code, die gemakkelijk kan worden geïnterpreteerd door mensen die weten hoe ze het moeten lezen, machine learning-systemen functies naar gedrag in kaart brengen zonder de redenen te onthullen waarom deze gedragingen zijn geselecteerd/hoe de functies zijn geïnterpreteerd. Met andere woorden, in een black box-systeem is de exacte implementatie van het algoritme ondoorzichtig.

Machine learning-systemen werken door patronen uit invoergegevens te extraheren en over deze patronen te redeneren. Dit gebeurt door een computer zijn eigen code te laten schrijven door bepaalde wiskundige functies te manipuleren. Om dit probleem aan te pakken, hebben onderzoekers en ingenieurs tools nodig die het observeren en analyseren van het gedrag van machine learning-software gemakkelijker maken. Startups zoals Arthur erkennen de moeilijkheid van het oplossen van dit probleem en claimen niet de optimale oplossingen te hebben, maar hopen wel vooruitgang te boeken in dit gebied en het openen van de black box een beetje gemakkelijker te maken. Het is de bedoeling dat, als AI-systemen gemakkelijker kunnen worden geanalyseerd, het ook gemakkelijker wordt om problemen zoals vooroordelen te corrigeren.

Grote bedrijven zoals Facebook (META ) hebben al enkele tools om de interne werking van machine learning-systemen te analyseren. Zo heeft Facebook een tool genaamd Fairness Flow, die bedoeld is om ervoor te zorgen dat de advertenties die banen aan mensen aanbevelen, mensen uit alle verschillende achtergronden targeten. Het is echter waarschijnlijk dat grote AI-teams niet de tijd willen investeren in het creëren van dergelijke tools, en daarom bestaat er een zakelijke kans voor bedrijven die monitoringtools voor gebruik door AI-bedrijven willen creëren.

Arthur richt zich op het creëren van tools die bedrijven in staat stellen om AI-systemen beter te onderhouden en te monitoren nadat het systeem al is geïmplementeerd. De tools van Arthur zijn bedoeld om bedrijven te laten zien hoe de prestaties van hun systeem in de loop van de tijd veranderen, wat theoretisch zou kunnen helpen om potentiële manifestaties van vooroordelen op te sporen. Als de leningsaanbevelingssoftware van een bedrijf bepaalde groepen klanten begint uit te sluiten, kan een vlag worden gezet die aangeeft dat het systeem moet worden herzien om ervoor te zorgen dat het niet discrimineert tegen klanten op basis van gevoelige kenmerken zoals ras of geslacht.

Arthur is echter niet het enige bedrijf dat tools creëert die AI-bedrijven in staat stellen om de prestaties van hun algoritmen te controleren. Veel startups investeren in de creatie van tools om vooroordelen te bestrijden en ervoor te zorgen dat AI-algoritmen op een ethische manier worden gebruikt. Weights & Biases is een andere startup die tools creëert om machine learning-ingenieurs te helpen bij het analyseren van potentiële problemen met hun netwerk. Toyota heeft de tools van Weights & Biases gebruikt om hun machine learning-apparaten te monitoren tijdens de training. Ondertussen werkt de startup Fiddler aan de creatie van een andere set AI-monitoringtools. IBM heeft zelfs een eigen monitoringservice genaamd OpenScale gecreëerd.

Liz O’Sullivan, een van de mede-oprichters van Arthur, legde uit dat de interesse in het creëren van tools om het Black Box (BBOX.BO ) -probleem op te lossen, wordt gedreven door een groeiend bewustzijn van de kracht van AI.

“Mensen beginnen te realiseren hoe krachtig deze systemen kunnen zijn, en dat ze de voordelen op een verantwoorde manier moeten benutten,” zei O’Sullivan.