Startups vytváří nástroje pro monitorování AI a podporu etického používání AI

V průběhu minulého roku se zdá, že se stále více pozornosti věnuje zajištění toho, aby byla umělá inteligence využívána etickými způsoby. Google a Microsoft mají obojí nedávno varovali investoři že zneužití algoritmů AI nebo špatně navržených algoritmů AI představuje etická a právní rizika. Mezitím se k tomu právě rozhodl stát Kalifornie schválit zákon který zakazuje používání technologie rozpoznávání obličejů kalifornskými donucovacími orgány.

Nedávno se startupy jako Arthur pokoušely navrhnout nástroje, které pomohou inženýrům umělé inteligence kvantifikovat a kvalifikovat, jak fungují jejich modely strojového učení. Jak uvádí Wired, Arthur se snaží poskytnout vývojářům umělé inteligence sadu nástrojů, která jim usnadní odhalování problémů při navrhování finančních aplikací, jako je odhalování zaujatosti při rozhodování o investicích nebo půjčkách.

Arthurovo úsilí je zaměřeno na řešení problém „černé skříňky“ AI. Problém černé skříňky v AI popisuje, jak na rozdíl od tradičního kódu, který může být snadno interpretován těmi, kteří vědí, jak jej číst, systémy strojového učení mapují funkce na chování, aniž by odhalily důvody, proč jsou tato chování vybrána / jak byly funkce interpretovány. Jinými slovy, v systému černé skříňky je přesná implementace algoritmu neprůhledná.

Systémy strojového učení fungují tak, že extrahují vzory ze vstupních dat a uvažují o těchto vzorcích. Toho je dosaženo v podstatě tím, že počítač píše svůj vlastní kód manipulací s určitými matematickými funkcemi. Aby mohli výzkumníci a inženýři tento problém vyřešit, potřebují nástroje, které usnadní pozorování a analýzu chování softwaru strojového učení. Startupy jako Arthur uznávají obtížnost řešení tohoto problému a netvrdí, že mají optimální řešení, ale doufají, že v této oblasti udělají pokrok a rozlousknutí černé skříňky bude o něco jednodušší. Doufá, že pokud lze systémy umělé inteligence analyzovat snadněji, bude snazší také napravit problémy, jako je zkreslení.

Velké společnosti jako Facebook již mají některé nástroje pro analýzu vnitřního fungování systémů strojového učení. Například Facebook má nástroj nazvaný Fairness Flow, který má zajistit, aby reklamy doporučující lidem práci cílily na lidi ze všech různých prostředí. Je však pravděpodobné, že velké týmy AI nebudou chtít investovat čas do vytváření takových nástrojů, a proto existuje obchodní příležitost pro společnosti, které chtějí vytvořit monitorovací nástroje pro použití společnostmi AI.

Arthur se zaměřuje na vytváření nástrojů, které umožňují společnostem lépe udržovat a monitorovat systémy AI poté, co byl systém již nasazen. Arthurovy nástroje mají společnostem umožnit vidět, jak se výkon jejich systému v průběhu času mění, což by teoreticky umožnilo společnostem zachytit potenciální projevy zaujatosti. Pokud software společnosti pro doporučení půjček začne vylučovat určité skupiny zákazníků, lze nastavit příznak, který indikuje, že systém potřebuje kontrolu, aby se zajistilo, že nediskriminuje zákazníky na základě citlivých atributů, jako je rasa nebo pohlaví.

Arthur však není jedinou společností, která vytváří nástroje, které umožňují společnostem AI kontrolovat výkon jejich algoritmů. Mnoho startupů investuje do vytváření nástrojů pro boj proti zaujatosti a zajištění toho, aby byly algoritmy AI používány eticky. Weights & Biases je další startup vytvářející nástroje, které pomáhají inženýrům strojového učení analyzovat potenciální problémy s jejich sítí. Toyota použila nástroje vytvořené společností Weights & Biases ke sledování jejich zařízení pro strojové učení během tréninku. Startup Fiddler mezitím pracuje na vytvoření jiné sady nástrojů pro monitorování AI. IBM dokonce vytvořilo vlastní monitorovací službu s názvem OpenScale.

Liz O'Sullivan, jedna ze spolutvůrců Arthura, vysvětlila, že zájem o vytváření nástrojů, které pomohou vyřešit problém Black Box, je poháněn rostoucím povědomím o síle AI.

"Lidé si začínají uvědomovat, jak mocné tyto systémy mohou být, a že musí využívat výhod způsobem, který je zodpovědný," řekl O'Sullivan.