Startupy vytvářející nástroje pro monitorování AI a podporu etického používání AI

Přes uplynulý rok se zdá, že se stále více pozornosti věnuje zajištění toho, aby byla AI používána eticky. Google (GOOGL ) a Microsoft (MSFT ) nedávno varovali investory, že zneužití algoritmů AI nebo špatně navržené algoritmy AI představují etické a právní rizika. Mezitím stát Kalifornie právě schválil zákon, který zakazuje používání technologie rozpoznávání obličeje kalifornskými policejními agenturami.

Nedávno se startupy jako Arthur snažily navrhnout nástroje, které pomohou inženýrům AI kvantifikovat a kvalifikovat, jak jejich modely strojového učení fungují. Podle Wired se Arthur snaží poskytnout vývojářům AI nástroj, který jim usnadní objevování problémů při navrhování finančních aplikací, jako je odhalení předsudků v investičních nebo úvěrových rozhodnutích.

Snažení Arthura je zaměřeno na řešení problému „černé skříňky“ AI. Problém černé skříňky AI popisuje, jak na rozdíl od tradičního kódu, který lze snadno interpretovat těmi, kteří znají, jak ho číst, systémy strojového učení mapují funkce na chování bez odhalení důvodů, proč jsou tato chování vybrána / jak jsou funkce interpretovány. Jinými slovy, v systému černé skříňky je přesná implementace algoritmu neprůhledná.

Systémy strojového učení fungují tak, že extrahují vzory z vstupních dat a provádějí úsudky o těchto vzorech. To je dosaženo tím, že počítač píše svůj vlastní kód manipulací s určitými matematickými funkcemi. Aby bylo možné tento problém řešit, výzkumníci a inženýři potřebují nástroje, které usnadňují pozorování a analýzu chování softwaru strojového učení. Startupy jako Arthur uznávají obtížnost řešení tohoto problému a netvrdí, že mají optimální řešení, ale doufají, že udělají pokrok v této oblasti a otevření černé skříňky trochu usnadní. Doufají, že pokud budou systémy AI analyzovatelnější, bude snazší opravovat problémy, jako je předsudek.

Velké společnosti jako Facebook (META ) již mají einige nástroje pro analýzu vnitřní funkce systémů strojového učení. Například Facebook má nástroj nazvaný Fairness Flow, který má zajistit, aby inzeráty, které doporučují zaměstnání lidem, cíleně oslovovaly lidi z různých prostředí. Je však pravděpodobné, že velké týmy AI nebudou chtít investovat čas do vytváření takových nástrojů, a proto existuje obchodní příležitost pro společnosti, které chtějí vytvářet monitorovací nástroje pro použití společnostmi AI.

Arthur se soustředí na vytváření nástrojů, které umožňují společnostem lépe udržovat a monitorovat systémy AI po jejich nasazení. Nástroje Arthura jsou určeny k tomu, aby společnosti viděly, jak se výkon jejich systému mění v čase, což by teoreticky umožnilo společnostem detekovat potenciální projevy předsudku. Pokud software pro doporučení úvěrů společnosti začne vylučovat certain skupiny zákazníků, může být nastavena vlajka, která signalizuje, že systém potřebuje přezkoumání, aby se zajistilo, že nediskriminuje zákazníky na základě citlivých atributů, jako je rasa nebo pohlaví.

Arthur však není jedinou společností, která vytváří nástroje, které umožňují společnostem AI přezkoumávat výkon svých algoritmů. Mnoho startupů investuje do vytváření nástrojů pro boj proti předsudkům a zajištění toho, aby algoritmy AI byly používány eticky. Weights & Biases je další startup, který vytváří nástroje pro pomoc inženýrům strojového učení při analýze potenciálních problémů se svými sítěmi. Toyota použila nástroje vytvořené Weights & Biases pro monitorování svých zařízení strojového učení během jejich tréninku. Mezitím startup Fiddler pracuje na vytváření jiného souboru nástrojů pro monitorování AI. IBM dokonce vytvořila自己的 monitorovací službu nazvanou OpenScale.

Liz O’Sullivan, jedna ze spoluzakladatelů Arthura, vysvětlila, že zájem o vytváření nástrojů pro řešení problému černé skříňky je poháněn rostoucím povědomím o síle AI.

„Lidé začínají chápat, jak powerful tyto systémy mohou být, a že potřebují využít jejich výhod způsobem, který je zodpovědný,“ řekl O’Sullivan.