Prof. Julia Stoyanovich, ředitelka Centra pro odpovědnou umělou inteligenci – Interview Series

Julia Stoyanovich, je profesorka na NYU’s Tandon School of Engineering a zakladatelka Centra pro odpovědnou umělou inteligenci. Nedávno přednesla svědectví před výborem NYC Council’s Committee on Technology o navrhovaném zákoně, který by reguloval použití umělé inteligence pro rozhodování o přijetí a zaměstnání.

Jste zakladatelkou Centra pro odpovědnou umělou inteligenci na NYU. Můžete nám sdělit některé iniciativy, které tato organizace podnikla?

Já společně se Stevenem Kuyanem řídím Centrum pro odpovědnou umělou inteligenci (R/AI) na NYU. Steven a já máme komplementární zájmy a odborné znalosti. Já jsem akademik s počítačovým zázemím a silným zájmem o aplikovanou vědu na rozhraní datové inženýrství, odpovědné datové vědy a politiky. Steven je výkonným ředitelem NYU Tandon Future Labs, sítě startupů a akcelerátorů, které již měly velký ekonomický dopad v NYC. Naše vize pro R/AI je učinit „odpovědnou umělou inteligenci“ synonymem pro „umělou inteligenci“, prostřednictvím kombinace aplikovaného výzkumu, veřejného vzdělávání a zapojení a pomoci společnostem velkým i malým – zejména malým – vyvinout odpovědnou umělou inteligenci.

V posledních měsících se R/AI aktivně zapojilo do diskusí o dohledu nad automatizovanými rozhodovacími systémy (ADS). Naše přístup je založen na kombinaci vzdělávacích aktivit a politického zapojení.

Město New York zvažuje návrh zákona Int 1894, který by reguloval použití ADS při přijímání prostřednictvím kombinace auditu a veřejné prezentace. R/AI předložilo veřejné připomínky k návrhu zákona, založené na našem výzkumu a poznatcích, které jsme získali od uchazečů o zaměstnání prostřednictvím několika veřejných aktivit.

Jaké jsou některé současné nebo potenciální problémy s předpojatostí umělé inteligence při rozhodování o přijetí a zaměstnání?

Tato otázka je komplexní a vyžaduje, abychom nejprve jasně definovali, co rozumíme pod pojmem „předpojatost“. Klíčová věc, kterou je třeba poznamenat, je, že automatizované systémy pro přijímání jsou „prediktivní analytikou“ – předpovídají budoucnost na základě minulosti. Minulost je reprezentována historickými daty o osobách, které byly přijaty společností, a o tom, jak tyto osoby vykonávaly svou práci. Systém je pak „trénován“ na těchto datech, což znamená, že identifikuje statistické vzorce a používá je k předpovídání. Tyto statistické vzorce jsou „magií“ umělé inteligence, na které jsou založeny prediktivní modely. Zřejmé, ale důležité, je, že historická data, ze kterých byly tyto vzorce získány, jsou mlčící o osobách, které nebyly přijaty, protože prostě nevíme, jak by se chovaly v práci, kterou nedostaly. A tady vstupuje do hry předpojatost. Pokud systematicky přijímáme více osob z určitých demografických a socioekonomických skupin, pak bude členství v těchto skupinách a charakteristiky, které s tím souvisejí, součástí prediktivního modelu. Například, pokud vidíme pouze absolventy nejlepších univerzit, kteří jsou přijati do výkonných rolí, pak systém nemůže naučit, že lidé, kteří šli na jinou školu, by se také mohli dobře vykonat. Je snadné vidět podobný problém u pohlaví, rasy a postižení.

Vy jste nedávno přednesla svědectví před výborem NYC Council’s Committee on Technology, jedna z vašich poznámek byla následující: „Zjistili jsme, že jak rozpočet inzerenta, tak obsah inzerátu významně přispívají ke zkreslení doručování inzerátů na Facebooku. Kriticky, pozorujeme významné zkreslení v doručování podle pohlaví a rasy pro „skutečné“ inzeráty pro zaměstnání a bydlení, navzdory neutrálním parametrům cílení.“ Jaké jsou některé řešení, aby se tato předpojatost tránhala?

Tato poznámka je založena na výborné práci Ali et al. nazvané „Diskriminace prostřednictvím optimalizace: Jak doručování inzerátů na Facebooku může vést k předpojatým výsledkům.“ Autoři zjistili, že mechanismus doručování inzerátů sám o sobě je zodpovědný za zavádění a zesilování diskriminačních efektů. Zřejmé, ale důležité, je, že toto zjištění je vysoce problematické, zejména na pozadí neprůhlednosti na Facebooku a dalších platformách – Google (GOOGL ) a Twitter. Břemeno je na platformách, aby urgentně a přesvědčivě prokázaly, že mohou omezit diskriminační efekty, jako jsou ty, které nalezli Ali et al.. Krátké, než toho dosáhnou, nemohu najít žádné ospravedlnění pro pokračující použití personalizovaného cílení inzerátů v oblasti bydlení, zaměstnání a dalších oblastech, kde jsou ohroženy lidské životy a živobytí.

Jak mohou datové vědci a vývojáři umělé inteligence nejlépe zabránit vniknutí dalších neúmyslných předpojatostí do svých systémů?

 Nezáleží pouze na datech vědcích, nebo na některé skupině stakeholderů, zda zajistit, že technické systémy jsou v souladu se společenskými hodnotami. Ale datoví vědci jsou, ve skutečnosti, v čele této bitvy. Jako počítačový vědec sám, mohu potvrdit, že je lákavé myslet si, že systémy, které navrhujeme, jsou „objektivní“, „optimální“, nebo „správné“. Jak úspěšná je počítačová věda a datové vědy – jak vlivná a jak široce používaná – je både požehnáním a prokletím. My technici již nemůžeme mít luxus skrývat se za nedosažitelné cíle objektivity a správnosti. Břemeno je na nás, abychom pečlivě uvažovali o našem místě ve světě a vzdělávali se o sociálních a politických procesech, které ovlivňujeme. Společnost nemůže dovolit, abychom se pohybovali rychle a lámal věci, musíme zpomalit a promyslet.

Jedna z vašich dalších doporučení je vytvoření informované veřejnosti. Jak můžeme informovat veřejnost, která nemusí být obeznámena s umělou inteligencí nebo rozumět problémům spojeným s předpojatostí umělé inteligence?

Existuje zoufalá potřeba vzdělat netechnické lidi o technologiích a vzdělat technické lidi o sociálních implikacích. Dosáhnutí obou těchto cílů bude vyžadovat silné závazky a podstatné investice ze strany naší vlády. Musíme vyvinout materiály a vzdělávací metody pro všechny tyto skupiny a najít způsoby, jak motivovat účast. A nemůžeme nechat tuto práci na komerčních subjektech. Evropská unie je na čele, s několika vládami, které poskytují podporu pro základní vzdělávání umělé inteligence svých občanů a začleňují osnovy umělé inteligence do programů středních škol. My v R/AI pracujeme na veřejně dostupném a široce přístupném kurzu, který má za cíl vytvořit zapojenou veřejnost, která pomůže učinit umělou inteligenci tím, čím chceme, aby byla. Jsme velmi nadšeni touto prací, zůstaňte naladění na další informace v příštím měsíci.

Děkuji za skvělé podrobné odpovědi, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Centrum pro odpovědnou umělou inteligenci.