Yaron Singer, generální ředitel společnosti Robust Intelligence a profesor počítačových věd na Harvardské univerzitě – série rozhovorů

Yaron Singer je generálním ředitelem společnosti Robustní inteligence a profesor informatiky a aplikované matematiky na Harvardu. Yaron je známý průlomovými výsledky v oblasti strojového učení, algoritmů a optimalizace. Yaron dříve pracoval ve společnosti Google Research a získal doktorát na UC Berkeley.

Co vás zpočátku přitahovalo k oblasti informatiky a strojového učení?

Moje cesta začala matematikou, která mě přivedla k informatice, která mě nasměrovala na strojové učení. Matematika mě zpočátku zaujala, protože její axiomatický systém mi dal schopnost vytvářet nové světy. S informatikou jsem se dozvěděl o existenciálních důkazech, ale také o algoritmech za nimi. Z kreativního hlediska je informatika kreslením hranic mezi tím, co můžeme a co nemůžeme.

Můj zájem o strojové učení byl vždy zakořeněn v zájmu o skutečná data, téměř o jejich fyzický aspekt. Přebírání věcí z reálného světa a jejich modelování, aby bylo něco smysluplného. Prostřednictvím smysluplného modelování bychom mohli doslova vytvořit lepší svět. Matematika mi tedy dala základ pro dokazování věcí, informatika mi pomáhá vidět, co lze a co nelze, a strojové učení mi umožňuje modelovat tyto koncepty ve světě.

Donedávna jste byl profesorem informatiky a aplikované matematiky na Harvardově univerzitě, jaké byly některé z vašich klíčových poznatků z této zkušenosti?

Můj největší přínos z toho, že jsem členem fakulty na Harvardu, je, že rozvíjí chuť člověka dělat velké věci. Harvard má tradičně malou fakultu a od fakulty se očekává, že se vypořádá s velkými problémy a vytvoří nové obory. Musíte být odvážní. To končí jako skvělá příprava na spuštění startupu vytvářejícího kategorie definujícího nový prostor. Nezbytně nedoporučuji nejprve projít harvardskou funkční dráhou – ale pokud to přežijete, budování startupu je jednodušší.

Mohl byste popsat svůj „aha“ moment, kdy jste si uvědomil, že sofistikované systémy umělé inteligence jsou zranitelné vůči špatným datům, což může mít některé potenciálně dalekosáhlé důsledky?

Když jsem byl postgraduálním studentem na UC Berkeley, vzal jsem si chvíli volna a udělal jsem startup, který stavěl modely strojového učení pro marketing na sociálních sítích. To bylo v roce 2010. Měli jsme obrovské množství dat ze sociálních médií a kódovali jsme všechny modely od začátku. Finanční dopady na maloobchodníky byly poměrně značné, takže jsme výkon modelů pečlivě sledovali. Vzhledem k tomu, že jsme použili data ze sociálních médií, došlo ve vstupu k mnoha chybám a také k posunu. Viděli jsme, že velmi malé chyby vedly k velkým změnám ve výstupu modelu a mohly by mít za následek špatné finanční výsledky pro maloobchodníky používající produkt.

Když jsem přešel do práce na Google+ (pro ty z nás, kteří si pamatují), viděl jsem úplně stejné účinky. Ještě dramatičtější je, že v systémech jako AdWords, které předpovídaly pravděpodobnost, že lidé kliknou na reklamu na klíčová slova, jsme si všimli, že malé chyby ve vstupu do modelu vedou k velmi špatným předpovědím. Když jste svědky tohoto problému v měřítku Google, uvědomíte si, že problém je univerzální.

Tyto zkušenosti výrazně ovlivnily mé zaměření výzkumu a svůj čas na Harvardu jsem strávil zkoumáním toho, proč modely umělé inteligence dělají chyby, a co je důležité, jak navrhovat algoritmy, které mohou modelům zabránit v chybách. To samozřejmě vedlo k dalším 'aha' momentům a nakonec k vytvoření Robust Intelligence.

Mohl byste se podělit o příběh vzniku Robust Intelligence?

Robust Intelligence začala výzkumem toho, co bylo původně teoretickým problémem: jaké záruky můžeme mít pro rozhodnutí učiněná pomocí modelů umělé inteligence. Kojin byl student na Harvardu a pracovali jsme spolu, zpočátku jsme psali výzkumné práce. Takže to začíná psaním prací, které nastiňují, co je teoreticky možné a nemožné. Tyto výsledky později pokračovaly v programu pro navrhování algoritmů a modelů, které jsou odolné vůči selhání AI. Následně vytváříme systémy, které dokážou tyto algoritmy provozovat v praxi. Poté bylo přirozeným dalším krokem založení společnosti, kde by organizace mohly používat systém jako tento.

Mnohé z problémů, které Robust Intelligence řeší, jsou tiché chyby, které to jsou a proč jsou tak nebezpečné?

Než poskytneme technickou definici tichých chyb, stojí za to udělat krok zpět a pochopit, proč bychom se měli starat o to, aby umělá inteligence dělala chyby. Důvod, proč nám záleží na tom, aby modely AI dělaly chyby, jsou důsledky těchto chyb. Náš svět používá umělou inteligenci k automatizaci důležitých rozhodnutí: kdo dostane podnikatelskou půjčku a za jakou úrokovou sazbu, kdo získá zdravotní pojištění a za jakou sazbu, ve kterých čtvrtích by měla hlídkovat policie, kdo bude s největší pravděpodobností nejlepším kandidátem na práci, jak bychom měli organizovat letištní bezpečnost a tak dále. Skutečnost, že modely umělé inteligence jsou extrémně náchylné k chybám, znamená, že při automatizaci těchto kritických rozhodnutí zdědíme velké množství rizik. V Robust Intelligence tomu říkáme „riziko AI“ a naším posláním ve společnosti je eliminovat riziko AI.

Tiché chyby jsou chyby modelů umělé inteligence, kdy model umělé inteligence přijímá vstup a vytváří předpověď nebo rozhodnutí, které je jako výstup chybné nebo zkreslené. Na povrchu tedy vše v systému vypadá OK, protože model umělé inteligence dělá to, co z funkčního hlediska dělat má. Ale předpověď nebo rozhodnutí je chybné. Tyto chyby jsou tiché, protože systém neví, že došlo k chybě. To může být mnohem horší než případ, kdy model AI neprodukuje výstup, protože organizacím může dlouho trvat, než si uvědomí, že jejich systém AI je chybný. Riziko umělé inteligence se pak stává selháním umělé inteligence, což může mít strašné následky.

Společnost Robust Intelligence v podstatě navrhla bránu AI Firewall, což byla myšlenka, která byla dříve považována za nemožnou. Proč je to taková technická výzva?

Jedním z důvodů, proč je AI Firewall takovou výzvou, je to, že jde proti paradigmatu komunity ML. Předchozí paradigma komunity ML bylo, že k odstranění chyb je potřeba dodávat více dat, včetně špatných dat do modelů. Modelky se tak budou trénovat a naučí se, jak své chyby opravovat. Problém s tímto přístupem je, že způsobuje dramatický pokles přesnosti modelu. Nejznámější výsledky pro obrázky například způsobují pokles přesnosti modelu AI z 98.5 % na přibližně 37 %.

AI Firewall nabízí jiné řešení. Oddělujeme problém identifikace chyby od role vytváření predikce, což znamená, že firewall se může zaměřit na jeden konkrétní úkol: určit, zda datový bod vytvoří chybnou předpověď.

To bylo samo o sobě výzvou kvůli obtížnosti předpovědi na jediném datovém bodu. Existuje mnoho důvodů, proč modely dělají chyby, takže vytvoření technologie, která dokáže tyto chyby předvídat, nebylo snadným úkolem. Máme velké štěstí, že máme inženýry, které děláme.

Jak může systém pomoci zabránit zkreslení AI?

Zkreslení modelu pochází z nesouladu mezi daty, na kterých byl model trénován, a daty, která používá k vytváření předpovědí. Vraťme se k riziku AI, zkreslení je hlavním problémem připisovaným tichým chybám. To je například často problém s nedostatečně zastoupenou populací. Model může mít zkreslení, protože viděl méně dat z této populace, což dramaticky ovlivní výkon tohoto modelu a přesnost jeho předpovědí. AI Firewall může organizace upozornit na tyto nesrovnalosti v datech a pomoci modelu činit správná rozhodnutí.

Jaká jsou některá další rizika pro organizace, kterým pomáhá AI firewall předcházet?

Každá společnost využívající AI k automatizaci rozhodování, zejména kritických, automaticky přináší riziko. Špatná data mohou být tak zanedbatelná jako zadání nuly místo jedničky a přesto mohou mít závažné důsledky. Ať už jsou rizikem nesprávné lékařské předpovědi nebo falešné předpovědi ohledně půjček, AI Firewall pomáhá organizacím zcela předcházet riziku.

Je ještě něco, o co byste se chtěli podělit o Robust Intelligence?

Robust Intelligence rychle roste a na pozice se nám hlásí spousta skvělých kandidátů. Ale něco, co bych opravdu chtěl zdůraznit lidem, kteří uvažují o podání přihlášky, je to, že nejdůležitější vlastností, kterou u kandidátů hledáme, je jejich nadšení pro poslání. Setkáváme se s mnoha kandidáty, kteří jsou technicky silní, takže jde skutečně o to, abychom pochopili, zda jsou skutečně nadšení pro eliminaci rizika AI, aby se svět stal bezpečnějším a lepším místem.

Ve světě, ke kterému směřujeme, bude mnoho rozhodnutí, která jsou v současnosti činěna lidmi, automatizováno. Ať se nám to líbí nebo ne, to je fakt. Vzhledem k tomu všichni v Robust Intelligence chceme, aby se automatizovaná rozhodnutí dělala zodpovědně. Takže každý, kdo je nadšený z toho, že může něco ovlivnit, kdo chápe, jak to může ovlivnit životy lidí, je kandidát, kterého hledáme, aby se připojil k Robust Intelligence. Hledáme tu vášeň. Hledáme lidi, kteří vytvoří tuto technologii, kterou bude používat celý svět.

Děkuji za skvělý rozhovor, rád jsem se dozvěděl o vašich názorech na předcházení zkreslení AI a na potřebu AI firewallu, čtenáři, kteří se chtějí dozvědět více, by měli navštívit Robustní inteligence.