Yaron Singer, generální ředitel Robust Intelligence a profesor počítačových věd na Harvardově univerzitě – Interview Series

Yaron Singer je generálním ředitelem Robust Intelligence a profesorem počítačových věd a aplikované matematiky na Harvardu. Yaron je známý pro průlomové výsledky v oblasti strojového učení, algoritmů a optimalizace. Předtím pracoval v Google (GOOGL ) Research a získal doktorát na UC Berkeley.

Co vás původně přitáhlo k oboru počítačových věd a strojového učení?

Má cesta začala s matematikou, která mě vedla k počítačovým vědám, které mě nastartovaly k strojovému učení. Matematika mě zpočátku zajímala, protože její axiomatický systém mi umožnil vytvářet nové světy. S počítačovými vědami jsem se naučil o existenčních důkazech, ale také o algoritmech, které je podporují. Z tvůrčího hlediska jsou počítačové vědy kreslením hranic mezi tím, co můžeme a nemůžeme udělat.

Můj zájem o strojové učení vždy vycházel z zájmu o reálná data, téměř fyzickou stránku toho. Brát věci z reálného světa a modelovat je, aby něco smysluplného vytvořily. Mohli bychom doslova navrhnout lepší svět pomocí smysluplného modelování. Matematika mi poskytla základ pro dokázání věcí, počítačové vědy mi pomáhají vidět, co můžeme a nemůžeme udělat, a strojové učení mi umožňuje modelovat tyto koncepty ve světě.

Dokud jste nebyl profesorem počítačových věd a aplikované matematiky na Harvardově univerzitě, jaké byly některé z vašich hlavních poznatků z této zkušenosti?

Můj největší poznatek z působení jako člen fakulty na Harvardu je, že rozvíjí chuť dělat velké věci. Harvard tradičně má malou fakultu a očekávání od členů fakulty je, že se budou zabývat velkými problémy a vytvářet nové obory. Musíte být odvážní. To nakonec vede k velké přípravě na spuštění kategorie-tvořícího startupu, který definuje nový prostor. Nemusím nutně doporučovat jít touto cestou, ale pokud přežijete harvardskou kariéru, budování startupu je snazší.

Můžete popsat svůj “aha” moment, kdy jste si uvědomil, že sofistikované systémy AI jsou zranitelné vůči špatným datům, s některými potenciálně daleko sahajícími důsledky?

Když jsem byl doktorandem na UC Berkeley, vzal jsem si čas na to, abych založil startup, který stavěl modely strojového učení pro marketing v sociálních sítích. To bylo v roce 2010. Měli jsme obrovské množství dat ze sociálních médií a kódovali jsme všechny modely od začátku. Finanční důsledky pro maloobchodníky byly quite významné, takže jsme sledovali výkon modelů velmi pečlivě. Protože jsme používali data ze sociálních médií, byly tam mnoho chyb ve vstupu, stejně jako drift. Viděli jsme, že velmi malé chyby vedly k velkým změnám ve výstupu modelu a mohly vést k špatným finančním výsledkům pro maloobchodníky, kteří používali produkt.

Když jsem přešel do práce na Google+ (pro ty z nás, kteří si to pamatují), viděl jsem přesně stejné účinky. Více dramaticky, v systémech, jako je AdWords, které dělaly předpovědi o pravděpodobnosti, že lidé kliknou na reklamu pro klíčová slova, jsme si uvědomili, že malé chyby ve vstupu do modelu vedly k velmi špatným předpovědím. Když jste svědky tohoto problému v měřítku Google, uvědomíte si, že problém je univerzální.

Tyto zkušenosti silně ovlivnily můj výzkumný zájem a strávil jsem čas na Harvardu, zkoumající, proč modely AI dělají chyby a jak navrhnout algoritmy, které mohou zabránit chybám modelů. To samozřejmě vedlo k dalším “aha” momentům a nakonec k vytvoření Robust Intelligence.

Můžete sdílet příběh o vzniku Robust Intelligence?

Robust Intelligence začala s výzkumem toho, co bylo původně teoretickým problémem: jaké záruky můžeme mít pro rozhodnutí učiněná pomocí modelů AI. Kojin byl studentem na Harvardu a pracovali jsme spolu, zpočátku píšící výzkumné články. Takže to začíná psaním článků, které popisují, co je fundamentálně možné a nemožné, teoreticky. Tyto výsledky později pokračovaly k programu pro návrh algoritmů a modelů, které jsou odolné vůči chybám AI. Poté jsme postavili systémy, které mohou tyto algoritmy spouštět v praxi. Počínaje touto myšlenkou, založení společnosti, ve které organizace mohou použít takový systém, bylo přirozeným dalším krokem.

Mnohé z problémů, kterým Robust Intelligence čelí, jsou tiché chyby, co to jsou a co je dělá tak nebezpečnými?

Než dám technickou definici tichých chyb, stojí za to udělat krok zpět a pochopit, proč bychom se měli starat o chyby AI. Důvod, proč se staráme o chyby AI, je důsledky těchto chyb. Náš svět používá AI k automatizaci kritických rozhodnutí: kdo dostane obchodní půjčku a za jakou úrokovou sazbu, kdo dostane zdravotní pojištění a za jakou sazbu, které čtvrti by měly policie patrolovat, kdo je nejvíce pravděpodobný kandidát na práci, jak bychom měli organizovat bezpečnost letišť a tak dále. Skutečnost, že modely AI jsou extrémně chybující, znamená, že při automatizaci těchto kritických rozhodnutí zdědíme velké riziko. V Robust Intelligence nazýváme toto “AI Riziko” a naše mise je eliminovat AI Riziko.

Tiché chyby jsou chyby modelů AI, kde model AI obdrží vstup a produkuje předpověď nebo rozhodnutí, které je špatné nebo zkreslené. Na povrchu vypadá všechno v pořádku, protože model AI dělá to, co má dělat z funkčního hlediska. Ale předpověď nebo rozhodnutí je chybné. Tyto chyby jsou tiché, protože systém neví, že chyba existuje. To může být mnohem horší než případ, kdy model AI neprodukuje výstup, protože to může trvat dlouho, než organizace uvědomí, že jejich systém AI je vadný. Pak se AI riziko stává AI selháním, které může mít katastrofální důsledky.

Robust Intelligence navrhla esenciálně AI Firewall, myšlenku, která byla dříve považována za nemožnou. Proč je to tak velký technický výzva?

Jedním z důvodů, proč je AI Firewall takovou výzvou, je, že jde proti paradigmatu, které mělo komunita strojového učení. Předchozí paradigma komunity strojového učení bylo, že aby se chyby odstranily, je třeba krmit modely více daty, včetně špatných dat. Tímto způsobem se modely naučí samy sebe a opraví chyby. Problém s tímto přístupem je, že způsobí dramatický pokles přesnosti modelu. Nejlepší známé výsledky pro obrázky, například, způsobí pokles přesnosti modelu AI z 98,5% na asi 37%.

AI Firewall nabízí jiný řešení. Odpojíme problém identifikace chyby od role vytváření předpovědi, což znamená, že firewall se může soustředit na jednu konkrétní úlohu: určit, zda bod datového souboru produkuje chybnou předpověď.

To byla sama o sobě výzva kvůli obtížnosti předpovědi chyby v jednom bodě dat. Existuje mnoho důvodů, proč modely dělají chyby, takže stavba technologie, která může předpovídat tyto chyby, nebyla snadným úkolem. Jsme velmi štěstí, že máme inženýry, které máme.

Jak může systém pomoci zabránit zkreslení AI?

Zkreslení modelu pochází z rozdílu mezi daty, na kterých byl model trénován, a daty, která používá k vytváření předpovědí. Pokud se vrátíme k AI riziku, zkreslení je hlavní problém spojený s tichými chybami. Například, toto je často problém s podreprezentovanými populacemi. Model může mít zkreslení, protože viděl méně dat z této populace, což dramaticky ovlivní výkon modelu a přesnost jeho předpovědí. AI Firewall může upozornit organizace na tyto rozdíly ve datech a pomoci modelu učinit správná rozhodnutí.

Jaké jsou některé další rizika pro organizace, kterým AI firewall pomáhá zabránit?

Jakékoli společnosti, které používají AI k automatizaci rozhodnutí, zejména kritických rozhodnutí, automaticky zavádějí riziko. Špatná data mohou být tak jednoduchá, jako zadání nuly místo jedničky, a přesto vést k významným důsledkům. Bez ohledu na to, zda je riziko špatných lékařských předpovědí nebo falešných předpovědí o půjčkách, AI Firewall pomáhá organizacím zabránit riziku.

Je něco jiného, co byste rádi sdíleli o Robust Intelligence?

Robust Intelligence roste rychle a dostáváme mnoho skvělých kandidátů na pozice. Ale něco, co opravdu chci zdůraznit pro lidi, kteří zvažují přihlášení, je, že nejimportovanějším kvalitou, kterou hledáme u kandidátů, je jejich vášeň pro misi. Setkáváme se s mnoha kandidáty, kteří jsou silní technicky, takže to opravdu záleží na tom, zda skutečně rozumí eliminaci AI rizika a vytváření lepšího a bezpečnějšího světa.

V světě, kam směřujeme, mnoho rozhodnutí, která jsou nyní učiněna lidmi, bude automatizováno. Bez ohledu na to, zda se nám to líbí nebo ne, je to fakt. Vzhledem k tomu, všichni v Robust Intelligence chceme, aby automatizovaná rozhodnutí byla učiněna zodpovědně. Kdokoli, kdo je nadšen tím, aby měl dopad, kdo chápe, jak to může ovlivnit životy lidí, je kandidát, kterého hledáme, aby se připojil k Robust Intelligence. Hledáme tu vášeň. Hledáme lidi, kteří vytvoří tuto technologii, kterou bude celý svět používat.

Děkuji vám za skvělý rozhovor, bavilo mě se učit o vašich názorech na prevenci zkreslení AI a potřebě AI firewallu, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Robust Intelligence.