Yaron Singer, CEO at Robust Intelligence & Professor of Computer Science at Harvard University – Interview Series

Yaron Singer je CEO společnosti Robust Intelligence a profesor počítačových věd a aplikované matematiky na Harvardu. Yaron je známý pro průlomové výsledky v oblasti strojového učení, algoritmů a optimalizace. Předtím pracoval v Google Research a získal doktorát na UC Berkeley.

Co vás最初 přitáhlo k oboru počítačových věd a strojového učení?

Moje cesta začala s matematikou, která mě vedla k počítačovým vědám, které mě nastartovaly na cestu ke strojovému učení. Matematika mě zpočátku zajímala, protože její axiomatický systém mi umožnil vytvářet nové světy. S počítačovými vědami jsem se naučil o existenčních důkazech, ale také o algoritmech, které stojí za nimi. Z tvůrčího hlediska jsou počítačové vědy kreslením hranic mezi tím, co můžeme a nemůžeme udělat.

Můj zájem o strojové učení vždy byl zakořeněn v zájmu o reálná data, téměř fyzické aspekty. Brát věci z reálného světa a modelovat je, aby vytvořily něco smysluplného. Mohli bychom doslova navrhnout lepší svět prostřednictvím smysluplného modelování. Matematika mi poskytla základ pro dokázání věcí, počítačové vědy mi pomáhají vidět, co můžeme a nemůžeme udělat, a strojové učení mi umožňuje modelovat tyto koncepty ve světě.

Dokud nedávno jste byl profesorem počítačových věd a aplikované matematiky na Harvard University, co byly některé z vašich klíčových poznatků z této zkušenosti?

Můj největší poznatek z toho, že jsem byl členem fakulty na Harvardu, je, že to rozvíjí chuť dělat velké věci. Harvard tradičně má malou fakultu a očekávání od tenure track fakulty je řešit velké problémy a vytvářet nová odvětví. Musíte být odvážní. To se nakonec stává skvělou přípravou na spuštění kategorie-tvořícího startupu, který definuje nový prostor. Nerad bych doporučil jít touto cestou nejdříve, ale pokud přežijete to, budování startupu je snazší.

Můžete popsat svůj ‘aha’ moment, kdy jste si uvědomil, že sofistikované AI systémy jsou zranitelné vůči špatným datům, s některými potenciálně daleko sahajícími důsledky?

Když jsem byl doktorandem na UC Berkeley, vzal jsem si čas, abych udělal startup, který stavěl modely strojového učení pro marketing ve sociálních sítích. To bylo v roce 2010. Měli jsme obrovské množství dat ze sociálních médií a kódovali jsme všechny modely od začátku. Finanční důsledky pro maloobchodníky byly bastante významné, takže jsme sledovali výkon modelů velmi pečlivě. Protože jsme používali data ze sociálních médií, byly tam mnoho chyb ve vstupu, stejně jako drift. Viděli jsme, že velmi malé chyby vedly k velkým změnám ve výstupu modelu a mohly vést k špatným finančním výsledkům pro maloobchodníky, kteří používali produkt.

Když jsem přešel do práce na Google+ (pro ty z nás, kteří si to pamatují), viděl jsem přesně stejné účinky. Více dramaticky, v systémech, jako je AdWords, které dělaly předpovědi o pravděpodobnosti, že lidé kliknou na reklamu pro klíčová slova, jsme si všimli, že malé chyby ve vstupu do modelu vedly k velmi špatným předpovědím. Když jste svědkem tohoto problému v rozsahu Google, uvědomíte si, že problém je univerzální.

Tyto zkušenosti silně ovlivnily můj výzkumný focus a strávil jsem čas na Harvardu, zkoumající, proč AI modely dělají chyby a důležitěji, jak navrhnout algoritmy, které mohou zabránit modelům, aby dělaly chyby. To samozřejmě vedlo k více ‘aha’ momentům a nakonec k vytvoření Robust Intelligence.

Můžete sdílet příběh o vzniku Robust Intelligence?

Robust Intelligence začal s výzkumem, co bylo původně teoretickým problémem: jaké záruky můžeme mít pro rozhodnutí učiněná pomocí AI modelů. Kojin byl studentem na Harvardu a pracovali jsme spolu, původně psali výzkumné články. Takže to začíná s psaním článků, které nastiňují, co je fundamentálně možné a nemožné, teoreticky. Tyto výsledky později pokračovaly k programu pro navrhování algoritmů a modelů, které jsou odolné vůči AI selháním. Poté stavíme systémy, které mohou běžet tyto algoritmy v praxi. Počínaje společností, kde organizace mohou použít systém, jako je tento, byl přirozeným dalším krokem.

Můžete vysvětlit, co jsou tiché chyby, a co je tak nebezpečné?

Než dám technickou definici tichých chyb, stojí za to udělat krok zpět a pochopit, proč bychom se měli starat o to, že AI modely dělají chyby. Důvod, proč se staráme o to, že AI modely dělají chyby, jsou důsledky těchto chyb. Náš svět používá AI k automatizaci kritických rozhodnutí: kdo dostane obchodní půjčku a za jakou úrokovou sazbu, kdo dostane zdravotní pojištění a za jakou sazbu, které čtvrtě by měly policejní hlídky, kdo je nejpravděpodobnější kandidát na práci, jak bychom měli organizovat bezpečnost letiště a tak dále. Skutečnost, že AI modely jsou extrémně náchylné k chybám, znamená, že při automatizaci těchto kritických rozhodnutí zdědíme velké riziko. V Robust Intelligence nazýváme toto “AI Riziko” a naše mise ve společnosti je eliminovat AI Riziko.

Tiché chyby jsou AI modely chyby, kde AI model obdrží vstup a produkuje předpověď nebo rozhodnutí, které je chybné nebo zkreslené jako výstup. Takže na povrchu vypadá vše v pořádku, v tom smyslu, že AI model dělá to, co se od něj očekává z funkčního hlediska. Ale předpověď nebo rozhodnutí je chybné. Tyto chyby jsou tiché, protože systém neví, že existuje chyba. To může být daleko horší než případ, kdy AI model nevytváří výstup, protože může trvat dlouho, než organizace uvědomí, že jejich AI systém je vadný. Poté se AI riziko stává AI selháním, které může mít katastrofické důsledky.

Robust Intelligence prakticky navrhl AI Firewall, nápad, který byl dříve považován za nemožný. Proč je to tak velký technický výzva?

Jedním z důvodů, proč je AI Firewall takovou výzvou, je, že jde proti paradigmatu, které mělo ML komunita. Předchozí paradigmata ML komunity bylo, že aby se odstranily chyby, je třeba krmit více dat, včetně špatných dat do modelů. Tím, že to uděláte, modely se naučí samy a naučí se, jak se selbst-opravit chyby. Problém s tímto přístupem je, že způsobí, že přesnost modelu dramaticky poklesne. Nejznámější výsledky pro obrázky, například, způsobí, že přesnost AI modelu poklesne z 98,5% na asi 37%.

AI Firewall nabízí jinou řešení. My oddělujeme problém identifikace chyby od role vytváření předpovědi, což znamená, že firewall se může soustředit na jednu konkrétní úlohu: určit, zda datapoint vytvoří chybnou předpověď.

To byla sama o sobě výzva kvůli obtížnosti poskytnout předpověď pro jeden datapoint. Existuje mnoho důvodů, proč modely dělají chyby, takže stavba technologie, která může předpovědět tyto chyby, nebyla snadnou úlohou. Jsme velmi šťastní, že máme inženýry, které máme.

Jak může systém pomoci zabránit AI bias?

Model bias pochází z nesouladu mezi daty, na kterých byl model trénován, a daty, které používá k vytváření předpovědí. Vrátíme-li se k AI riziku, bias je hlavní problém spojený s tichými chybami. Například, toto je často problém s podreprezentovanými populacemi. Model může mít bias, protože viděl méně dat z této populace, což dramaticky ovlivní výkon modelu a přesnost jeho předpovědí. AI Firewall může upozornit organizace na tyto datové nesrovnalosti a pomoci modelu učinit správná rozhodnutí.

Co jsou některé další rizika pro organizace, kterým AI firewall pomáhá zabránit?

Každá společnost, která používá AI k automatizaci rozhodnutí, zejména kritických rozhodnutí, automaticky zavádí riziko. Špatná data mohou být tak malá, jako vstupovat nulu místo jedné, a přesto vést k významným důsledkům. Bez ohledu na to, zda je riziko nesprávné lékařské předpovědi nebo falešné předpovědi o půjčkách, AI Firewall pomáhá organizacím zabránit riziku úplně.

Je něco jiného, co byste chtěl sdílet o Robust Intelligence?

Robust Intelligence roste rychle a dostáváme mnoho skvělých kandidátů, kteří se uchází o pozice. Ale něco, co opravdu chci zdůraznit pro lidi, kteří zvažují přihlášení, je, že nejvýznamnější kvalitou, kterou hledáme u kandidátů, je jejich vášeň pro misi. Setkáváme se s mnoha kandidáty, kteří jsou silní technicky, takže to opravdu záleží na tom, zda skutečně rozumí, zda jsou skutečně vášniví o eliminaci AI rizika, aby udělali svět bezpečnějším a lepším místem.

V světě, kam směřujeme, mnoho rozhodnutí, která jsou現在 dělána lidmi, bude automatizováno. Bez ohledu na to, zda to máme rádi nebo ne, je to fakt. Vzhledem k tomu, všichni v Robust Intelligence chceme, aby automatizovaná rozhodnutí byla učiněna zodpovědně. Takže, kdokoliv, kdo je nadšen tím, aby udělal dopad, kdo rozumí tomu, jak to může ovlivnit životy lidí, je kandidát, kterého hledáme, aby se připojil k Robust Intelligence. Hledáme tu vášeň. Hledáme lidi, kteří vytvoří tuto technologii, kterou bude celý svět používat.

Děkuji za skvělý rozhovor, užíval jsem si to, že jsem se dozvěděl o vašich názorech na prevenci AI bias a potřebě AI firewall, čtenáři, kteří chtějí dozvědět se více, by měli navštívit Robust Intelligence.