Yaron Singer, izvršni direktor tvrtke Robust Intelligence i profesor računalnih znanosti na Sveučilištu Harvard – serija intervjua

Yaron Singer je izvršni direktor tvrtke Robusna inteligencija i profesor računarstva i primijenjene matematike na Harvardu. Yaron je poznat po revolucionarnim rezultatima u strojnom učenju, algoritmima i optimizaciji. Prethodno je Yaron radio u Google Researchu i doktorirao na UC Berkeley.

Što vas je na početku privuklo području informatike i strojnog učenja?

Moje putovanje počelo je s matematikom, koja me dovela do informatike, koja me usmjerila na put strojnog učenja. Matematika me je isprva zainteresirala jer mi je njezin aksiomatski sustav dao mogućnost stvaranja novih svjetova. Uz informatiku sam naučio o egzistencijalnim dokazima, ali i algoritmima koji stoje iza njih. Iz kreativne perspektive, informatika je povlačenje granica između onoga što možemo i ne možemo učiniti.

Moj interes za strojno učenje uvijek je bio ukorijenjen u interesu za stvarne podatke, gotovo njihov fizički aspekt. Uzimanje stvari iz stvarnog svijeta i njihovo modeliranje kako bi se napravilo nešto smisleno. Mogli bismo doslovno konstruirati bolji svijet smislenim modeliranjem. Dakle, matematika mi je dala temelj za dokazivanje stvari, informatika mi pomaže vidjeti što se može, a što ne može učiniti, a strojno učenje mi omogućuje modeliranje ovih koncepata u svijetu.

Donedavno ste bili profesor informatike i primijenjene matematike na Sveučilištu Harvard, koji su neki od vaših ključnih zaključaka iz ovog iskustva?

Moje najveće zadovoljstvo što sam član fakulteta na Harvardu je to što razvijam apetit za velikim stvarima. Harvard tradicionalno ima mali fakultet, a od stalnog profesorskog osoblja se očekuje da se uhvati u koštac s velikim problemima i stvori nova polja. Morate biti odvažni. Ovo na kraju predstavlja izvrsnu pripremu za pokretanje startupa koji stvara kategorije i definira novi prostor. Ne preporučujem nužno da prvo prođete stazu na Harvardu – ali ako to preživite, lakše je izgraditi startup.

Možete li opisati svoj 'aha' trenutak kada ste shvatili da su sofisticirani AI sustavi osjetljivi na loše podatke, s nekim potencijalno dalekosežnim implikacijama?

Kad sam bio diplomski student na UC Berkeleyu, uzeo sam malo slobodnog vremena kako bih napravio startup koji je izgradio modele strojnog učenja za marketing na društvenim mrežama. Bilo je to davne 2010. Imali smo ogromne količine podataka s društvenih medija i kodirali smo sve modele od nule. Financijske implikacije za trgovce na malo bile su prilično značajne pa smo pomno pratili performanse modela. Budući da smo koristili podatke s društvenih mreža, bilo je mnogo pogrešaka u unosu, kao i odstupanja. Vidjeli smo da su vrlo male pogreške rezultirale velikim promjenama u izlazu modela i mogle rezultirati lošim financijskim ishodima za trgovce na malo koji koriste proizvod.

Kad sam počeo raditi na Googleu+ (za nas koji se sjećamo), vidio sam potpuno iste učinke. Što je još dramatičnije, u sustavima poput AdWordsa koji su predviđali vjerojatnost da ljudi kliknu na oglas za ključne riječi, primijetili smo da male pogreške u unosu u model dovode do vrlo loših predviđanja. Kada svjedočite ovom problemu na razini Googlea, shvatite da je problem univerzalan.

Ta su iskustva uvelike oblikovala moj istraživački fokus i proveo sam vrijeme na Harvardu istražujući zašto AI modeli griješe i, što je još važnije, kako dizajnirati algoritme koji mogu spriječiti modele da pogriješe. To je, naravno, dovelo do više 'aha' trenutaka i, na kraju, do stvaranja robusne inteligencije.

Možete li podijeliti priču o nastanku iza Robustne inteligencije?

Robust Intelligence započeo je s istraživanjem onoga što je u početku bio teorijski problem: koja su jamstva koja možemo imati za odluke donesene korištenjem AI modela. Kojin je bio student na Harvardu i radili smo zajedno, isprva pišući istraživačke radove. Dakle, počinje s pisanjem radova koji ocrtavaju što je fundamentalno moguće i nemoguće, teoretski. Ti su se rezultati kasnije nastavili u programu za dizajniranje algoritama i modela koji su otporni na kvarove umjetne inteligencije. Zatim gradimo sustave koji mogu pokrenuti te algoritme u praksi. Nakon toga, pokretanje tvrtke u kojoj bi organizacije mogle koristiti ovakav sustav bio je prirodni sljedeći korak.

Mnogi problemi kojima se Robust Intelligence bavi su tihe pogreške, što su to i što ih čini tako opasnima?

Prije nego što damo tehničku definiciju tihih pogrešaka, vrijedi napraviti korak unatrag i razumjeti zašto bismo uopće trebali brinuti o tome da umjetna inteligencija čini pogreške. Razlog zašto nam je stalo da AI modeli griješe su posljedice tih grešaka. Naš svijet koristi umjetnu inteligenciju za automatizaciju ključnih odluka: tko dobiva poslovni zajam i po kojoj kamatnoj stopi, tko dobiva zdravstveno osiguranje i po kojoj stopi, u kojim bi četvrtima policija trebala patrolirati, tko će najvjerojatnije biti najbolji kandidat za posao, kako bismo trebali organizirati sigurnost zračne luke, i tako dalje. Činjenica da su modeli umjetne inteligencije iznimno skloni pogreškama znači da u automatizaciji ovih kritičnih odluka nasljeđujemo veliki rizik. U Robust Intelligenceu to zovemo "rizik umjetne inteligencije" i naša je misija u tvrtki eliminirati rizik umjetne inteligencije.

Tihe pogreške su pogreške modela umjetne inteligencije gdje model umjetne inteligencije prima input i daje predviđanje ili odluku koja je pogrešna ili pristrana kao izlaz. Dakle, na površini, sve u sustavu izgleda OK, u smislu da AI model radi ono što bi trebao raditi iz funkcionalne perspektive. Ali predviđanje ili odluka je pogrešna. Ove greške su tihe jer sustav ne zna da postoji greška. To može biti daleko gore od slučaja u kojem model umjetne inteligencije ne proizvodi rezultate, jer može proći dosta vremena dok organizacije ne shvate da je njihov sustav umjetne inteligencije neispravan. Tada rizik od umjetne inteligencije postaje neuspjeh umjetne inteligencije koji može imati strašne posljedice.

Robust Intelligence je u biti dizajnirao AI Firewall, ideju koja se prije smatrala nemogućom. Zašto je to takav tehnički izazov?

Jedan od razloga zašto je AI Firewall takav izazov je taj što je u suprotnosti s paradigmom ML zajednice. Prethodna paradigma zajednice ML-a bila je da je za iskorjenjivanje pogrešaka potrebno unijeti više podataka, uključujući i loše podatke, u modele. Time će se modeli vježbati i naučiti kako sami ispravljati pogreške. Problem s tim pristupom je što uzrokuje dramatičan pad točnosti modela. Najpoznatiji rezultati za slike, na primjer, uzrokuju pad točnosti AI modela s 98.5% na oko 37%.

AI Firewall nudi drugačije rješenje. Odvajamo problem identificiranja pogreške od uloge stvaranja predviđanja, što znači da se vatrozid može usredotočiti na jedan specifičan zadatak: odrediti hoće li podatkovna točka proizvesti pogrešno predviđanje.

Ovo je samo po sebi bio izazov zbog poteškoća davanja predviđanja na temelju jedne podatkovne točke. Mnogo je razloga zašto modeli čine pogreške, pa izgradnja tehnologije koja može predvidjeti te pogreške nije bila lak zadatak. Jako smo sretni što imamo inženjere kakve imamo.

Kako sustav može pomoći u sprječavanju pristranosti umjetne inteligencije?

Pristranost modela proizlazi iz nepodudarnosti između podataka na kojima je model obučen i podataka koje koristi za izradu predviđanja. Vraćajući se na rizik umjetne inteligencije, pristranost je glavni problem koji se pripisuje tihim pogreškama. Na primjer, ovo je često problem s podzastupljenim stanovništvom. Model može imati pristranost jer je vidio manje podataka iz te populacije, što će dramatično utjecati na izvedbu tog modela i točnost njegovih predviđanja. Vatrozid umjetne inteligencije može upozoriti organizacije na te razlike u podacima i pomoći modelu da donese ispravne odluke.

Koji su neki od drugih rizika za organizacije koje AI vatrozid pomaže spriječiti?

Svaka tvrtka koja koristi umjetnu inteligenciju za automatizaciju odluka, posebno kritičnih odluka, automatski unosi rizik. Neispravni podaci mogu biti neznatni poput unosa nule umjesto jedinice, a opet rezultirati značajnim posljedicama. Bilo da je rizik netočna medicinska predviđanja ili lažna predviđanja o kreditiranju, AI Firewall pomaže organizacijama da u potpunosti spriječe rizik.

Postoji li još nešto što biste željeli podijeliti o Robust Intelligence-u?

Robust Intelligence brzo raste i dobivamo mnogo izvrsnih kandidata koji se prijavljuju za radna mjesta. Ali nešto što stvarno želim naglasiti za ljude koji razmišljaju o prijavi je da je najvažnija kvaliteta koju tražimo kod kandidata njihova strast za misijom. Susrećemo mnogo kandidata koji su tehnički jaki, tako da se zapravo svodi na razumijevanje jesu li doista strastveni u uklanjanju rizika AI kako bi svijet učinili sigurnijim i boljim mjestom.

U svijetu prema kojem idemo, mnoge odluke koje trenutno donose ljudi bit će automatizirane. Sviđalo se to nama ili ne, to je činjenica. S obzirom na to, svi mi u Robust Intelligenceu želimo da se automatizirane odluke donose odgovorno. Dakle, svatko tko je uzbuđen zbog utjecaja, tko razumije način na koji to može utjecati na ljudske živote, kandidat je kojeg tražimo da se pridruži Robust Intelligence-u. Mi tražimo tu strast. Tražimo ljude koji će stvoriti ovu tehnologiju koju će koristiti cijeli svijet.

Hvala vam na sjajnom intervjuu, uživao sam saznati o vašim stavovima o sprječavanju pristranosti umjetne inteligencije io potrebi za AI vatrozidom, čitatelji koji žele saznati više trebali bi posjetiti Robusna inteligencija.