Yaron Singer, VD på Robust Intelligence & Professor i datavetenskap vid Harvard University – Intervjuserie

Yaron Singer är VD för Robust Intelligence och professor i datavetenskap och tillämpad matematik vid Harvard. Yaron är känd för banbrytande resultat inom maskinlärning, algoritmer och optimering. Tidigare arbetade Yaron på Google Research och avlade sin doktorsexamen från UC Berkeley.

Vad var det som initialt drog dig till området datavetenskap och maskinlärning?

Min resa började med matematik, som ledde mig till datavetenskap, som satte mig på vägen till maskinlärning. Matematik drog initialt till mig eftersom dess axiomatiska system gav mig möjlighet att skapa nya världar. Med datavetenskap lärde jag mig om existerande bevis, men också algoritmerna bakom dem. Ur ett kreativt perspektiv är datavetenskap ritandet av gränser mellan vad vi kan och inte kan göra.

Mitt intresse för maskinlärning har alltid varit rotat i ett intresse för riktiga data, nästan den fysiska aspekten av det. Att ta saker från den riktiga världen och modellera dem för att skapa något meningsfullt. Vi kunde bokstavligen konstruera en bättre värld genom meningsfull modellering. Så matematik gav mig en grund för att bevisa saker, datavetenskap hjälper mig att se vad som kan och inte kan göras, och maskinlärning möjliggör för mig att modellera dessa koncept i världen.

Fram till nyligen var du professor i datavetenskap och tillämpad matematik vid Harvard University, vad var några av dina viktigaste slutsatser från denna erfarenhet?

Min största slutsats från att vara en fakultetsmedlem vid Harvard är att det utvecklar en persons aptit för att göra stora saker. Harvard har traditionellt sett en liten fakultet, och förväntan från tenure track-fakultet är att tackla stora problem och skapa nya fält. Du måste vara djärv. Detta slutar med att vara utmärkt förberedelse för att lansera en kategoriskapande startup som definierar ett nytt utrymme. Jag rekommenderar inte nödvändigtvis att gå genom Harvard-tenure track först – men om du överlever det, är det lättare att bygga en startup.

Kunde du beskriva ditt “aha”-ögonblick när du insåg att sofistikerade AI-system är sårbara för dåliga data, med några potentiellt långtgående implikationer?

När jag var doktorand vid UC Berkeley, tog jag några månader ledigt för att göra en startup som byggde maskinlärningsmodeller för marknadsföring i sociala nätverk. Detta var tillbaka 2010. Vi hade massor av data från sociala medier, och vi kodade alla modeller från scratch. De finansiella implikationerna för detaljhandlare var ganska betydande, så vi följde modellernas prestanda noga. Eftersom vi använde data från sociala medier, fanns det många fel i indata, samt drifter. Vi såg att mycket små fel resulterade i stora förändringar i modellens utdata och kunde resultera i dåliga finansiella resultat för detaljhandlare som använde produkten.

När jag gick över till att arbeta med Google+ (för oss som minns), såg jag exakt samma effekter. Mer dramatiskt, i system som AdWords som gjorde förutsägelser om sannolikheten för att människor skulle klicka på en annons för nyckelord, märkte vi att små fel i indata till modellen ledde till mycket dåliga förutsägelser. När du vittnar om detta problem i Google-skala, inser du att problemet är universellt.

Dessa upplevelser påverkade starkt min forskningsfokus, och jag tillbringade min tid vid Harvard med att undersöka varför AI-modeller gör misstag och, viktigt, hur man kan utforma algoritmer som kan förhindra att modeller gör misstag. Detta ledde naturligtvis till fler “aha”-ögonblick och, till slut, till skapandet av Robust Intelligence.

Kunde du dela den genesisberättelse bakom Robust Intelligence?

Robust Intelligence började med forskning på vad som initialt var ett teoretiskt problem: vilka garantier kan vi ha för beslut som fattas med hjälp av AI-modeller. Kojin var en student vid Harvard, och vi arbetade tillsammans, initialt skrev vi forskningspapper. Så, det börjar med att skriva papper som beskriver vad som är fundamentalt möjligt och omöjligt, teoretiskt. Dessa resultat ledde senare till ett program för att utforma algoritmer och modeller som är robusta mot AI-fel. Vi byggde sedan system som kunde köra dessa algoritmer i praktiken. Efter det var det ett naturligt nästa steg att starta ett företag där organisationer kunde använda ett system som detta.

Många av de problem som Robust Intelligence hanterar är tysta fel, vad är dessa och vad gör dem så farliga?

Innan jag ger en teknisk definition av tysta fel, är det värt att ta ett steg tillbaka och förstå varför vi bryr oss om att AI-modeller gör fel över huvud taget. Anledningen till att vi bryr oss om att AI-modeller gör misstag är konsekvenserna av dessa misstag. Vår värld använder AI för att automatisera kritiska beslut: vem som får ett företagslån och till vilken ränta, vem som får sjukförsäkring och till vilken ränta, vilka områden som polisen bör patrullera, vem som är mest sannolikt att vara en toppkandidat för ett jobb, hur vi ska organisera flygplatsens säkerhet, och så vidare. Det faktum att AI-modeller är extremt felbenägna innebär att vi ärver en stor mängd risk när vi automatiserar dessa kritiska beslut. På Robust Intelligence kallar vi detta “AI-risk” och vår mission i företaget är att eliminera AI-risk.

Tysta fel är AI-modellfel där AI-modellen tar emot indata och producerar en förutsägelse eller beslut som är felaktig eller partisk som utdata. Så, på ytan, ser allt ut att fungera som det ska för systemet, eftersom AI-modellen gör vad den ska från ett funktionellt perspektiv. Men förutsägelsen eller beslutet är felaktigt. Dessa fel är tysta eftersom systemet inte vet att det finns ett fel. Detta kan vara mycket värre än fallet där en AI-modell inte producerar någon utdata, eftersom det kan ta lång tid för organisationer att inse att deras AI-system är felaktigt. Då blir AI-risk AI-fel som kan ha allvarliga konsekvenser.

Robust Intelligence har i princip utformat en AI-brandvägg, en idé som tidigare ansågs omöjlig. Varför är detta så stor teknisk utmaning?

En anledning till att AI-brandväggen är så stor utmaning är att den går emot paradigm som ML-samhället hade. ML-samhällets tidigare paradigm har varit att för att utrota fel, behöver man mata mer data, inklusive dålig data, till modellerna. Genom att göra det kommer modellerna att träna sig själva och lära sig att självkorrigera misstagen. Problemet med den tillvägagångssättet är att det orsakar modellens noggrannhet att sjunka dramatiskt. De bästa kända resultaten för bilder, till exempel, orsakar AI-modellens noggrannhet att sjunka från 98,5% till cirka 37%.

AI-brandväggen erbjuder en annan lösning. Vi kopplar loss problemet med att identifiera ett fel från rollen att skapa en förutsägelse, vilket innebär att brandväggen kan fokusera på en specifik uppgift: bestämma om en datapunkt kommer att producera en felaktig förutsägelse.

Detta var en utmaning i sig på grund av svårigheten att ge en förutsägelse för en enskild datapunkt. Det finns många anledningar till varför modeller gör fel, så att bygga en teknik som kan förutsäga dessa fel var inte en lätt uppgift. Vi är mycket lyckliga att ha de ingenjörer vi har.

Hur kan systemet hjälpa till att förhindra AI-partiskhet?

Modellpartiskhet kommer från en diskrepans mellan de data som modellen tränades på och de data den använder för att göra förutsägelser. Återgående till AI-risk, är partiskhet ett stort problem som tillskrivs tysta fel. Till exempel är detta ofta ett problem med underrepresenterade befolkningar. En modell kan ha partiskhet eftersom den har sett mindre data från den befolkningen, vilket kommer att påverka modellens prestanda och noggrannhet avsevärt. AI-brandväggen kan varna organisationer för dessa dataavvikelser och hjälpa modellen att fatta riktiga beslut.

Vilka är några av de andra riskerna för organisationer som en AI-brandvägg hjälper till att förhindra?

Varje företag som använder AI för att automatisera beslut, särskilt kritiska beslut, introducerar automatiskt risk. Dålig data kan vara så liten som att mata in en nolla istället för en etta och fortfarande resultera i betydande konsekvenser. Oavsett om risken är felaktiga medicinska förutsägelser eller felaktiga förutsägelser om utlåning, hjälper AI-brandväggen organisationer att förhindra risk över huvud taget.

Finns det något annat du vill dela om Robust Intelligence?

Robust Intelligence växer snabbt och vi får många bra kandidater som söker jobb. Men något jag verkligen vill betona för de som överväger att söka är att den viktigaste egenskapen vi söker hos kandidater är deras passion för uppdraget. Vi får möta många kandidater som är tekniskt starka, så det handlar verkligen om att förstå om de verkligen är passionerade om att eliminera AI-risk för att göra världen till en säkrare och bättre plats.

I den värld vi är på väg mot, kommer många beslut som för närvarande fattas av människor att automatiseras. Oavsett om vi gillar det eller inte, det är ett faktum. Med tanke på det vill alla på Robust Intelligence att automatiserade beslut ska fattas på ett ansvarsfullt sätt. Så, alla som är entusiastiska över att göra en inverkan, som förstår hur det kan påverka människors liv, är en kandidat vi söker för att ansluta sig till Robust Intelligence. Vi söker den passionen. Vi söker de människor som kommer att skapa den tekniken som hela världen kommer att använda.

Tack för den utmärkta intervjun, jag njöt av att lära mig om dina åsikter om att förhindra AI-partiskhet och om behovet av en AI-brandvägg, läsare som vill lära sig mer bör besöka Robust Intelligence.