Yaron Singer, VD på Robust Intelligence och professor i datavetenskap vid Harvard University – Intervjuserie

Yaron Singer är VD för Robust Intelligence och professor i datavetenskap och tillämpad matematik vid Harvard. Yaron är känd för banbrytande resultat inom maskinlärning, algoritmer och optimering. Tidigare arbetade Yaron på Google (GOOGL ) Research och avlade sin doktorsexamen från UC Berkeley.

Vad var det som initialt drog dig till datavetenskap och maskinlärning?

Min resa började med matematik, som ledde mig till datavetenskap, som satte mig på vägen till maskinlärning. Matematik drog initialt min uppmärksamhet eftersom dess axiomatiska system gav mig möjlighet att skapa nya världar. Med datavetenskap lärde jag mig om existerande bevis, men också algoritmerna bakom dem. Ur ett kreativt perspektiv är datavetenskap ritandet av gränser mellan vad vi kan och inte kan göra.

Mitt intresse för maskinlärning har alltid varit rotat i ett intresse för riktiga data, nästan den fysiska aspekten av det. Att ta saker från den riktiga världen och modellera dem för att skapa något meningsfullt. Vi kunde bokstavligen konstruera en bättre värld genom meningsfull modellering. Så matematik gav mig en grund för att bevisa saker, datavetenskap hjälper mig att se vad som kan och inte kan göras, och maskinlärning möjliggör för mig att modellera dessa koncept i världen.

Tills nyligen var du professor i datavetenskap och tillämpad matematik vid Harvard University, vad var några av dina viktigaste lärdomar från den erfarenheten?

Min största lärdom från att vara en fakultetsmedlem vid Harvard är att det utvecklar en persons aptit för att göra stora saker. Harvard har traditionellt sett en liten fakultet, och förväntningen från tenure track-fakultet är att tackla stora problem och skapa nya fält. Du måste vara djärv. Detta visar sig vara en utmärkt förberedelse för att starta ett företag som skapar en ny kategori och definierar ett nytt utrymme. Jag rekommenderar inte nödvändigtvis att gå genom Harvard-tenure-spåret först, men om du överlever det, är det lättare att bygga ett företag.

Kunde du beskriva ditt “aha”-ögonblick när du insåg att avancerade AI-system är sårbara för dåliga data, med vissa långtgående konsekvenser?

När jag var doktorand vid UC Berkeley, tog jag en paus för att starta ett företag som byggde maskinlärningsmodeller för marknadsföring i sociala nätverk. Detta var 2010. Vi hade massor av data från sociala medier, och vi kodade alla modeller från scratch. De finansiella konsekvenserna för detaljhandlare var ganska betydande, så vi följde modellernas prestanda noga. Eftersom vi använde data från sociala medier, fanns det många fel i indata, samt drifter. Vi såg att mycket små fel resulterade i stora förändringar i modellens utdata och kunde resultera i dåliga finansiella resultat för detaljhandlare som använde produkten.

När jag gick över till att arbeta med Google+ (för oss som minns), såg jag exakt samma effekter. Mer dramatiskt, i system som AdWords som gjorde förutsägelser om sannolikheten för att människor skulle klicka på en annons för nyckelord, märkte vi att små fel i indata till modellen ledde till mycket dåliga förutsägelser. När du ser detta problem i Google-skala, inser du att problemet är universellt.

De här erfarenheterna formade starkt min forskningsfokus, och jag tillbringade min tid vid Harvard med att undersöka varför AI-modeller gör misstag och, viktigt, hur man kan utforma algoritmer som kan förhindra att modeller gör misstag. Detta ledde till fler “aha”-ögonblick och, till slut, till skapandet av Robust Intelligence.

Kunde du dela berättelsen bakom Robust Intelligence?

Robust Intelligence började med forskning om vad som initialt var ett teoretiskt problem: vilka garantier kan vi ha för beslut som fattas med hjälp av AI-modeller. Kojin var en student vid Harvard, och vi arbetade tillsammans, initialt skrev vi forskningsartiklar. Så, det börjar med att skriva artiklar som beskriver vad som är fundamentalt möjligt och omöjligt, teoretiskt. Dessa resultat fortsatte sedan till ett program för att utforma algoritmer och modeller som är robusta mot AI-fel. Vi byggde sedan system som kan köra dessa algoritmer i praktiken. Efter det var det ett naturligt steg att starta ett företag där organisationer kunde använda ett system som detta.

Många av de problem som Robust Intelligence hanterar är tysta fel, vad är dessa och vad gör dem så farliga?

Innan jag ger en teknisk definition av tysta fel, är det värt att ta ett steg tillbaka och förstå varför vi bryr oss om att AI-modeller gör fel. Anledningen till att vi bryr oss om att AI-modeller gör misstag är konsekvenserna av dessa misstag. Vår värld använder AI för att automatisera kritiska beslut: vem som får ett affärs-lån och till vilken ränta, vem som får sjukförsäkring och till vilken ränta, vilka områden som polisen bör patrullera, vem som är den mest lämpliga kandidaten för ett jobb, hur vi bör organisera flygplatsens säkerhet och så vidare. Det faktum att AI-modeller är extremt felbenägna innebär att vi ärver en stor mängd risk när vi automatiserar dessa kritiska beslut. På Robust Intelligence kallar vi detta “AI-risk” och vår mission i företaget är att eliminera AI-risk.

Tysta fel är AI-modellfel där AI-modellen tar emot indata och producerar en förutsägelse eller beslut som är felaktigt eller fördomsfullt som utdata. Så, på ytan, ser allt ut att vara OK, eftersom AI-modellen gör vad den ska göra från ett funktionellt perspektiv. Men förutsägelsen eller beslutet är felaktigt. Dessa fel är tysta eftersom systemet inte vet att det finns ett fel. Detta kan vara mycket värre än fallet där en AI-modell inte producerar någon utdata, eftersom det kan ta lång tid för organisationer att inse att deras AI-system är felaktigt. Då blir AI-risk AI-fel som kan ha allvarliga konsekvenser.

Robust Intelligence har i princip utformat en AI-brandvägg, en idé som tidigare ansågs omöjlig. Varför är detta så tekniskt utmanande?

En anledning till att AI-brandväggen är en utmaning är att den går emot paradigm som ML-samhället tidigare hade. ML-samhällets tidigare paradigm var att för att utrota fel, behöver man mata in mer data, inklusive dålig data till modeller. Genom att göra det, kommer modellerna att träna sig själva och lära sig att självkorrigera misstagen. Problemet med den metoden är att den orsakar modellens noggrannhet att sjunka dramatiskt. De bästa kända resultaten för bilder, till exempel, orsakar AI-modellens noggrannhet att sjunka från 98,5% till cirka 37%.

AI-brandväggen erbjuder en annan lösning. Vi kopplar loss problemet med att identifiera ett fel från rollen att skapa en förutsägelse, vilket innebär att brandväggen kan fokusera på en specifik uppgift: bestämma om en datapunkt kommer att producera en felaktig förutsägelse.

Detta var en utmaning i sig på grund av svårigheten att ge en förutsägelse för en enskild datapunkt. Det finns många anledningar till varför modeller gör fel, så att bygga en teknik som kan förutsäga dessa fel var inte en lätt uppgift. Vi är mycket lyckliga att ha de ingenjörer vi har.

Hur kan systemet hjälpa till att förhindra AI-fördomar?

Modellfördomar kommer från en diskrepans mellan de data som modellen tränades på och de data den använder för att göra förutsägelser. Återgå till AI-risk, fördomar är ett stort problem som tillskrivs tysta fel. Till exempel är detta ofta ett problem med underrepresenterade befolkningar. En modell kan ha fördomar eftersom den har sett mindre data från den befolkningen, vilket kommer att påverka modellens prestanda och noggrannhet dramatiskt. AI-brandväggen kan varna organisationer för dessa data-diskrepanser och hjälpa modellen att fatta riktiga beslut.

Vilka är några av de andra riskerna för organisationer som en AI-brandvägg hjälper till att förhindra?

Varje företag som använder AI för att automatisera beslut, särskilt kritiska beslut, introducerar automatiskt risk. Dålig data kan vara så litet som att mata in en nolla istället för en etta och fortfarande resultera i betydande konsekvenser. Oavsett om risken är felaktiga medicinska förutsägelser eller falska förutsägelser om utlåning, hjälper AI-brandväggen organisationer att förhindra risk över huvud taget.

Finns det något annat du vill dela om Robust Intelligence?

Robust Intelligence växer snabbt och vi får många bra kandidater som söker jobb. Men något jag verkligen vill betona för personer som överväger att söka är att den viktigaste egenskapen vi söker hos kandidater är deras passion för uppdraget. Vi får möta många kandidater som är tekniskt starka, så det handlar verkligen om att förstå om de verkligen är passionerade om att eliminera AI-risk för att göra världen till en säkrare och bättre plats.

I den värld vi går mot, kommer många beslut som för närvarande fattas av människor att automatiseras. Oavsett om vi gillar det eller inte, det är ett faktum. Med tanke på det, vill alla på Robust Intelligence att automatiserade beslut ska fattas på ett ansvarsfullt sätt. Så, alla som är entusiastiska över att göra en inverkan, som förstår hur det kan påverka människors liv, är en kandidat vi söker för att ansluta sig till Robust Intelligence. Vi söker efter den passionen. Vi söker efter de personer som kommer att skapa den här tekniken som hela världen kommer att använda.

Tack för den underbara intervjun, jag njöt av att lära mig om dina åsikter om att förhindra AI-fördomar och om behovet av en AI-brandvägg, läsare som vill lära sig mer kan besöka Robust Intelligence.