Yaron Singer, VD på Robust Intelligence och professor i datavetenskap vid Harvard University – Intervjuserie

Yaron Singer är VD för Robust intelligens och professor i datavetenskap och tillämpad matematik vid Harvard. Yaron är känt för banbrytande resultat inom maskininlärning, algoritmer och optimering. Tidigare arbetade Yaron på Google Research och tog sin doktorsexamen från UC Berkeley.

Vad lockade dig från början till området datavetenskap och maskininlärning?

Min resa började med matematik, som ledde mig till datavetenskap, som satte mig på vägen mot maskininlärning. Matematik väckte till en början mitt intresse eftersom dess axiomatiska system gav mig förmågan att skapa nya världar. Med datavetenskap lärde jag mig om existentiella bevis, men också algoritmerna bakom dem. Ur ett kreativt perspektiv är datavetenskap dragningen av gränser mellan vad vi kan och inte kan göra.

Mitt intresse för maskininlärning har alltid bottnat i intresset för riktig data, nästan den fysiska aspekten av det. Att ta saker från den verkliga världen och modellera dem för att göra något meningsfullt. Vi skulle bokstavligen kunna skapa en bättre värld genom meningsfull modellering. Så matte gav mig en grund för att bevisa saker, datavetenskap hjälper mig att se vad som kan och inte kan göras, och maskininlärning gör det möjligt för mig att modellera dessa koncept i världen.

Tills nyligen var du professor i datavetenskap och tillämpad matematik vid Harvard University, vilka var några av dina viktigaste tips från denna erfarenhet?

Min största takeaway från att vara fakultetsmedlem vid Harvard är att det utvecklar ens aptit för att göra stora saker. Harvard har traditionellt en liten fakultet, och förväntningarna från tenure track-fakulteten är att ta itu med stora problem och skapa nya fält. Du måste vara djärv. Detta slutar med att vara en bra förberedelse för att lansera en kategoriskapande start som definierar ett nytt utrymme. Jag rekommenderar inte nödvändigtvis att gå igenom Harvard tenure track först – men om du överlever det är det lättare att bygga en start.

Skulle du kunna beskriva ditt "aha"-ögonblick när du insåg att sofistikerade AI-system är sårbara för dålig data, med några potentiellt långtgående konsekvenser?

När jag var doktorand vid UC Berkeley tog jag lite ledigt för att göra en startup som byggde maskininlärningsmodeller för marknadsföring i sociala nätverk. Det här var tillbaka 2010. Vi hade enorma mängder data från sociala medier och vi kodade alla modeller från grunden. De ekonomiska konsekvenserna för återförsäljarna var ganska betydande så vi följde modellernas prestanda noga. Eftersom vi använde data från sociala medier blev det många fel i inmatningen, liksom drift. Vi såg att mycket små fel resulterade i stora förändringar i modellens produktion och kunde resultera i dåliga ekonomiska resultat för återförsäljare som använder produkten.

När jag gick över till att arbeta på Google+ (för oss som kommer ihåg) såg jag exakt samma effekter. Mer dramatiskt, i system som AdWords som gjorde förutsägelser om sannolikheten för att människor klickar på en annons för sökord, märkte vi att små fel i inmatningen till modellen leder till mycket dåliga förutsägelser. När du ser det här problemet i Google-skala inser du att problemet är universellt.

Dessa erfarenheter formade mitt forskningsfokus i hög grad, och jag tillbringade min tid på Harvard med att undersöka varför AI-modeller gör misstag och, viktigare, hur man designar algoritmer som kan förhindra att modeller gör misstag. Detta ledde naturligtvis till fler "aha"-ögonblick och så småningom till skapandet av Robust Intelligence.

Kan du dela med dig av historien bakom Robust Intelligence?

Robust Intelligence började med forskning om vad som ursprungligen var ett teoretiskt problem: vilka garantier vi kan ha för beslut som fattas med AI-modeller. Kojin var student vid Harvard och vi arbetade tillsammans och skrev till en början forskningsrapporter. Så det börjar med att skriva papper som beskriver vad som är fundamentalt möjligt och omöjligt, teoretiskt. Dessa resultat fortsatte senare till ett program för att designa algoritmer och modeller som är robusta mot AI-fel. Vi bygger sedan system som kan köra dessa algoritmer i praktiken. Därefter var det ett naturligt nästa steg att starta ett företag där organisationer kunde använda ett sådant här system.

Många av de frågor som Robust Intelligence tar itu med är tysta fel, vad är dessa och vad gör dem så farliga?

Innan vi ger en teknisk definition av tysta fel är det värt att ta ett steg tillbaka och förstå varför vi bör bry oss om att AI gör fel i första hand. Anledningen till att vi bryr oss om att AI-modeller gör misstag är konsekvenserna av dessa misstag. Vår värld använder AI för att automatisera kritiska beslut: vem får ett företagslån och till vilken ränta, vem får sjukförsäkring och till vilken takt, vilka stadsdelar bör polispatrullera, vem är med största sannolikhet en toppkandidat för ett jobb, hur ska vi organisera flygplatssäkerhet och så vidare. Det faktum att AI-modeller är extremt felbenägna gör att vi ärver en stor risk när vi automatiserar dessa kritiska beslut. På Robust Intelligence kallar vi detta "AI Risk" och vårt uppdrag i företaget är att eliminera AI Risk.

Tysta fel är AI-modellfel där AI-modellen tar emot input och producerar en förutsägelse eller ett beslut som är fel eller partisk som en utdata. Så på ytan ser allt OK ut för systemet, eftersom AI-modellen gör vad den ska göra ur ett funktionellt perspektiv. Men förutsägelsen eller beslutet är felaktigt. Dessa fel är tysta eftersom systemet inte vet att det finns ett fel. Detta kan vara mycket värre än fallet där en AI-modell inte producerar en utdata, eftersom det kan ta lång tid för organisationer att inse att deras AI-system är felaktigt. Sedan blir AI-risken AI-misslyckanden som kan få fruktansvärda konsekvenser.

Robust Intelligence har i huvudsak designat en AI-brandvägg, en idé som tidigare ansågs omöjlig. Varför är detta en sådan teknisk utmaning?

En anledning till att AI-brandväggen är en sådan utmaning är att den går emot det paradigm som ML-gemenskapen hade. ML-gemenskapens tidigare paradigm har varit att för att utrota fel måste man mata in mer data, inklusive dålig data till modeller. Genom att göra det kommer modellerna att träna sig själva och lära sig att själv korrigera misstagen. Problemet med det tillvägagångssättet är att det gör att modellens noggrannhet sjunker dramatiskt. De mest kända resultaten för bilder, till exempel, får AI-modellnoggrannheten att sjunka från 98.5 % till cirka 37 %.

AI-brandväggen erbjuder en annan lösning. Vi kopplar bort problemet med att identifiera ett fel från rollen att skapa en förutsägelse, vilket innebär att brandväggen kan fokusera på en specifik uppgift: avgöra om en datapunkt kommer att producera en felaktig förutsägelse.

Detta var en utmaning i sig på grund av svårigheten att ge en förutsägelse på en enda datapunkt. Det finns många anledningar till att modeller gör fel, så att bygga en teknik som kan förutsäga dessa fel var inte en lätt uppgift. Vi är väldigt lyckligt lottade som har de ingenjörer vi har.

Hur kan systemet hjälpa till att förhindra AI-bias?

Modellbias kommer från en diskrepans mellan de data som modellen tränades på och de data som den använder för att göra förutsägelser. Om vi ​​går tillbaka till AI-risk är partiskhet ett stort problem som tillskrivs tysta fel. Till exempel är detta ofta ett problem med underrepresenterade befolkningar. En modell kan ha bias eftersom den har sett mindre data från den populationen, vilket dramatiskt kommer att påverka modellens prestanda och noggrannheten i dess förutsägelser. AI-brandväggen kan uppmärksamma organisationer på dessa dataavvikelser och hjälpa modellen att fatta korrekta beslut.

Vilka är några av de andra riskerna för organisationer som en AI-brandvägg hjälper till att förhindra?

Alla företag som använder AI för att automatisera beslut, särskilt kritiska beslut, introducerar automatiskt risker. Dålig data kan vara så liten som att mata in en nolla istället för en etta och fortfarande leda till betydande konsekvenser. Oavsett om risken är felaktiga medicinska förutsägelser eller falska förutsägelser om utlåning, hjälper AI-brandväggen organisationer att förhindra risker helt och hållet.

Finns det något mer du skulle vilja dela med dig av om Robust Intelligence?

Robust Intelligence växer snabbt och vi får många fantastiska kandidater som söker tjänster. Men något jag verkligen vill betona för personer som funderar på att söka är att den viktigaste egenskapen vi söker hos kandidater är deras passion för uppdraget. Vi får träffa många kandidater som är starka tekniskt, så det handlar verkligen om att förstå om de verkligen brinner för att eliminera AI-risker för att göra världen till en säkrare och bättre plats.

I den värld vi är på väg mot kommer många beslut som för närvarande fattas av människor att automatiseras. Oavsett om vi gillar det eller inte, det är ett faktum. Med tanke på det vill vi alla på Robust Intelligence att automatiserade beslut ska göras på ett ansvarsfullt sätt. Så alla som är exalterade över att påverka, som förstår hur detta kan påverka människors liv, är en kandidat vi letar efter för att gå med i Robust Intelligence. Vi letar efter den passionen. Vi letar efter människorna som kommer att skapa denna teknik som hela världen kommer att använda.

Tack för den fantastiska intervjun, jag njöt av att lära mig om dina åsikter om att förhindra AI-bias och om behovet av en AI-brandvägg, läsare som vill veta mer bör besöka Robust intelligens.