Yaron Singer, administrerende direktør i Robust Intelligence & professor i datalogi ved Harvard University – Interviewserie

Yaron Singer er administrerende direktør i Robust Intelligence og professor i datalogi og anvendt matematik ved Harvard. Yaron er kendt for sine gennembrud i maskinlæring, algoritmer og optimering. Tidligere har Yaron arbejdet hos Google (GOOGL ) Research og har fået sin ph.d. fra UC Berkeley.

Hvad var det, der oprindeligt tiltrak dig til datalogi og maskinlæring?

Min rejse begyndte med matematik, der førte mig til datalogi, som satte mig på vej til maskinlæring. Matematik tiltrak mig oprindeligt, fordi dets aksiomatiske system gav mig mulighed for at skabe nye verdener. Med datalogi lærte jeg om eksistensbeviser, men også algoritmerne bag dem. Fra et kreativt perspektiv er datalogi tegningen af grænser mellem, hvad vi kan og ikke kan gøre.

Min interesse for maskinlæring har altid været rodnet i en interesse for virkelige data, næsten den fysiske aspekt af det. At tage ting fra den virkelige verden og modelere dem for at skabe noget meningsfuldt. Vi kunne bogstaveligt talt konstruere en bedre verden gennem meningsfuld modelering. Så matematik gav mig en grund til at bevise ting, datalogi hjalp mig med at se, hvad der kan og ikke kan gøres, og maskinlæring muliggør, at jeg kan modelere disse koncepter i verden.

Indtil for nylig var du professor i datalogi og anvendt matematik ved Harvard University, hvad var nogle af dine vigtigste erfaringer fra denne oplevelse?

Min største erfaring fra at være en del af fakultetet ved Harvard er, at det udvikler ens appetit på at gøre store ting. Harvard har traditionelt set en lille fakultet, og forventningen til fastansatte medarbejdere er at tackle store problemer og skabe nye fagområder. Du skal være dristig. Dette ender med at være en god forberedelse til at lancere en startup, der skaber en ny kategori og definerer et nyt område. Jeg anbefaler ikke nødvendigvis at gå gennem Harvard-uddannelsen først, men hvis du overlever det, er det lettere at bygge en startup.

Kunne du beskrive dit ‘aha’-øjeblik, da du indså, at avancerede AI-systemer er sårbare over for dårlige data, med nogle langtrækkende konsekvenser?

Da jeg var ph.d.-studerende ved UC Berkeley, tog jeg en pause for at starte en startup, der byggede maskinlæringmodeller til markedsføring i sociale netværk. Dette var tilbage i 2010. Vi havde massive mængder data fra sociale medier, og vi kodede alle modeller fra bunden. De finansielle konsekvenser for detailhandlere var ret betydelige, så vi fulgte modellernes præstation tæt. Da vi brugte data fra sociale medier, var der mange fejl i inputtet, såvel som drift. Vi så, at meget små fejl resulterede i store ændringer i modellens output og kunne føre til dårlige finansielle resultater for detailhandlere, der brugte produktet.

Da jeg skiftede til at arbejde på Google+ (for dem af os, der husker), så jeg de samme effekter. Mere dramatisk var det i systemer som AdWords, der lavede forudsigelser om sandsynligheden for, at mennesker ville klikke på en annonce for nøgleord. Vi lagde mærke til, at små fejl i input til modellen førte til meget dårlige forudsigelser. Når du oplever dette problem i Google-skala, indser du, at problemet er universelt.

Disse erfaringer formede stærkt min forskningsfokus, og jeg tilbragte min tid ved Harvard med at undersøge, hvorfor AI-modeller begår fejl, og vigtigst, hvordan man kan designe algoritmer, der kan forhindre modeller i at begå fejl. Dette førte til endnu flere ‘aha’-øjeblikke og til sidst til oprettelsen af Robust Intelligence.

Kunne du dele historien bag Robust Intelligence?

Robust Intelligence startede med forskning i, hvad der oprindeligt var et teoretisk problem: hvilke garantier kan vi have for beslutninger, der tages ved hjælp af AI-modeller. Kojin var en studerende ved Harvard, og vi arbejdede sammen, først med at skrive forskningspapirer. Så det starter med at skrive papirer, der fastlægger, hvad der teoretisk set er muligt og umuligt. Disse resultater fortsatte senere til et program for at designe algoritmer og modeller, der er robuste over for AI-fejl. Vi byggede derefter systemer, der kan køre disse algoritmer i praksis. Efter det var det en naturlig næste skridt at starte et firma, hvor organisationer kunne bruge et system som dette.

Mange af de problemer, som Robust Intelligence tackler, er stille fejl, hvad er disse, og hvad gør dem så farlige?

Før jeg giver en teknisk definition af stille fejl, er det værd at tage et skridt tilbage og forstå, hvorfor vi skal bekymre os om, at AI-modeller begår fejl. Årsagen til, at vi bekymrer os om, at AI-modeller begår fejl, er konsekvenserne af disse fejl. Vores verden bruger AI til at automatisere kritiske beslutninger: hvem får et forretningslån og til hvilken rente, hvem får sundhedsforsikring og til hvilken pris, hvilke kvarterer skal politiet patruljere, hvem er mest sandsynligt at være en topkandidat til en stilling, hvordan skal vi organisere lufthavnssikkerhed og så videre. Det faktum, at AI-modeller er ekstremt fejlbehæftede, betyder, at vi arver en stor del af risiko, når vi automatiserer disse kritiske beslutninger. I Robust Intelligence kalder vi dette “AI-risiko”, og vores mission i virksomheden er at eliminere AI-risiko.

Stille fejl er AI-modelfejl, hvor AI-modellen modtager input og producerer en forudsigelse eller beslutning, der er forkert eller forvrænget som output. Så på overfladen ser alt ud til at være i orden, idet AI-modellen gør, hvad den skal fra et funktionsperspektiv. Men forudsigelsen eller beslutningen er fejlbehæftet. Disse fejl er stille, fordi systemet ikke ved, at der er en fejl. Dette kan være meget værre end det tilfælde, hvor en AI-model ikke producerer en output, fordi det kan tage lang tid for organisationer at indse, at deres AI-system er fejlbehæftet. Så bliver AI-risiko til AI-fejl, der kan have alvorlige konsekvenser.

Robust Intelligence har grundlæggende designet en AI-brandmur, en idé, der tidligere blev betragtet som umulig. Hvorfor er dette sådan et teknisk udfordring?

En af årsagerne til, at AI-brandmuren er sådan en udfordring, er, at den går imod den paradigm, som ML-fællesskabet havde. ML-fællesskabets tidligere paradigm havde været, at for at udrydde fejl, skal man føde mere data, herunder dårligt data, til modellerne. Ved at gøre det, vil modellerne træne sig selv og lære at selvkorrigere fejlene. Problemet med denne tilgang er, at den får modellens nøjagtighed til at falde dramatisk. De bedst kendte resultater for billeder, for eksempel, får AI-modellens nøjagtighed til at falde fra 98,5% til omkring 37%.

AI-brandmuren tilbyder en anden løsning. Vi fraskiller problemet med at identificere en fejl fra rollen med at skabe en forudsigelse, hvilket betyder, at brandmuren kan fokusere på en specifik opgave: bestemme, om en datapunkt vil producere en fejlbehæftet forudsigelse.

Dette var en udfordring i sig selv på grund af vanskeligheden ved at give en forudsigelse for en enkelt datapunkt. Der er mange årsager til, at modeller begår fejl, så bygning af en teknologi, der kan forudsige disse fejl, var ikke en let opgave. Vi er meget heldige at have de ingeniører, vi har.

Hvordan kan systemet hjælpe med at forhindre AI-forvrængning?

Model-forvrængning kommer fra en diskrepans mellem de data, modellen blev trænet på, og de data, den bruger til at lave forudsigelser. Tilbage til AI-risiko er forvrængning et stort problem, der skyldes stille fejl. For eksempel er dette ofte et problem med underrepræsenterede befolkningsgrupper. En model kan have forvrængning, fordi den har set mindre data fra denne befolkningsgruppe, hvilket vil have en dramatisk indvirkning på modellens præstation og nøjagtighed af dens forudsigelser. AI-brandmuren kan advare organisationer om disse data-diskrepanser og hjælpe modellen med at træffe korrekte beslutninger.

Hvad er nogle af de andre risici for organisationer, som en AI-brandmur hjælper med at forhindre?

Enhver virksomhed, der bruger AI til at automatisere beslutninger, især kritiske beslutninger, introducerer automatisk risiko. Dårlige data kunne være så simple som at indtaste en 0 i stedet for en 1 og alligevel resultere i betydelige konsekvenser. Uanset om risikoen er forkerte medicinske forudsigelser eller forkerte forudsigelser om udlån, hjælper AI-brandmuren organisationer med at forhindre risiko overhovedet.

Er der noget andet, du gerne vil dele om Robust Intelligence?

Robust Intelligence vokser hurtigt, og vi får mange gode kandidater, der søger stillinger. Men noget, jeg virkelig gerne vil understrege for personer, der overvejer at søge, er, at den vigtigste egenskab, vi søger hos kandidater, er deres passion for missionen. Vi møder mange kandidater, der er stærke teknisk, så det handler virkelig om at forstå, om de virkelig er passioneret om at eliminere AI-risiko for at gøre verden til et sikrere og bedre sted.

I den verden, vi er på vej mod, vil mange beslutninger, der i øjeblikket træffes af mennesker, blive automatiseret. Uanset om vi kan lide det eller ej, det er en kendsgerning. Givet det ønsker alle os i Robust Intelligence, at automatiserede beslutninger skal træffes ansvarligt. Så alle, der er begejstret for at have en indvirkning, der forstår, hvordan dette kan påvirke folks liv, er en kandidat, vi søger til at tilslutte os til Robust Intelligence. Vi søger efter den passion. Vi søger efter de mennesker, der vil skabe denne teknologi, som hele verden vil bruge.

Tak for det gode interview, jeg nød at lære om dine synspunkter på at forhindre AI-forvrængning og på behovet for en AI-brandmur, læsere, der ønsker at lære mere, skal besøge Robust Intelligence.