Yaron Singer, CEO i Robust Intelligence & Professor i datalogi ved Harvard University – Interview Serie

Yaron Singer er CEO i Robust Intelligence og professor i datalogi og anvendt matematik ved Harvard. Yaron er kendt for sine gennembrudsresultater inden for maskinlæring, algoritmer og optimering. Tidligere har Yaron arbejdet hos Google Research og har fået sin ph.d. fra UC Berkeley.

Hvad var det, der oprindeligt tiltrak dig til datalogiens og maskinlæringens område?

Min rejse begyndte med matematik, som førte mig til datalogi, som satte mig på vej til maskinlæring. Matematik tiltalte mig oprindeligt, fordi dets aksiomatisk system gav mig mulighed for at skabe nye verdener. Med datalogi lærte jeg om eksistensbeviser, men også algoritmerne bag dem. Fra et kreativt perspektiv er datalogi tegning af grænser mellem, hvad vi kan og ikke kan gøre.

Mit interesse for maskinlæring har altid været rodnet i en interesse for virkelige data, næsten den fysiske aspekt af det. At tage ting fra den virkelige verden og modelere dem for at skabe noget meningsfuldt. Vi kunne bogstaveligt talt konstruere en bedre verden gennem meningsfuld modellering. Så matematik gav mig en basis for at bevise ting, datalogi hjalp mig med at se, hvad der kan og ikke kan gøres, og maskinlæring giver mig mulighed for at modelere disse koncepter i verden.

Indtil for nylig var du professor i datalogi og anvendt matematik ved Harvard University, hvad var nogle af dine vigtigste takeaway’er fra denne oplevelse?

Min største takeaway fra at være en fakultetsmedlem ved Harvard er, at det udvikler ens appetit på at gøre store ting. Harvard har traditionelt set en lille fakultet, og forventningen fra tenure track-fakultet er at tackle store problemer og skabe nye felter. Du må være dristig. Dette ender med at være en god forberedelse til at lancere en kategorisk startup, der definerer et nyt område. Jeg anbefaler ikke nødvendigvis at gå gennem Harvard-tenure track først, men hvis du overlever det, er det lettere at bygge en startup.

Kunne du beskrive dit ‘aha’-øjeblik, da du indså, at avancerede AI-systemer er sårbare over for dårlige data, med nogle potentielt langtrækkende konsekvenser?

Da jeg var ph.d.-studerende ved UC Berkeley, tog jeg en pause for at lave en startup, der byggede maskinlæringsmodeller til marketing i sociale netværk. Dette var tilbage i 2010. Vi havde massive mængder af data fra sociale medier, og vi kodede alle modeller fra scratch. De finansielle implikationer for detailhandlere var ret betydelige, så vi fulgte modellernes præstation tæt. Da vi brugte data fra sociale medier, var der mange fejl i input, såvel som drift. Vi så, at meget små fejl resulterede i store ændringer i modellens output og kunne resultere i dårlige finansielle resultater for detailhandlere, der brugte produktet.

Da jeg skiftede til at arbejde på Google+ (for dem af os, der husker), så jeg det samme efekt. Mere dramatisk var det i systemer som AdWords, der lavede forudsigelser om sandsynligheden for, at mennesker klikkede på en annonce for nøgleord, og vi bemærkede, at små fejl i input til modellen førte til meget dårlige forudsigelser. Når du oplever dette problem i Google-skala, indså du, at problemet er universelt.

Disse oplevelser formede kraftigt min forskningsfokus, og jeg tilbragte min tid ved Harvard med at undersøge, hvorfor AI-modeller committer fejl og, vigtigst, hvordan man kan designe algoritmer, der kan forhindre modeller i at committere fejl. Dette førte selvfølgelig til flere ‘aha’-øjeblikke og, til sidst, til oprettelsen af Robust Intelligence.

Kunne du dele oprindelseshistorien bag Robust Intelligence?

Robust Intelligence startede med forskning i, hvad der oprindeligt var et teoretisk problem: hvilke garantier kan vi have for beslutninger, der tages ved hjælp af AI-modeller. Kojin var en studerende ved Harvard, og vi arbejdede sammen, først skrevende forskningspapirer. Så det starter med at skrive papirer, der fastlægger, hvad der teoretisk set er muligt og umuligt. Disse resultater fortsatte derefter til et program for at designe algoritmer og modeller, der er robuste over for AI-fejl. Vi byggede derefter systemer, der kan køre disse algoritmer i praksis. Efter det var det en naturlig næste skridt at starte et firma, hvor organisationer kunne bruge et system som dette.

Mange af de problemer, som Robust Intelligence tackler, er stille fejl, hvad er disse, og hvad gør dem så farlige?

Før jeg giver en teknisk definition af stille fejl, er det værd at tage et skridt tilbage og forstå, hvorfor vi skal bekymre os om, at AI-modeller committer fejl. Årsagen til, at vi bekymrer os om, at AI-modeller committer fejl, er konsekvenserne af disse fejl. Vores verden bruger AI til at automatisere kritiske beslutninger: hvem får et forretningslån og til hvilken rente, hvem får sundhedsforsikring og til hvilken pris, hvilke kvarterer skal politiet patruljere, hvem er mest sandsynligt at være en topkandidat til en stilling, hvordan skal vi organisere lufthavnssikkerhed og så videre. Det faktum, at AI-modeller er ekstremt fejlbehæftede, betyder, at vi ved at automatisere disse kritiske beslutninger arver en stor del af risikoen. Hos Robust Intelligence kalder vi dette “AI-risiko”, og vores mission i virksomheden er at eliminere AI-risiko.

Stille fejl er AI-modelfejl, hvor AI-modellen modtager input og producerer en forudsigelse eller beslutning, der er forkert eller forvrænget som output. Så på overfladen ser alt ud til at være i orden for systemet, da AI-modellen gør, hvad den skal fra et funktionsperspektiv. Men forudsigelsen eller beslutningen er fejlbehæftet. Disse fejl er stille, fordi systemet ikke ved, at der er en fejl. Dette kan være langt værre end det tilfælde, hvor en AI-model ikke producerer en output, fordi det kan tage lang tid for organisationer at indse, at deres AI-system er fejlbehæftet. Så bliver AI-risiko til AI-fejl, der kan have direkte konsekvenser.

Robust Intelligence har grundlæggende designet en AI-brandmur, en idé, der tidligere blev betragtet som umulig. Hvorfor er dette så stor en teknisk udfordring?

En af årsagerne til, at AI-brandmuren er så stor en udfordring, er, at den går imod paradigmet, som ML-fællesskabet havde. ML-fællesskabets tidligere paradigm har været, at for at udrydde fejl, skal man føde mere data, herunder dårligt data til modellerne. Ved at gøre det, vil modellerne træne sig selv og lære at selvkorrigere fejlene. Problemet med denne tilgang er, at den får modellens nøjagtighed til at falde dramatisk. De bedst kendte resultater for billeder, for eksempel, får AI-modellens nøjagtighed til at falde fra 98,5% til omkring 37%.

AI-brandmuren tilbyder en anden løsning. Vi fraskiller problemet med at identificere en fejl fra rollen som at skabe en forudsigelse, hvilket betyder, at brandmuren kan fokusere på en specifik opgave: bestemme, om en datapunkt vil producere en fejlbehæftet forudsigelse.

Dette var en udfordring i sig selv på grund af vanskeligheden ved at give en forudsigelse på en enkelt datapunkt. Der er mange årsager til, at modeller committer fejl, så at bygge en teknologi, der kan forudsige disse fejl, var ikke en let opgave. Vi er meget heldige at have de ingeniører, vi har.

Hvordan kan systemet hjælpe med at forhindre AI-forvrængning?

Model-forvrængning kommer fra en diskrepans mellem de data, modellen blev trænet på, og de data, den bruger til at lave forudsigelser. Tilbage til AI-risiko er forvrængning et stort problem, der skyldes stille fejl. For eksempel er dette ofte et problem med underrepræsenterede befolkningsgrupper. En model kan have forvrængning, fordi den har set færre data fra denne befolkning, hvilket vil påvirke modellens præstation og nøjagtighed dramatisk. AI-brandmuren kan advare organisationer om disse dataforskelle og hjælpe modellen med at træffe korrekte beslutninger.

Hvad er nogle af de andre risici for organisationer, som en AI-brandmur hjælper med at forebygge?

Ethvert firma, der bruger AI til at automatisere beslutninger, især kritiske beslutninger, introducerer automatisk risiko. Dårligt data kan være så lille som at indtaste en 0 i stedet for en 1 og alligevel resultere i betydelige konsekvenser. Uanset om risikoen er forkerte medicinske forudsigelser eller forkerte forudsigelser om udlån, hjælper AI-brandmuren organisationer med at forebygge risiko overhovedet.

Er der noget andet, du gerne vil dele om Robust Intelligence?

Robust Intelligence er i rivende udvikling, og vi får mange gode kandidater, der søger stillinger. Men noget, jeg virkelig gerne vil understrege for personer, der overvejer at søge, er, at den vigtigste egenskab, vi søger hos kandidater, er deres passion for missionen. Vi møder mange kandidater, der er stærke teknisk, så det kommer virkelig an på, om de virkelig er passioneret om at eliminere AI-risiko for at gøre verden til et sikrere og bedre sted.

I den verden, vi er på vej imod, vil mange beslutninger, der i øjeblikket træffes af mennesker, blive automatiseret. Uanset om vi kan lide det eller ej, det er en kendsgerning. Givet det ønsker alle os i Robust Intelligence, at automatiserede beslutninger træffes på en ansvarlig måde. Så alle, der er begejstret for at have en indvirkning, der forstår, hvordan dette kan påvirke folks liv, er en kandidat, vi søger til at tilslutte os til Robust Intelligence. Vi søger efter den passion. Vi søger efter de mennesker, der vil skabe denne teknologi, som hele verden vil bruge.

Tak for det gode interview, jeg nød at lære om dine synspunkter på at forhindre AI-forvrængning og om behovet for en AI-brandmur, læsere, der ønsker at lære mere, skal besøge Robust Intelligence.