Yaron Singer, CEO i Robust Intelligence & Professor i datavitenskap ved Harvard University – Intervju-serie

Yaron Singer er administrerende direktør i Robust Intelligence og professor i datavitenskap og anvendt matematikk ved Harvard. Yaron er kjent for gjennombruddsresultater i maskinlæring, algoritmer og optimering. Tidligere arbeidet Yaron ved Google Research og fikk sin doktorgrad fra UC Berkeley.

Hva var det som først tiltalte deg til feltet datavitenskap og maskinlæring?

Min reise begynte med matematikk, som ledet meg til datavitenskap, som satte meg på veien til maskinlæring. Matematikk tiltalte meg først og fremst fordi dets aksiomatiske system ga meg evnen til å skape nye verdener. Med datavitenskap lærte jeg om eksistensbevis, men også algoritmene bak dem. Fra et kreativt perspektiv er datavitenskap tegning av grenser mellom hva vi kan og ikke kan gjøre.

Min interesse for maskinlæring har alltid vært rotfestet i en interesse for virkelige data, nesten det fysiske aspektet ved det. Å ta ting fra den virkelige verden og modellere dem for å gjøre noe meningsfullt. Vi kunne bokstavelig talt konstruere en bedre verden gjennom meningsfull modellering. Så matematikk ga meg en basis for å bevise ting, datavitenskap hjelper meg å se hva som kan og ikke kan gjøres, og maskinlæring muliggjør å modellere disse konseptene i verden.

Frem til nylig var du professor i datavitenskap og anvendt matematikk ved Harvard University, hva var noen av dine viktigste erfaringer fra denne perioden?

Min største erfaring fra å være en fakultetsmedlem ved Harvard er at det utvikler en persons appetitt på å gjøre store ting. Harvard har tradisjonelt sett en liten fakultet, og forventningen fra tenure track-fakultet er å takle store problemer og skape nye fagfelt. Du må være dristig. Dette ender opp med å være god forberedelse til å lansere en kategoriskoppende startup som definerer et nytt område. Jeg anbefaler ikke nødvendigvis å gå gjennom Harvard-tenure track først, men hvis du overlever det, er det enklere å bygge en startup.

Kunne du beskrive din ‘aha’-øyeblikk da du innsett at sofistikerte AI-systemer er sårbare for dårlig data, med noen potensielt langtrekkende konsekvenser?

Da jeg var en doktorgradsstudent ved UC Berkeley, tok jeg noen tid av til å starte en startup som bygde maskinlæringmodeller for markedsføring i sosiale nettverk. Dette var tilbake i 2010. Vi hadde massive mengder data fra sosiale medier, og vi kodet alle modellene fra scratch. De finansielle implikasjonene for detaljhandlere var ganske betydelige, så vi fulgte modellenes ytelse nøye. Siden vi brukte data fra sosiale medier, var det mange feil i inndata, samt drift. Vi så at svært små feil resulterte i store endringer i modellens utdata og kunne resultere i dårlige finansielle resultater for detaljhandlere som brukte produktet.

Da jeg gikk over til å arbeide med Google+ (for oss som husker), så jeg de samme effektene. Mer dramatisk, i systemer som AdWords som gjorde prediksjoner om sannsynligheten for at folk klikker på en annonse for nøkkelord, merket vi at små feil i inndata til modellen ledet til svært dårlige prediksjoner. Når du vitner dette problemet på Google-skala, innser du at problemet er universelt.

Disse erfaringene har sterkt preget min forskningsfokus, og jeg tilbrakte min tid ved Harvard med å undersøke hvorfor AI-modeller gjør feil og, viktigst, hvordan man kan designe algoritmer som kan forhindre modeller fra å gjøre feil. Dette ledet selvfølgelig til flere ‘aha’-øyeblikk og, til slutt, til opprettelsen av Robust Intelligence.

Kunne du dele opphavsfortellingen bak Robust Intelligence?

Robust Intelligence startet med forskning på hva som opprinnelig var et teoretisk problem: hva er garantiene vi kan ha for beslutninger tatt med AI-modeller. Kojin var en student ved Harvard, og vi arbeidet sammen, opprinnelig skrev vi forskningspapirer. Så, det starter med å skrive papirer som omhandler hva som teoretisk sett er mulig og umulig. Disse resultene fortsatte senere til et program for å designe algoritmer og modeller som er robuste mot AI-feil. Vi bygget deretter systemer som kan kjøre disse algoritmene i praksis. Etter det var det et naturlig neste skritt å starte et selskap hvor organisasjoner kunne bruke et slikt system.

Mange av problemene som Robust Intelligence takler, er stille feil, hva er disse og hva gjør dem så farlige?

Før jeg gir en teknisk definisjon av stille feil, er det verdt å ta et steg tilbake og forstå hvorfor vi bør bry oss om AI-modeller som gjør feil. Grunnen til at vi bryr oss om AI-modeller som gjør feil, er konsekvensene av disse feilene. Vår verden bruker AI til å automatisere kritiske beslutninger: hvem får et forretningslån og til hva rente, hvem får helseforsikringsdekning og til hva rate, hvilke nabolag bør politiet patruljere, hvem er mest sannsynlig å være en toppkandidat for en jobb, hvordan bør vi organisere flyplasssikkerhet, og så videre. Det faktum at AI-modeller er ekstremt feilpregede, betyr at ved å automatisere disse kritiske beslutningene, arver vi en stor risiko. Hos Robust Intelligence kaller vi dette “AI-risiko” og vår misjon i selskapet er å eliminere AI-risiko.

Stille feil er AI-modellfeil hvor AI-modellen mottar inndata og produserer en prediksjon eller beslutning som er feil eller forvrengt som utdata. Så, på overflaten, ser alt ut til å være i orden, i og med at AI-modellen gjør det den skal fra et funksjonelt perspektiv. Men prediksjonen eller beslutningen er feil. Disse feilene er stille fordi systemet ikke vet at det er en feil. Dette kan være mye verre enn det tilfelle hvor en AI-modell ikke produserer noen utdata, fordi det kan ta lang tid for organisasjoner å innse at deres AI-system er feilaktig. Da blir AI-risiko til AI-feil som kan ha alvorlige konsekvenser.

Robust Intelligence har i praksis designet en AI-brannmur, en idé som tidligere ble ansett som umulig. Hvorfor er dette en så teknisk utfordring?

En av grunnene til at AI-brannmuren er en så stor utfordring er at den går imot paradigmet ML-samfunnet hadde. ML-samfunnets tidligere paradigm har vært at for å utrydde feil, må man mata mer data, inkludert dårlig data, til modellene. Ved å gjøre det, vil modellene trenes selv og lære å selvkorrigere feilene. Problemet med denne tilnærmingen er at den fører til at nøyaktigheten til modellen synker dramatisk. De beste kjente resultater for bilder, for eksempel, får AI-modellens nøyaktighet til å synke fra 98,5% til omkring 37%.

AI-brannmuren tilbyr en annen løsning. Vi skiller problemet med å identifisere en feil fra rollen med å lage en prediksjon, det vil si at brannmuren kan fokusere på én bestemt oppgave: å bestemme om en datapunkt vil produsere en feilaktig prediksjon.

Dette var en utfordring i seg selv på grunn av vanskeligheten med å gi en prediksjon på en enkelt datapunkt. Det er mange grunner til at modeller gjør feil, så å bygge en teknologi som kan forutsi disse feilene, var ikke en enkel oppgave. Vi er svært heldige å ha de ingeniører vi har.

Hvordan kan systemet hjelpe til å forebygge AI-forvrengning?

Modellforvrengning kommer fra en diskrepans mellom dataene modellen ble trent på og dataene den bruker til å lage prediksjoner. Gå tilbake til AI-risiko, forvrengning er et stort problem tilskrevet stille feil. For eksempel, er dette ofte et problem med underrepresenterte befolkninger. En modell kan ha forvrengning fordi den har sett mindre data fra den befolkningen, som vil dramatisk påvirke modellens ytelse og nøyaktigheten av dens prediksjoner. AI-brannmuren kan varsle organisasjoner om disse data-diskrepansene og hjelpe modellen med å lage riktige beslutninger.

Hva er noen av de andre risikoene for organisasjoner som en AI-brannmur hjelper til å forebygge?

Ethvert selskap som bruker AI til å automatisere beslutninger, spesielt kritiske beslutninger, introduserer automatisk risiko. Dårlig data kan være så enkelt som å taste inn en null istedenfor en en og likevel resultere i betydelige konsekvenser. Uansett om risikoen er feilaktige medisinske prediksjoner eller feilaktige prediksjoner om lån, hjelper AI-brannmuren organisasjoner med å forebygge risiko helt og holdent.

Er det noe annet du ønsker å dele om Robust Intelligence?

Robust Intelligence vokser raskt og vi får mange gode kandidater som søker stillinger. Men noe jeg virkelig ønsker å understreke for personer som vurdere å søke, er at den viktigste kvalifikasjonen vi søker etter hos kandidater er deres lidenskap for oppdraget. Vi møter mange kandidater som er sterke teknisk, så det kommer virkelig ned til å forstå om de virkelig er lidenskapelige om å eliminere AI-risiko for å gjøre verden en tryggere og bedre plass.

I verden vi går mot, vil mange beslutninger som i dag tas av mennesker, bli automatisert. Uansett om vi liker det eller ikke, det er en realitet. Gitt det, ønsker alle oss i Robust Intelligence at automatiserte beslutninger skal tas på en ansvarlig måte. Så, hvem som helst som er begeistret for å ha en innvirkning, som forstår hvordan dette kan påvirke folks liv, er en kandidat vi søker etter for å bli en del av Robust Intelligence. Vi søker etter den lidenskapen. Vi søker etter de menneskene som vil skape denne teknologien som hele verden vil bruke.

Takk for det flotte intervjuet, jeg nøt å lære om dine synspunkter på å forebygge AI-forvrengning og på behovet for en AI-brannmur, lesere som ønsker å lære mer bør besøke Robust Intelligence.