Yaron Singer, CEO i Robust Intelligence og Professor i datavitenskap ved Harvard University – Intervju-serie

Yaron Singer er CEO i Robust Intelligence og professor i datavitenskap og anvendt matematikk ved Harvard. Yaron er kjent for sine banebrytende resultater innen maskinlæring, algoritmer og optimering. Tidligere arbeidet Yaron i Google (GOOGL ) Research og tok sin doktorgrad ved UC Berkeley.

Hva var det som først tiltalte deg til feltet datavitenskap og maskinlæring?

Min reise begynte med matematikk, som ledet meg til datavitenskap, som satte meg på vei mot maskinlæring. Matematikk tiltalte meg først og fremst fordi dets aksiomatiske system ga meg mulighet til å skape nye verdener. Med datavitenskap lærte jeg om eksistensbevis, men også algoritmene bak dem. Fra et kreativt perspektiv er datavitenskap tegning av grenser mellom hva vi kan og ikke kan gjøre.

Min interesse for maskinlæring har alltid vært rotet i en interesse for virkelige data, nesten den fysiske aspekt av det. Å ta ting fra den virkelige verden og modellere dem for å skape noe meningsfullt. Vi kunne bokstavelig talt konstruere en bedre verden gjennom meningsfull modellering. Så matematikk ga meg en basis for å bevise ting, datavitenskap hjalp meg å se hva som kan og ikke kan gjøres, og maskinlæring muliggjør å modellere disse konseptene i verden.

Frem til nylig var du professor i datavitenskap og anvendt matematikk ved Harvard University, hva var noen av dine viktigste erfaringer fra denne perioden?

Min største erfaring fra å være ansatt ved Harvard er at det utvikler en appetitt på å gjøre store ting. Harvard har tradisjonelt sett en liten ansattstab, og forventningen til tenure track-ansatte er å løse store problemer og skape nye fagområder. Du må være dristig. Dette ender opp med å bli en god forberedelse på å starte en kategoriskoppende bedrift som definerer et nytt marked. Jeg anbefaler ikke nødvendigvis å gå gjennom Harvard-tenure-tracket først, men hvis du overlever det, er det lettere å bygge en bedrift.

Kunne du beskrive din «aha»-øyeblikk da du innsett at sofistikerte AI-systemer er sårbare for dårlige data, med noen potensielt langtrekkende konsekvenser?

Da jeg var doktorgradsstudent ved UC Berkeley, tok jeg en pause for å starte en bedrift som bygde maskinlæringmodeller for markedsføring i sosiale nettverk. Dette var tilbake i 2010. Vi hadde massive mengder data fra sosiale medier, og vi kodet alle modellene fra scratch. De finansielle konsekvensene for detaljhandlere var ganske betydelige, så vi fulgte modellenes ytelse nøye. Siden vi brukte data fra sosiale medier, var det mange feil i inndata, samt drift. Vi så at små feil resulterte i store endringer i modellutdata og kunne føre til dårlige finansielle resultater for detaljhandlere som brukte produktet.

Da jeg gikk over til å arbeide med Google+ (for de av oss som husker), så jeg de samme effektene. Mer dramatisk, i systemer som AdWords som gjorde prediksjoner om sannsynligheten for at mennesker skulle klikke på en annonse for nøkkelord, merket vi at små feil i inndata til modellen ledet til svært dårlige prediksjoner. Når du vitner dette problemet på Google-skala, innser du at problemet er universelt.

Disse erfaringene har hatt en stor innvirkning på min forskning, og jeg har brukt mye tid på å undersøke hvorfor AI-modeller gjør feil og, viktigst, hvordan man kan designe algoritmer som kan forhindre modeller fra å gjøre feil. Dette har ført til flere «aha»-øyeblikk og, til slutt, til opprettelsen av Robust Intelligence.

Kunne du dele historien bak Robust Intelligence?

Robust Intelligence startet med forskning på hva som opprinnelig var et teoretisk problem: hva er garantiene vi kan ha for beslutninger tatt med AI-modeller. Kojin var en student ved Harvard, og vi arbeidet sammen, initialt med å skrive forskningspapirer. Så, det begynner med å skrive papirer som beskriver hva som er fundamentalt mulig og umulig, teoretisk. Disse resultater fortsatte senere til et program for å designe algoritmer og modeller som er robuste mot AI-feil. Vi bygget deretter systemer som kan kjøre disse algoritmene i praksis. Etter det var det et naturlig neste skritt å starte en bedrift hvor organisasjoner kunne bruke et slikt system.

Mange av problemene som Robust Intelligence løser, er stille feil, hva er disse og hva gjør dem så farlige?

Før jeg gir en teknisk definisjon av stille feil, er det verdt å ta et steg tilbake og forstå hvorfor vi bør bry oss om AI-modeller som gjør feil. Grunnen til at vi bør bry oss om AI-modeller som gjør feil, er konsekvensene av disse feilene. Verden vår bruker AI til å automatisere kritiske beslutninger: hvem som får en forretningslån og til hva slags rente, hvem som får helseforsikring og til hva slags pris, hvilke nabolag politiet bør patruljere, hvem som er mest sannsynlig å være en toppkandidat for en jobb, hvordan vi bør organisere flyplasssikkerhet, og så videre. Det faktum at AI-modeller er ekstremt feilpregede, betyr at ved å automatisere disse kritiske beslutningene, arver vi en stor del av risiko. I Robust Intelligence kaller vi dette «AI-risiko», og vår misjon i bedriften er å eliminere AI-risiko.

Stille feil er AI-modellfeil der AI-modellen mottar inndata og produserer en prediksjon eller beslutning som er feil eller forvrengt som utdata. Så, på overflaten, ser alt ut til å være i orden, i og med at AI-modellen gjør det den skal fra et funksjonelt perspektiv. Men prediksjonen eller beslutningen er feil. Disse feilene er stille fordi systemet ikke vet at det er en feil. Dette kan være mye verre enn tilfeller der en AI-modell ikke produserer noen utdata, fordi det kan ta lang tid for organisasjoner å innse at deres AI-system er feil. Da blir AI-risiko til AI-feil, som kan ha alvorlige konsekvenser.

Robust Intelligence har i praksis designet en AI-brannmur, en idé som tidligere ble ansett som umulig. Hva gjør dette til en så teknisk utfordring?

En av grunnene til at AI-brannmuren er en utfordring, er at den går mot paradigmet maskinlæringsamfunnet hadde. Maskinlæringsamfunnets tidligere paradigme har vært at for å utrydde feil, må man mate modellene med mer data, inkludert dårlig data. Ved å gjøre det, vil modellene trene seg selv og lære å selvkorrigere feilene. Problemet med denne tilnærmingen er at den fører til at modellens nøyaktighet synker dramatisk. De beste kjente resultater for bilder, for eksempel, fører til at AI-modellens nøyaktighet synker fra 98,5% til om lag 37%.

AI-brannmuren tilbyr en annen løsning. Vi skiller problemet med å identifisere en feil fra rollen med å lage en prediksjon, det vil si at brannmuren kan fokusere på én spesifikk oppgave: å bestemme om en datapunkt vil produsere en feilprediksjon.

Dette var en utfordring i seg selv, på grunn av vanskeligheten med å gi en prediksjon på en enkelt datapunkt. Det er mange grunner til at modeller gjør feil, så å bygge en teknologi som kan forutsi disse feilene, var ikke en enkel oppgave. Vi er svært heldige å ha de ingeniører vi har.

Hvordan kan systemet hjelpe til å forebygge AI-forvrengning?

Modellforvrengning kommer fra en diskrepans mellom data modellen ble trent på og data den bruker til å lage prediksjoner. Går tilbake til AI-risiko, er forvrengning et stort problem som skyldes stille feil. For eksempel, er dette ofte et problem med underrepresenterte befolkningsgrupper. En modell kan ha forvrengning fordi den har sett mindre data fra den befolkningsgruppen, noe som vil dramatisk påvirke modellens ytelse og nøyaktighet. AI-brannmuren kan varsle organisasjoner om disse data-diskrepansene og hjelpe modellen med å lage korrekte beslutninger.

Hva er noen av de andre risikoene for organisasjoner som en AI-brannmur hjelper til å forebygge?

Noen selskap som bruker AI til å automatisere beslutninger, spesielt kritiske beslutninger, introduserer automatisk risiko. Dårlig data kan være så enkelt som å taste inn en null istedenfor en en og likevel føre til betydelige konsekvenser. Uansett om risikoen er feil medisinske prediksjoner eller feil prediksjoner om lån, hjelper AI-brannmuren organisasjoner med å forebygge risiko helt og holdent.

Er det noe annet du ville like å dele om Robust Intelligence?

Robust Intelligence vokser raskt og vi får mange gode kandidater som søker om stillinger. Men noe jeg virkelig ønsker å understreke for de som vurdere å søke, er at den viktigste kvalifikasjonen vi søker etter hos kandidater, er deres lidenskap for oppdraget. Vi møter mange kandidater som er sterke teknisk, så det kommer ned til å forstå om de virkelig er lidenskapelige om å eliminere AI-risiko for å gjøre verden en tryggere og bedre plass.

I den verden vi går mot, vil mange beslutninger som i dag tas av mennesker, bli automatisert. Uansett om vi liker det eller ikke, er det en realitet. Gitt det, ønsker alle i Robust Intelligence at automatiserte beslutninger skal tas på en ansvarlig måte. Så, hvem som helst som er begeistret for å ha en innvirkning, som forstår hvordan dette kan påvirke folks liv, er en kandidat vi søker etter for å bli en del av Robust Intelligence. Vi søker etter det lidenskapet. Vi søker etter de menneskene som vil skape denne teknologien som hele verden vil bruke. Vi er looking for that passion. We are looking for the people who will create this technology that the whole world will use. Thank you for the great interview, I enjoyed learning about your views on preventing AI bias and on the need for an AI firewall, readers who wish to learn more should visit Robust Intelligence.