Yaron Singer, administrerende direktør ved Robust Intelligence og professor i informatikk ved Harvard University – Intervjuserie

Yaron Singer er administrerende direktør i Robust intelligens og professor i informatikk og anvendt matematikk ved Harvard. Yaron er kjent for banebrytende resultater innen maskinlæring, algoritmer og optimalisering. Tidligere jobbet Yaron i Google Research og tok sin doktorgrad fra UC Berkeley.

Hva tiltrakk deg i utgangspunktet til feltet informatikk og maskinlæring?

Reisen min begynte med matematikk, som førte meg til informatikk, som satte meg på veien til maskinlæring. Matte vakte først min interesse fordi dets aksiomatiske system ga meg muligheten til å skape nye verdener. Med informatikk lærte jeg om eksistensielle bevis, men også algoritmene bak. Fra et kreativt perspektiv er informatikk det å trekke grenser mellom hva vi kan og ikke kan gjøre.

Min interesse for maskinlæring har alltid vært forankret i interessen for ekte data, nesten det fysiske aspektet ved det. Å ta ting fra den virkelige verden og modellere dem for å gjøre noe meningsfullt. Vi kan bokstavelig talt konstruere en bedre verden gjennom meningsfull modellering. Så matte ga meg et grunnlag for å bevise ting, informatikk hjelper meg å se hva som kan og ikke kan gjøres, og maskinlæring gjør meg i stand til å modellere disse konseptene i verden.

Inntil nylig var du professor i informatikk og anvendt matematikk ved Harvard University, hva var noen av de viktigste resultatene dine fra denne opplevelsen?

Min største takeaway fra å være et fakultetsmedlem ved Harvard er at det utvikler ens appetitt på å gjøre store ting. Harvard har tradisjonelt et lite fakultet, og forventningene fra tenure track-fakultetet er å takle store problemer og skape nye felt. Du må være dristig. Dette ender opp som en god forberedelse for å lansere en kategoriskapende oppstart som definerer et nytt rom. Jeg anbefaler ikke nødvendigvis å gå gjennom Harvard tenure track først – men hvis du overlever det, er det enklere å bygge en oppstart.

Kan du beskrive "aha"-øyeblikket ditt da du innså at sofistikerte AI-systemer er sårbare for dårlige data, med noen potensielt vidtrekkende implikasjoner?

Da jeg var hovedfagsstudent ved UC Berkeley, tok jeg litt fri for å gjøre en oppstart som bygde maskinlæringsmodeller for markedsføring i sosiale nettverk. Dette var tilbake i 2010. Vi hadde enorme mengder data fra sosiale medier, og vi kodet alle modellene fra bunnen av. De økonomiske implikasjonene for forhandlere var ganske betydelige, så vi fulgte modellenes ytelse nøye. Siden vi brukte data fra sosiale medier, var det mange feil i input, samt drift. Vi så at svært små feil resulterte i store endringer i modellens produksjon og kunne føre til dårlige økonomiske resultater for forhandlere som bruker produktet.

Da jeg gikk over til å jobbe med Google+ (for de av oss som husker det), så jeg nøyaktig de samme effektene. Mer dramatisk, i systemer som AdWords som ga spådommer om sannsynligheten for at folk klikker på en annonse for søkeord, la vi merke til at små feil i input til modellen fører til svært dårlige spådommer. Når du ser dette problemet i Google-skala, innser du at problemet er universelt.

Disse erfaringene formet forskningsfokuset mitt sterkt, og jeg brukte tiden min på Harvard til å undersøke hvorfor AI-modeller gjør feil og, viktigere, hvordan man kan designe algoritmer som kan forhindre at modeller gjør feil. Dette førte selvfølgelig til flere 'aha'-øyeblikk og til slutt til etableringen av Robust Intelligence.

Kan du dele opprinnelseshistorien bak Robust Intelligence?

Robust Intelligence startet med forskning på det som opprinnelig var et teoretisk problem: hva er garantiene vi kan ha for beslutninger tatt ved hjelp av AI-modeller. Kojin var student ved Harvard, og vi jobbet sammen, og skrev først forskningsoppgaver. Så det starter med å skrive artikler som skisserer hva som er grunnleggende mulig og umulig, teoretisk. Disse resultatene fortsatte senere til et program for å designe algoritmer og modeller som er robuste mot AI-feil. Deretter bygger vi systemer som kan kjøre disse algoritmene i praksis. Etter det var det et naturlig neste skritt å starte et selskap der organisasjoner kunne bruke et system som dette.

Mange av problemene som Robust Intelligence takler er stille feil, hva er disse og hva gjør dem så farlige?

Før du gir en teknisk definisjon av stille feil, er det verdt å ta et skritt tilbake og forstå hvorfor vi bør bry oss om at AI gjør feil i utgangspunktet. Grunnen til at vi bryr oss om at AI-modeller gjør feil, er konsekvensene av disse feilene. Verden vår bruker kunstig intelligens for å automatisere kritiske beslutninger: hvem får et bedriftslån og til hvilken rente, hvem får helseforsikring og til hvilken rate, hvilke nabolag bør politipatruljere, hvem er mest sannsynlig en toppkandidat for en jobb, hvordan skal vi organisere flyplasssikkerhet, og så videre. Det faktum at AI-modeller er ekstremt feilutsatte betyr at vi ved å automatisere disse kritiske beslutningene arver mye risiko. Hos Robust Intelligence kaller vi dette "AI Risk", og vårt oppdrag i selskapet er å eliminere AI Risk.

Stille feil er AI-modellfeil der AI-modellen mottar input og produserer en prediksjon eller beslutning som er feil eller forutinntatt som en utgang. Så på overflaten ser alt OK ut for systemet, ved at AI-modellen gjør det den skal fra et funksjonelt perspektiv. Men spådommen eller avgjørelsen er feil. Disse feilene er tause fordi systemet ikke vet at det er en feil. Dette kan være langt verre enn tilfellet der en AI-modell ikke produserer noe, fordi det kan ta lang tid før organisasjoner innser at AI-systemet deres er feil. Deretter blir AI-risiko AI-feil som kan få alvorlige konsekvenser.

Robust Intelligence har i hovedsak designet en AI-brannmur, en idé som tidligere ble ansett som umulig. Hvorfor er dette en så teknisk utfordring?

En grunn til at AI-brannmuren er en slik utfordring, er fordi den strider mot paradigmet ML-fellesskapet hadde. ML-fellesskapets tidligere paradigme har vært at for å utrydde feil, må man mate mer data, inkludert dårlige data til modeller. Ved å gjøre det vil modellene trene seg selv og lære hvordan de selv kan rette opp feilene. Problemet med den tilnærmingen er at den fører til at nøyaktigheten til modellen synker dramatisk. De mest kjente resultatene for bilder, for eksempel, får AI-modellnøyaktigheten til å falle fra 98.5 % til omtrent 37 %.

AI-brannmuren tilbyr en annen løsning. Vi kobler problemet med å identifisere en feil fra rollen som å lage en prediksjon, noe som betyr at brannmuren kan fokusere på én spesifikk oppgave: avgjøre om et datapunkt vil produsere en feilaktig prediksjon.

Dette var en utfordring i seg selv på grunn av vanskeligheten med å gi en prediksjon på et enkelt datapunkt. Det er mange grunner til at modeller gjør feil, så det var ikke en lett oppgave å bygge en teknologi som kan forutsi disse feilene. Vi er veldig heldige som har ingeniørene vi har.

Hvordan kan systemet bidra til å forhindre AI-bias?

Modellbias kommer fra et avvik mellom dataene modellen ble trent på og dataene den bruker for å lage spådommer. Går tilbake til AI-risiko, er skjevhet et stort problem som tilskrives stille feil. For eksempel er dette ofte et problem med underrepresenterte befolkninger. En modell kan ha skjevhet fordi den har sett mindre data fra den populasjonen, noe som vil dramatisk påvirke ytelsen til den modellen og nøyaktigheten av dens spådommer. AI-brannmuren kan varsle organisasjoner om disse dataavvikene og hjelpe modellen med å ta riktige avgjørelser.

Hva er noen av de andre risikoene for organisasjoner som en AI-brannmur bidrar til å forhindre?

Ethvert selskap som bruker AI for å automatisere beslutninger, spesielt kritiske beslutninger, introduserer automatisk risiko. Dårlige data kan være like små som å legge inn en null i stedet for en og fortsatt føre til betydelige konsekvenser. Enten risikoen er feil medisinske spådommer eller falske spådommer om utlån, hjelper AI-brannmuren organisasjoner med å forhindre risiko helt.

Er det noe annet du vil dele om Robust Intelligence?

Robust Intelligence vokser raskt og vi får mange flotte kandidater som søker på stillinger. Men noe jeg virkelig vil understreke for folk som vurderer å søke, er at den viktigste egenskapen vi søker hos kandidater er deres lidenskap for oppdraget. Vi får møte mange kandidater som er sterke teknisk, så det handler om å forstå om de virkelig brenner for å eliminere AI-risiko for å gjøre verden til et tryggere og bedre sted.

I den verden vi går mot, vil mange avgjørelser som for tiden tas av mennesker, bli automatisert. Enten vi liker det eller ikke, det er et faktum. Gitt det, ønsker alle av oss i Robust Intelligence at automatiserte beslutninger skal gjøres ansvarlig. Så alle som er begeistret for å påvirke, som forstår hvordan dette kan påvirke folks liv, er en kandidat vi ser etter for å bli med i Robust Intelligence. Vi leter etter den lidenskapen. Vi ser etter menneskene som skal lage denne teknologien som hele verden vil bruke.

Takk for det flotte intervjuet, jeg likte å lære om dine synspunkter på å forhindre AI-bias og om behovet for en AI-brannmur, lesere som ønsker å lære mer bør besøke Robust intelligens.