Yaron Singer, CEO at Robust Intelligence & Professor of Computer Science at Harvard University – Interview Series

Yaron Singer is de CEO van Robust Intelligence en Professor of Computer Science and Applied Math aan Harvard. Yaron is bekend vanwege baanbrekende resultaten op het gebied van machine learning, algoritmes en optimalisatie. Voordien werkte Yaron bij Google Research en behaalde hij zijn PhD aan UC Berkeley.

Wat trok je aanvankelijk aan tot het vakgebied van computerwetenschappen en machine learning?

Mijn reis begon met wiskunde, wat me naar computerwetenschappen leidde, wat me op het pad zette naar machine learning. Wiskunde trok aanvankelijk mijn aandacht omdat het axiomatische systeem me de mogelijkheid gaf om nieuwe werelden te creëren. Met computerwetenschappen leerde ik over existentiële bewijzen, maar ook over de algoritmes erachter. Vanuit een creatief perspectief is computerwetenschappen het trekken van grenzen tussen wat we kunnen en niet kunnen doen.

Mijn interesse in machine learning is altijd geworteld in een interesse in echte data, bijna het fysieke aspect ervan. Dingen uit de echte wereld nemen en modelleren om iets zinvols te maken. We konden letterlijk een betere wereld ontwerpen door zinvolle modellering. Dus gaf wiskunde me een basis om dingen te bewijzen, computerwetenschappen helpen me om te zien wat wel en niet kan worden gedaan, en machine learning stelt me in staat om deze concepten in de wereld te modelleren.

Tot voor kort was je Professor of Computer Science and Applied Mathematics aan Harvard University, wat waren enkele van je belangrijkste inzichten uit deze ervaring?

Mijn grootste inzicht uit het zijn van een faculteitslid aan Harvard is dat het je eetlust ontwikkelt om grote dingen te doen. Harvard heeft traditioneel een kleine faculteit, en de verwachting van tenure track-faculteit is om grote problemen aan te pakken en nieuwe vakgebieden te creëren. Je moet stoutmoedig zijn. Dit blijkt een goede voorbereiding te zijn op het lanceren van een category-creating startup die een nieuwe ruimte definieert. Ik raad niet noodzakelijkerwijs aan om eerst door de Harvard-tenure track te gaan, maar als je dat overleeft, is het opbouwen van een startup gemakkelijker.

Kunt u uw ‘aha’-moment beschrijven toen u besefte dat geavanceerde AI-systemen kwetsbaar zijn voor slechte data, met enkele potentieel verstrekkende gevolgen?

Toen ik een graduate student was aan UC Berkeley, nam ik even de tijd om een startup op te zetten die machine learning-modellen voor marketing in sociale netwerken bouwde. Dit was in 2010. We hadden enorme hoeveelheden data van sociale media, en we codeerden alle modellen van scratch. De financiële gevolgen voor retailers waren vrij aanzienlijk, dus we volgden de prestaties van de modellen nauwlettend. Omdat we data van sociale media gebruikten, waren er veel fouten in de invoer, evenals drift. We zagen dat zeer kleine fouten grote veranderingen in de modeluitvoer konden veroorzaken en slechte financiële resultaten voor retailers die het product gebruikten.

Toen ik overstapte naar werken aan Google+ (voor wie van ons zich dat herinnert), zag ik hetzelfde effect. Nog dramatischer, in systemen zoals AdWords die voorspellingen deden over de waarschijnlijkheid dat mensen op een advertentie voor trefwoorden zouden klikken, zagen we dat kleine fouten in de invoer van het model tot zeer slechte voorspellingen konden leiden. Wanneer je dit probleem op Google-schaal ziet, realiseer je je dat het probleem universeel is.

Deze ervaringen hebben mijn onderzoeksfocus sterk beïnvloed, en ik heb mijn tijd aan Harvard besteed aan het onderzoeken waarom AI-modellen fouten maken en, belangrijk, hoe we algoritmes kunnen ontwerpen die voorkomen dat modellen fouten maken. Dit leidde natuurlijk tot meer ‘aha’-momenten en, uiteindelijk, tot de creatie van Robust Intelligence.

Kunt u het verhaal achter Robust Intelligence delen?

Robust Intelligence begon met onderzoek naar wat aanvankelijk een theoretisch probleem was: welke garanties kunnen we hebben voor beslissingen die met behulp van AI-modellen worden genomen. Kojin was een student aan Harvard, en we werkten samen, eerst door onderzoeksartikelen te schrijven. Dus, het begint met het schrijven van artikelen die theoretisch mogelijk en onmogelijk zijn. Deze resultaten leidden later tot een programma voor het ontwerpen van algoritmes en modellen die robuust zijn tegen AI-fouten. We bouwen vervolgens systemen die deze algoritmes in de praktijk kunnen uitvoeren. Daarna was het starten van een bedrijf waar organisaties een dergelijk systeem konden gebruiken een logische volgende stap.

Veel van de problemen die Robust Intelligence aanpakt, zijn stille fouten, wat zijn dit en wat maakt ze zo gevaarlijk?

Voordat ik een technische definitie van stille fouten geef, is het de moeite waard om een stap terug te doen en te begrijpen waarom we ons druk moeten maken over AI die fouten maakt. De reden waarom we ons druk maken over AI-modellen die fouten maken, is de gevolgen van deze fouten. Onze wereld gebruikt AI om kritische beslissingen te automatiseren: wie krijgt een zakelijke lening en tegen welke rente, wie krijgt dekking voor de gezondheidszorg en tegen welke rente, welke buurten moeten door de politie worden gepatrouilleerd, wie is het meest waarschijnlijk een topkandidaat voor een baan, hoe moeten we de luchthavenbeveiliging organiseren, enz. Het feit dat AI-modellen extreem foutgevoelig zijn, betekent dat we bij het automatiseren van deze kritische beslissingen een groot risico inherenteren. Bij Robust Intelligence noemen we dit “AI-risico” en onze missie in het bedrijf is om AI-risico te elimineren.

Stille fouten zijn AI-modellenfouten waarbij het AI-model invoer ontvangt en een voorspelling of beslissing produceert die onjuist of vertekend is als uitvoer. Dus, aan de oppervlakte, ziet alles voor het systeem in orde uit, omdat het AI-model doet wat het zou moeten doen vanuit een functioneel perspectief. Maar de voorspelling of beslissing is onjuist. Deze fouten zijn stil omdat het systeem niet weet dat er een fout is. Dit kan erger zijn dan het geval waarin een AI-model geen uitvoer produceert, omdat het lang kan duren voordat organisaties beseffen dat hun AI-systeem defect is. Dan wordt AI-risico AI-falen, wat verstrekkende gevolgen kan hebben.

Robust Intelligence heeft in wezen een AI-firewall ontworpen, een idee die eerder onmogelijk werd geacht. Waarom is dit zo’n technische uitdaging?

Een van de redenen waarom de AI-firewall zo’n uitdaging is, is omdat het in strijd is met het paradigma dat de ML-gemeenschap had. Het vorige paradigma van de ML-gemeenschap was dat om fouten uit te roeien, men meer data, inclusief slechte data, aan modellen moet voeren. Door dat te doen, zullen de modellen zichzelf trainen en leren hoe ze hun eigen fouten kunnen corrigeren. Het probleem met die benadering is dat het de nauwkeurigheid van het model aanzienlijk vermindert. De beste bekende resultaten voor afbeeldingen, bijvoorbeeld, doen de nauwkeurigheid van het AI-model dalen van 98,5% tot ongeveer 37%.

De AI-firewall biedt een andere oplossing. We ontkoppelen het probleem van het identificeren van een fout van de rol van het maken van een voorspelling, wat betekent dat de firewall zich kan concentreren op één specifieke taak: bepalen of een datapunt een onjuiste voorspelling zal produceren.

Dit was een uitdaging op zich vanwege de moeilijkheid om een voorspelling te doen voor één datapunt. Er zijn veel redenen waarom modellen fouten maken, dus het bouwen van een technologie die deze fouten kan voorspellen, was geen eenvoudige taak. We zijn erg gelukkig om de ingenieurs te hebben die we hebben.

Hoe kan het systeem helpen om AI-vooringenomenheid te voorkomen?

Model-vooringenomenheid komt voort uit een discrepantie tussen de data waarop het model is getraind en de data die het gebruikt om voorspellingen te doen. Terugkerend naar AI-risico, is vooringenomenheid een groot probleem dat aan stille fouten wordt toegeschreven. Bijvoorbeeld, dit is vaak een probleem met ondervertegenwoordigde bevolkingsgroepen. Een model kan vooringenomenheid hebben omdat het minder data van die bevolkingsgroep heeft gezien, wat de prestaties van dat model en de nauwkeurigheid van zijn voorspellingen aanzienlijk zal beïnvloeden. De AI-firewall kan organisaties waarschuwen voor deze gegevensdiscrepanties en helpen om correcte beslissingen te nemen.

Wat zijn enkele van de andere risico’s voor organisaties die een AI-firewall helpt voorkomen?

Elk bedrijf dat AI gebruikt om kritische beslissingen te automatiseren, introduceert automatisch risico. Slechte data kunnen zo klein zijn als het invoeren van een nul in plaats van een één en nog steeds aanzienlijke gevolgen hebben. Of het risico nu onjuiste medische voorspellingen of valse voorspellingen over leningen betreft, de AI-firewall helpt organisaties om risico’s te voorkomen.

Is er nog iets anders dat u over Robust Intelligence wilt delen?

Robust Intelligence groeit snel en we krijgen veel goede kandidaten die solliciteren. Maar iets wat ik echt wil benadrukken voor mensen die overwegen om te solliciteren, is dat de belangrijkste kwaliteit die we zoeken bij kandidaten hun passie is voor de missie. We ontmoeten veel kandidaten die technisch sterk zijn, dus het komt echt neer op het begrijpen of ze echt gepassioneerd zijn over het elimineren van AI-risico om de wereld een veiliger en betere plek te maken.

In de wereld waar we naartoe gaan, zullen veel beslissingen die momenteel door mensen worden genomen, geautomatiseerd worden. Of we dat leuk vinden of niet, dat is een feit. Gezien dit feit, willen we allemaal bij Robust Intelligence dat geautomatiseerde beslissingen verantwoordelijk worden genomen. Dus, iedereen die enthousiast is over het maken van een impact, die begrijpt hoe dit het leven van mensen kan beïnvloeden, is een kandidaat die we zoeken om zich bij Robust Intelligence aan te sluiten. We zoeken naar die passie. We zoeken naar de mensen die deze technologie zullen creëren die de hele wereld zal gebruiken.

Bedankt voor het geweldige interview, ik genoot van het leren over uw mening over het voorkomen van AI-vooringenomenheid en over de noodzaak van een AI-firewall, lezers die meer willen leren, moeten Robust Intelligence bezoeken.