Yaron Singer, CEO van Robust Intelligence en Professor of Computer Science aan Harvard University – Interview Serie

Yaron Singer is de CEO van Robust Intelligence en Professor of Computer Science en Applied Math aan Harvard. Yaron is bekend om zijn baanbrekende resultaten in machine learning, algoritmes en optimalisatie. Eerder werkte Yaron bij Google (GOOGL ) Research en behaalde hij zijn PhD aan UC Berkeley.

Wat trok je aanvankelijk aan tot het vakgebied van computerwetenschappen en machine learning?

Mijn reis begon met wiskunde, wat me leidde naar computerwetenschappen, wat me op het pad zette naar machine learning. Wiskunde trok mijn aandacht omdat het axioma systeem me de mogelijkheid gaf om nieuwe werelden te creëren. Met computerwetenschappen leerde ik over existentiële bewijzen, maar ook de algoritmes erachter. Vanuit een creatief perspectief is computerwetenschappen het trekken van grenzen tussen wat we kunnen en niet kunnen doen.

Mijn interesse in machine learning is altijd geworteld in een interesse in echte data, bijna het fysieke aspect ervan. Dingen nemen uit de echte wereld en modelleren om iets betekenisvols te maken. We konden letterlijk een betere wereld ontwerpen door betekenisvolle modellering. Dus wiskunde gaf me een fundament om dingen te bewijzen, computerwetenschappen helpen me zien wat we kunnen en niet kunnen doen, en machine learning stelt me in staat om deze concepten in de wereld te modelleren.

Tot voor kort was je Professor of Computer Science en Applied Mathematics aan Harvard University, wat waren enkele van je belangrijkste inzichten uit deze ervaring?

Mijn grootste inzicht uit mijn tijd als faculteitslid aan Harvard is dat het een eetlust ontwikkelt om grote dingen te doen. Harvard heeft traditioneel een kleine faculteit, en de verwachting van tenure track faculteit is om grote problemen aan te pakken en nieuwe vakgebieden te creëren. Je moet durven. Dit blijkt een goede voorbereiding te zijn op het lanceren van een categorie-scheppende startup die een nieuwe ruimte definieert. Ik raad niet noodzakelijkerwijs aan om eerst door de Harvard tenure track te gaan – maar als je dat overleeft, is het opbouwen van een startup gemakkelijker.

Kun je je ‘aha’-moment beschrijven toen je besefte dat geavanceerde AI-systemen kwetsbaar zijn voor slechte data, met enkele potentieel verstrekkende gevolgen?

Toen ik een graduate student was aan UC Berkeley, nam ik even de tijd om een startup te doen die machine learning-modellen bouwde voor marketing in sociale netwerken. Dit was in 2010. We hadden enorme hoeveelheden data van sociale media, en we codeerden alle modellen van scratch. De financiële gevolgen voor retailers waren aanzienlijk, dus we volgden de prestaties van de modellen nauwkeurig. Omdat we data van sociale media gebruikten, waren er veel fouten in de invoer, evenals drift. We zagen dat kleine fouten grote veranderingen in de modeluitvoer konden veroorzaken en tot slechte financiële resultaten voor retailers konden leiden die het product gebruikten.

Toen ik overstapte naar werken aan Google+ (voor die van ons die het zich herinneren), zag ik hetzelfde effect. Meer dramatisch, in systemen zoals AdWords die voorspellingen deden over de waarschijnlijkheid dat mensen op een advertentie voor trefwoorden zouden klikken, zagen we dat kleine fouten in de invoer van het model tot zeer slechte voorspellingen konden leiden. Wanneer je dit probleem ziet op Google-schaal, realiseer je je dat het probleem universeel is.

Deze ervaringen hebben mijn onderzoeksfocus sterk beïnvloed, en ik heb mijn tijd aan Harvard besteed aan het onderzoeken waarom AI-modellen fouten maken en, belangrijk, hoe we algoritmes kunnen ontwerpen die voorkomen dat modellen fouten maken. Dit leidde natuurlijk tot meer ‘aha’-momenten en, uiteindelijk, tot de creatie van Robust Intelligence.

Kun je het verhaal achter Robust Intelligence delen?

Robust Intelligence begon met onderzoek naar wat aanvankelijk een theoretisch probleem was: wat zijn de garanties die we kunnen hebben voor beslissingen genomen met behulp van AI-modellen. Kojin was een student aan Harvard, en we werkten samen, eerst door onderzoeksartikelen te schrijven. Dus, het begint met het schrijven van artikelen die uitlijnen wat theoretisch mogelijk en onmogelijk is. Deze resultaten gingen later verder naar een programma voor het ontwerpen van algoritmes en modellen die robuust zijn tegen AI-fouten. We bouwen vervolgens systemen die deze algoritmes in de praktijk kunnen uitvoeren. Na dat, het starten van een bedrijf waar organisaties een dergelijk systeem kunnen gebruiken, was een logische volgende stap.

Veel van de problemen die Robust Intelligence aanpakt, zijn stille fouten, wat zijn dit en wat maakt ze zo gevaarlijk?

Voordat we een technische definitie van stille fouten geven, is het de moeite waard om een stap terug te doen en te begrijpen waarom we ons druk maken over AI-modellen die fouten maken. De reden waarom we ons druk maken over AI-modellen die fouten maken, is de consequenties van deze fouten. Onze wereld gebruikt AI om kritieke beslissingen te automatiseren: wie krijgt een zakelijke lening en tegen welke rente, wie krijgt een gezondheidsverzekering en tegen welke premie, welke buurten moeten de politie patrouilleren, wie is de meest waarschijnlijke kandidaat voor een baan, hoe moeten we luchthavenbeveiliging organiseren, enzovoort. Het feit dat AI-modellen extreem foutgevoelig zijn, betekent dat we bij het automatiseren van deze kritieke beslissingen een groot risico erven. Bij Robust Intelligence noemen we dit “AI-risico” en onze missie is om AI-risico te elimineren.

Stille fouten zijn AI-modellenfouten waarbij het AI-model invoer ontvangt en een voorspelling of beslissing produceert die verkeerd of bevooroordeeld is als uitvoer. Dus, aan de oppervlakte, ziet alles er voor het systeem goed uit, in die zin dat het AI-model doet wat het functioneel gezien moet doen. Maar de voorspelling of beslissing is onjuist. Deze fouten zijn stil omdat het systeem niet weet dat er een fout is. Dit kan veel erger zijn dan het geval waarin een AI-model geen uitvoer produceert, omdat het lang kan duren voordat organisaties beseffen dat hun AI-systeem defect is. Dan wordt AI-risico AI-falen, wat verstrekkende gevolgen kan hebben.

Robust Intelligence heeft in wezen een AI-brandmuur ontworpen, een idee die eerder onmogelijk werd geacht. Waarom is dit zo’n technische uitdaging?

Een van de redenen waarom de AI-brandmuur zo’n uitdaging is, is omdat het in strijd is met het paradigma dat de ML-gemeenschap had. Het paradigma van de ML-gemeenschap was dat men om fouten uit te roeien, meer data, inclusief slechte data, aan modellen moest voeren. Door dat te doen, zouden de modellen zichzelf trainen en leren om de fouten zelf te corrigeren. Het probleem met die benadering is dat het de nauwkeurigheid van het model dramatisch doet dalen. De beste bekende resultaten voor afbeeldingen, bijvoorbeeld, doen de nauwkeurigheid van het AI-model dalen van 98,5% tot ongeveer 37%.

De AI-brandmuur biedt een andere oplossing. We ontkoppelen het probleem van het identificeren van een fout van de rol van het maken van een voorspelling, wat betekent dat de brandmuur zich kan concentreren op één specifieke taak: bepalen of een datapunt een foutieve voorspelling zal produceren.

Dit was een uitdaging op zich vanwege de moeilijkheid om een voorspelling te doen voor een enkel datapunt. Er zijn veel redenen waarom modellen fouten maken, dus het bouwen van een technologie die deze fouten kan voorspellen, was geen eenvoudige taak. We zijn erg gelukkig om de ingenieurs te hebben die we hebben.

Hoe kan het systeem helpen om AI-vooringenomenheid te voorkomen?

Modelvooringenomenheid komt voort uit een discrepantie tussen de data waarop het model is getraind en de data die het gebruikt om voorspellingen te doen. Terugkerend naar AI-risico, is vooringenomenheid een groot probleem dat aan stille fouten wordt toegeschreven. Bijvoorbeeld, dit is vaak een probleem met ondervertegenwoordigde bevolkingsgroepen. Een model kan vooringenomenheid hebben omdat het minder data van die bevolkingsgroep heeft gezien, wat de prestaties van het model en de nauwkeurigheid van zijn voorspellingen aanzienlijk zal beïnvloeden. De AI-brandmuur kan organisaties waarschuwen voor deze gegevensdiscrepanties en helpen om correcte beslissingen te nemen.

Wat zijn enkele van de andere risico’s voor organisaties die een AI-brandmuur helpt voorkomen?

Elk bedrijf dat AI gebruikt om kritieke beslissingen te automatiseren, introduceert automatisch risico. Slechte data kan zo simpel zijn als het invoeren van een nul in plaats van een één en kan nog steeds aanzienlijke gevolgen hebben. Of het risico nu onjuiste medische voorspellingen of valse voorspellingen over leningen betreft, de AI-brandmuur helpt organisaties om risico’s te voorkomen.

Is er nog iets anders dat je over Robust Intelligence wilt delen?

Robust Intelligence groeit snel en we krijgen veel goede kandidaten die solliciteren voor posities. Maar iets wat ik echt wil benadrukken voor mensen die overwegen om te solliciteren, is dat de belangrijkste kwaliteit die we zoeken in kandidaten, hun passie is voor de missie. We ontmoeten veel kandidaten die sterk zijn op technisch gebied, dus het komt echt neer op het begrijpen of ze echt gepassioneerd zijn over het elimineren van AI-risico’s om de wereld een veiliger en betere plek te maken.

In de wereld waar we naartoe gaan, zullen veel beslissingen die momenteel door mensen worden genomen, geautomatiseerd worden. Of we dat leuk vinden of niet, dat is een feit. Gegeven dat, willen we allemaal bij Robust Intelligence dat geautomatiseerde beslissingen verantwoordelijk worden genomen. Dus, iedereen die enthousiast is over het maken van een impact, die begrijpt hoe dit het leven van mensen kan beïnvloeden, is een kandidaat die we zoeken om zich bij Robust Intelligence aan te sluiten. We zijn op zoek naar die passie. We zijn op zoek naar de mensen die deze technologie zullen creëren die de hele wereld zal gebruiken. We zijn op zoek naar die passie. We zijn op zoek naar de mensen die deze technologie zullen creëren die de hele wereld zal gebruiken.

Bedankt voor het geweldige interview, ik genoot van het leren over uw mening over het voorkomen van AI-vooringenomenheid en over de noodzaak van een AI-brandmuur, lezers die meer willen leren, kunnen Robust Intelligence bezoeken.