Yaron Singer, CEO bij Robust Intelligence & Professor of Computer Science aan Harvard University – Interviewreeks

Yaron Singer is de CEO van Robuuste intelligentie en hoogleraar computerwetenschappen en toegepaste wiskunde aan Harvard. Yaron staat bekend om baanbrekende resultaten op het gebied van machine learning, algoritmen en optimalisatie. Yaron werkte eerder bij Google Research en promoveerde aan UC Berkeley.

Wat trok je in eerste instantie aan op het gebied van informatica en machine learning?

Mijn reis begon met wiskunde, wat me naar informatica leidde, wat me op het pad naar machine learning zette. Wiskunde trok aanvankelijk mijn interesse omdat het axiomatische systeem me de mogelijkheid gaf om nieuwe werelden te creëren. Met informatica leerde ik over existentiële bewijzen, maar ook over de algoritmen erachter. Vanuit een creatief perspectief is informatica het trekken van grenzen tussen wat we wel en niet kunnen doen.

Mijn interesse in machine learning is altijd geworteld geweest in een interesse in echte gegevens, bijna het fysieke aspect ervan. Dingen uit de echte wereld halen en ze modelleren om iets zinvols te maken. We zouden letterlijk een betere wereld kunnen ontwerpen door middel van zinvolle modellen. Dus wiskunde gaf me een basis om dingen te bewijzen, computerwetenschap helpt me te zien wat wel en niet kan, en machine learning stelt me ​​in staat om deze concepten in de wereld te modelleren.

Tot voor kort was u hoogleraar informatica en toegepaste wiskunde aan de Harvard University. Wat waren enkele van uw belangrijkste lessen uit deze ervaring?

Mijn grootste voordeel van het zijn van een faculteitslid aan Harvard is dat het iemands eetlust ontwikkelt om grote dingen te doen. Harvard heeft van oudsher een kleine faculteit en de verwachting van tenure track-faculteiten is om grote problemen aan te pakken en nieuwe vakgebieden te creëren. Je moet brutaal zijn. Dit wordt uiteindelijk een geweldige voorbereiding op het lanceren van een categorie-creërende startup die een nieuwe ruimte definieert. Ik raad niet per se aan om eerst de tenure track van Harvard te doorlopen, maar als je dat overleeft, is het makkelijker om een ​​startup op te bouwen.

Kunt u uw 'aha'-moment beschrijven toen u zich realiseerde dat geavanceerde AI-systemen kwetsbaar zijn voor slechte gegevens, met mogelijk verstrekkende gevolgen?

Toen ik een afgestudeerde student was aan UC Berkeley, nam ik wat vrije tijd om een ​​startup te doen die machine learning-modellen bouwde voor marketing in sociale netwerken. Dit was in 2010. We hadden enorme hoeveelheden gegevens van sociale media en we hebben alle modellen helemaal opnieuw gecodeerd. De financiële implicaties voor retailers waren behoorlijk groot, dus we volgden de prestaties van de modellen op de voet. Omdat we data van sociale media gebruikten, zaten er veel fouten in de invoer, evenals drift. We zagen dat zeer kleine fouten resulteerden in grote veranderingen in de modeluitvoer en konden leiden tot slechte financiële resultaten voor detailhandelaren die het product gebruikten.

Toen ik overstapte naar het werken aan Google+ (voor degenen onder ons die het zich herinneren), zag ik exact dezelfde effecten. Nog dramatischer: in systemen zoals AdWords die voorspellingen deden over de waarschijnlijkheid dat mensen op een advertentie klikken voor zoekwoorden, merkten we dat kleine fouten in de invoer van het model tot zeer slechte voorspellingen leidden. Wanneer u dit probleem op Google-schaal ziet, realiseert u zich dat het probleem universeel is.

Deze ervaringen hebben mijn onderzoeksfocus sterk bepaald, en ik heb mijn tijd op Harvard doorgebracht met onderzoeken waarom AI-modellen fouten maken en, belangrijker nog, hoe algoritmen kunnen worden ontworpen die kunnen voorkomen dat modellen fouten maken. Dit leidde natuurlijk tot meer 'aha'-momenten en uiteindelijk tot de creatie van Robust Intelligence.

Kun je het ontstaansverhaal achter Robust Intelligence delen?

Robust Intelligence begon met onderzoek naar wat aanvankelijk een theoretisch probleem was: wat zijn de garanties die we kunnen hebben voor beslissingen die worden genomen met behulp van AI-modellen. Kojin was een student aan Harvard en we werkten samen, in eerste instantie schreven we onderzoekspapers. Het begint dus met het schrijven van papers die schetsen wat theoretisch mogelijk en onmogelijk is. Deze resultaten werden later voortgezet in een programma voor het ontwerpen van algoritmen en modellen die bestand zijn tegen AI-storingen. Vervolgens bouwen we systemen die deze algoritmes in de praktijk kunnen draaien. Daarna was het starten van een bedrijf waar organisaties zo'n systeem konden gebruiken een logische volgende stap.

Veel van de problemen die Robust Intelligence aanpakt, zijn stille fouten, wat zijn dit en wat maakt ze zo gevaarlijk?

Voordat we een technische definitie van stille fouten geven, is het de moeite waard om een ​​stap terug te doen en te begrijpen waarom we er in de eerste plaats om moeten geven dat AI fouten maakt. De reden dat we er om geven dat AI-modellen fouten maken, zijn de gevolgen van deze fouten. Onze wereld gebruikt AI om cruciale beslissingen te automatiseren: wie krijgt een zakelijke lening en tegen welk rentetarief, wie krijgt een ziektekostenverzekering en tegen welk tarief, in welke buurten moet de politie patrouilleren, wie is het meest waarschijnlijk een topkandidaat voor een baan, hoe moeten we luchthavenbeveiliging organiseren, enzovoort. Het feit dat AI-modellen extreem foutgevoelig zijn, betekent dat we bij het automatiseren van deze kritieke beslissingen veel risico erven. Bij Robust Intelligence noemen we dit “AI Risk” en onze missie binnen het bedrijf is om AI Risk te elimineren.

Stille fouten zijn AI-modelfouten waarbij het AI-model input ontvangt en een voorspelling of beslissing produceert die verkeerd of bevooroordeeld is als output. Dus op het eerste gezicht ziet alles voor het systeem er goed uit, in die zin dat het AI-model doet wat het moet doen vanuit een functioneel perspectief. Maar de voorspelling of beslissing is onjuist. Deze fouten zijn stil omdat het systeem niet weet dat er een fout is. Dit kan veel erger zijn dan het geval waarin een AI-model geen output produceert, omdat het lang kan duren voordat organisaties beseffen dat hun AI-systeem defect is. AI-risico's worden dan AI-storingen die ernstige gevolgen kunnen hebben.

Robust Intelligence heeft in wezen een AI-firewall ontworpen, een idee dat eerder als onmogelijk werd beschouwd. Waarom is dit zo'n technische uitdaging?

Een van de redenen waarom de AI-firewall zo'n uitdaging is, is omdat het indruist tegen het paradigma van de ML-gemeenschap. Het vorige paradigma van de ML-gemeenschap was dat om fouten uit te roeien, men meer gegevens moet invoeren, inclusief slechte gegevens aan modellen. Door dat te doen, zullen de modellen zichzelf trainen en leren hoe ze zelf de fouten kunnen corrigeren. Het probleem met die benadering is dat de nauwkeurigheid van het model hierdoor dramatisch afneemt. De bekendste resultaten voor bijvoorbeeld afbeeldingen zorgen ervoor dat de nauwkeurigheid van AI-modellen daalt van 98.5% naar ongeveer 37%.

De AI Firewall biedt een andere oplossing. We ontkoppelen het probleem van het identificeren van een fout van de rol van het maken van een voorspelling, wat betekent dat de firewall zich kan concentreren op één specifieke taak: bepalen of een datapunt een foutieve voorspelling zal produceren.

Dit was een uitdaging op zich vanwege de moeilijkheid om een ​​voorspelling te doen op een enkel datapunt. Er zijn veel redenen waarom modellen fouten maken, dus het bouwen van een technologie die deze fouten kan voorspellen, was geen gemakkelijke taak. We hebben het geluk dat we de ingenieurs hebben die we hebben.

Hoe kan het systeem helpen om AI-bias te voorkomen?

Modelbias komt voort uit een discrepantie tussen de gegevens waarop het model is getraind en de gegevens die het gebruikt om voorspellingen te doen. Terugkomend op het AI-risico: vooringenomenheid is een groot probleem dat wordt toegeschreven aan stille fouten. Dit is bijvoorbeeld vaak een probleem bij ondervertegenwoordigde bevolkingsgroepen. Een model kan vooroordelen hebben omdat het minder gegevens van die populatie heeft gezien, wat de prestaties van dat model en de nauwkeurigheid van de voorspellingen dramatisch zal beïnvloeden. De AI Firewall kan organisaties waarschuwen voor deze gegevensverschillen en het model helpen de juiste beslissingen te nemen.

Wat zijn enkele van de andere risico's voor organisaties die een AI-firewall helpt voorkomen?

Elk bedrijf dat AI gebruikt om beslissingen te automatiseren, met name kritieke beslissingen, brengt automatisch risico's met zich mee. Slechte gegevens kunnen zo klein zijn als het invoeren van een nul in plaats van een en toch aanzienlijke gevolgen hebben. Of het risico nu bestaat uit onjuiste medische voorspellingen of valse voorspellingen over kredietverlening, de AI Firewall helpt organisaties om risico's helemaal te voorkomen.

Is er nog iets dat u wilt delen over Robuuste intelligentie?

Robust Intelligence groeit snel en we krijgen veel geweldige kandidaten die solliciteren naar functies. Maar iets wat ik echt wil benadrukken voor mensen die overwegen te solliciteren, is dat de belangrijkste eigenschap die we zoeken in kandidaten hun passie voor de missie is. We ontmoeten veel kandidaten die technisch sterk zijn, dus het komt er echt op aan te begrijpen of ze echt gepassioneerd zijn over het elimineren van AI-risico's om de wereld veiliger en beter te maken.

In de wereld waar we naartoe gaan, zullen veel beslissingen die nu door mensen worden genomen geautomatiseerd zijn. Of we het nu leuk vinden of niet, dat is een feit. Daarom willen we allemaal bij Robust Intelligence dat geautomatiseerde beslissingen verantwoord worden genomen. Dus iedereen die enthousiast is over het maken van impact, die begrijpt hoe dit het leven van mensen kan beïnvloeden, is een kandidaat die we zoeken om lid te worden van Robust Intelligence. Die passie zoeken wij. We zijn op zoek naar de mensen die deze technologie gaan creëren die de hele wereld zal gebruiken.

Bedankt voor het geweldige interview, ik vond het leuk om te leren over je mening over het voorkomen van AI-bias en over de noodzaak van een AI-firewall. Lezers die meer willen weten, moeten een bezoek brengen aan Robuuste intelligentie.