Navrina Singh, CEO en oprichter van Credo AI – Interviewreeks

Navrina Singh is CEO en oprichter van Credo AI, een bedrijf dat de eerste uitgebreide AI-governance SaaS-platform ontwikkelt dat bedrijven en individuen in staat stelt om beter te begrijpen en vertrouwen en ethische AI te leveren, om voorop te lopen bij nieuwe regelgeving en beleid en om een AI-record te creëren dat auditeerbaar en transparant is throughout de organisatie. Het bedrijf is in stilte actief geweest en heeft een indrukwekkend klantenbestand opgebouwd dat een van de grootste overheidscontractanten en financiële dienstverleners ter wereld omvat, evenals andere Fortune 100-merken.

U bent opgegroeid in een kleine stad in India met bescheiden begin, hoe bent u aangetrokken tot techniek en het veld van AI?

Ik kom uit een middelklassegezin; mijn vader was veertig jaar lang in het leger en mijn moeder was lerares en modeontwerpster. Van jongs af aan hebben ze mijn nieuwsgierigheid, mijn liefde voor wetenschappelijke ontdekkingen en me een veilige plek gegeven om de “wat als” vragen te stellen.

Toen ik opgroeide in India, kregen vrouwen niet zoveel kansen als mannen. Veel beslissingen waren al voor een meisje genomen op basis van wat door de samenleving werd geaccepteerd. De enige manier om te ontsnappen en een goed leven te bieden aan uw gezin was door middel van onderwijs.

Nadat ik de middelbare school had afgerond, kocht ik mijn eerste computer, die mijn venster naar de wereld was. Ik was erg geïnteresseerd in hardware en bracht uren online door met het leren van het demonteren van moederborden, het bouwen van robotica-toepassingen, het leren van programmeren, het opnieuw doen van elektrische installaties in mijn huis (oh nee!) en nog veel meer. Techniek werd mijn veilige haven, waar ik kon experimenteren, ontdekken, bouwen en een wereld kon ervaren die ik wilde zijn door middel van mijn uitvindingen. Ik was geïnspireerd en opgewonden over hoe technologie een krachtig instrument kon zijn om verandering teweeg te brengen, vooral voor vrouwen.

Terwijl ik opgroeide, waren mijn middelen beperkt, maar de mogelijkheden waren dat niet. Ik droomde altijd van naar de Verenigde Staten gaan om een sterker fundament in technologie te bouwen om de grootste uitdagingen van de mensheid aan te pakken. Ik emigreerde hier in 2001 om mijn technische reis voort te zetten aan de Universiteit van Wisconsin-Madison.

Gedurende mijn bijna twee decennia in de techniek, had ik het voorrecht om te werken aan meerdere frontier-technologieën, van mobiel tot augmented reality.

In 2011 begon ik met het verkennen van kunstmatige intelligentie om nieuwe opkomende bedrijven te bouwen bij Qualcomm (QCOM ). Ik heb ook tijd doorgebracht met het bouwen van bedrijven en toepassingen in AI bij Microsoft (MSFT ) en Qualcomm, over de afgelopen decade. Naarmate ik meer leerde over AI en machine learning, werd het duidelijk dat deze frontier-technologie onze levens op een manier zou veranderen die we ons niet kunnen voorstellen.

Het bouwen van enterprise-schaal kunstmatige intelligentie maakte me ook bewust van het feit dat deze technologie een dienst kan bewijzen aan onze mensen en gemeenschappen, als het ongecontroleerd wordt gelaten. Wij, als leiders, moeten extreme verantwoordelijkheid nemen voor de technologieën die we bouwen. We moeten proactief zijn in het maximaliseren van de voordelen voor de mensheid en het minimaliseren van de risico’s. Na alles “Wat we maken, maakt ons” is het bouwen van verantwoordelijkheid kritiek, wat de volgende fase van mijn carrière heeft geïnspireerd om AI-governance te bouwen.

Wanneer bent u voor het eerst serieus gaan nadenken over AI-governance?

Toen ik het hoofd van innovatie was bij Qualcomm, verkenden we de mogelijkheden die AI kon brengen aan onze opkomende bedrijven. Ons eerste werk was gericht op collaboratieve robots die in de supply chain werden gebruikt. Dit was mijn eerste blootstelling aan de “echte” risico’s van AI, vooral met betrekking tot de fysieke veiligheid van de mensen die naast deze robot-systemen werkten.

Tijdens deze periode brachten we veel tijd door met startups, zoals Soul Machines, om nieuwe use cases te leren en manieren te vinden om samen te werken om ons werk te versnellen. Soul Machines had een nieuwe versie van hun baby-avatar, “Baby X”, uitgebracht. Het kijken naar deze neurale netwerk-baby, die actief leerde van de wereld om haar heen, deed me pauzeren en reflecteren op de onbedoelde gevolgen van deze technologie. Mijn dochter Ziya werd rond dezelfde tijd geboren, en we noemden haar liefkozend Baby “Z” naar Soul Machines Baby “X”. Ik heb hier veel over gesproken, inclusief op de Women In Product Keynote in 2019.

De leerervaringen van Baby X en Baby Z waren verrassend gelijk! Terwijl Ziya opgroeide, gaven we haar de eerste vocabulaire en tools om te leren. Na verloop van tijd begon ze de wereld te begrijpen en dingen zelf samen te stellen. Baby X, de neurale netwerk-baby, leerde op een soortgelijke manier door visuele sensoren en spraakherkenning, en bouwde snel een diep begrip van de menselijke wereld op.

Deze vroege AI-momenten maakten het voor mij duidelijk dat het kritiek was om manieren te vinden om risico’s te beheersen en effectieve richtlijnen rondom deze krachtige technologie te plaatsen om ervoor te zorgen dat deze wordt ingezet voor het goede.

Kunt u het verhaal achter Credo AI delen?

Nadat ik Qualcomm had verlaten, werd ik aangenomen om de commercialisatie van AI-technologieën bij Microsoft in de business development-groep en vervolgens in de productgroep te leiden. Tijdens mijn verblijf had ik het voorrecht om te werken aan een spectrum van AI-technologieën met toepassingen in use cases van Conversational AI tot contract intelligence, en van visuele inspecties tot spraakgestuurde productontdekking.

De zaad van AI-governance die bij Qualcomm was geplant, bleef groeien naarmate ik de toenemende “toezichtsdeficiëntie” in de ontwikkeling van AI-technologieën bleef zien. Als productleider die werkte met het data science- en engineersteam, waren we gemotiveerd om een hoge prestatie-AI-toepassing te bouwen die door machine learning werd aangedreven en snel op de markt te brengen.

We zagen compliance en governance als een poortcontrole die de innovatiesnelheid vertraagde. Echter, mijn groeiende zorgen over het governance-deficiet tussen de technische en toezichtprofessionals in risico, compliance, audit, motiveerden me om verder te gaan met het verkennen van de uitdagingen bij het realiseren van AI-governance.

Alle onbeantwoorde vragen over AI-governance motiveerden me om antwoorden te zoeken. Dus begon ik met het leggen van de basis voor een non-profitorganisatie genaamd MERAT (Marketplace for Ethical and Responsible AI tools) met als doel om een ecosysteem te creëren voor startups en Global 2000’s die zich richten op verantwoorde ontwikkeling van AI.

Door vroege experimenten bij MERAT werd het duidelijk dat er geen startups waren die multi-stakeholder-tools leverden om een uitgebreide governance van AI- en ML-toepassingen te ondersteunen – totdat Credo AI ontstond. Deze kloof was mijn kans om de missie van het intentioneel leiden van AI te realiseren. Mijn hypothese bleef worden bevestigd dat de volgende frontier van de AI-revolutie zou worden geleid door governance. Bedrijven die governance omarmen, zullen als leiders naar voren komen in vertrouwde merken.

Ik werd benaderd door de AI Fund, een incubator opgericht door Andrew Ng, een bekende AI-expert. AI Fund had zich gericht op dezelfde onderwerpen van AI-auditability en governance waar ik me de afgelopen decade mee had beziggehouden.

Credo AI werd op 28 februari 2020 opgericht, met financiering van de AI Fund.

Credo betekent “een set van waarden die uw acties leiden”. Met Credo AI is onze visie om bedrijven in staat te stellen om AI te creëren met de hoogste ethische standaarden.

In een eerder interview, besprak u hoe merken in de toekomst vertrouwd zullen worden, niet alleen op basis van hoe ze AI bouwen en inzetten, maar op basis van hoe ze AI schalen zodat het in dienst staat van de mensheid. Kunt u hier meer over vertellen?

Kunstmatige intelligentie is een van de game-changing technologieën van deze eeuw en biedt transformatieve kansen voor de economie en de samenleving. Het is op koers om bijna 16 biljoen dollar bij te dragen aan de wereldwijde economie in 2030.

Echter, de afgelopen jaren hebben de aandacht gevestigd op grote AI-bedreigingen (en nee, het zijn geen robot-overheersers!) die al aanwezig zijn. Bijvoorbeeld, juridische algoritmen die zijn geoptimaliseerd voor minimale recidive (een terugval in crimineel gedrag) kunnen vooroordelen introduceren en parole weigeren aan degene die het verdienen.

Sociale algoritmen die zijn geoptimaliseerd voor engagement kunnen een natie verdelen.

Onrechtvaardige algoritmen kunnen de reden zijn dat u geen baan krijgt of toegang tot de universiteit.

Hoe meer autonomie we onze tools geven, des te groter het bereik van onbedoelde gevolgen. Extraordinary scale genereert extraordinary impact, maar niet altijd de impact die we bedoelen (ik schrijf hierover in de Credo AI Manifesto).

Ik voorspel dat bedrijven die investeren in AI-governance om verantwoordelijk te zijn en om ethisch gebruik van data te garanderen, in staat zullen zijn om vertrouwen op te bouwen bij alle stakeholders – klanten, consumenten, investeerders, werknemers en anderen.

Hoe helpt Credo AI bedrijven verantwoordelijk te houden?

Verantwoordelijkheid betekent de verplichting om verantwoordelijkheid te accepteren voor uw acties. In de context van AI-ontwikkeling en -inzet, betekent dit dat bedrijven niet alleen moeten hebben afgesproken wat “goed” voor hen is, maar ook intentionele stappen moeten nemen om actie te ondernemen op die afgesproken doelen en verantwoordelijkheid te nemen voor de resultaten.

Credo AI streeft ernaar om een sherpa voor bedrijven te zijn in hun ethische en verantwoorde AI-initiatieven om hen verantwoordelijk te houden aan de diverse stakeholders: gebruikers, werknemers, regulators, auditors, investeerders, executives en anderen. Daarom heeft Credo AI een real-time, context-driven, uitgebreide en continue oplossing ontwikkeld om ethische en verantwoorde AI te leveren op schaal.

Het opbouwen van verantwoordelijkheid en vertrouwen in AI is een dynamisch proces. Organisaties moeten afstemmen op bedrijfswaarden, deze waarden codificeren, ze opnemen in hun organisatorische infrastructuur, de impact observeren en het proces herhalen met diverse stemmen die input leveren op elk stadium. Credo AI maakt deze verantwoordelijkheid mogelijk via een uitgebreide en real-time oplossing voor het beheren van compliance en het meten van risico’s voor AI-inzet op schaal.

Met de Credo AI-governance-oplossing kunnen bedrijven:

• Afstemmen op governance-eisen voor hun AI-use cases en -modellen, met aanpasbare beleidspakketten en beslissingsondersteunende tools voor het kiezen van model-evaluatiemetrics.
• De gegevens en ML-modellen beoordelen en ondervragen tegen die afgesproken doelen
• Technische specificaties analyseren in actiebare risico-impact voor het bedrijf op elk stadium van modelontwikkeling en -inzet, zodat u governance-problemen kunt opvangen en oplossen voordat ze grote problemen worden

Door de beslissingen en acties op elk punt op te nemen, neemt Credo AI de oorsprong van de beslissingen die tot de creatie van de modellen hebben geleid, op als bewijs. Dit bewijs zal een record zijn dat intern met bedrijfsstakeholders en extern met auditors wordt gedeeld, wat vertrouwen wekt in de intenties van AI.

Dit bewijs zal helpen om onbedoelde gevolgen te voorspellen en te voorkomen en zal de manier waarop we de effectiviteit en betrouwbaarheid van AI-modellen beoordelen, standaardiseren.

We zijn in de vroege stadia van het mogelijk maken van AI-governance door middel van uitgebreide beoordelingen en garanties en zijn enthousiast om met meer bedrijven samen te werken om verantwoordelijkheid te bevorderen.

Hoe helpt Credo AI bedrijven om weg te gaan van AI-governance als een afterthought?

In de huidige wereld is er een gebrek aan duidelijkheid over wat “verantwoord”, “ethisch” en “betrouwbaar” AI echt is, en hoe bedrijven dit kunnen leveren. We helpen deze cruciale vraag voor bedrijven te herformuleren door de Credo AI SaaS-platform te gebruiken om de “economie van ethiek” te demonstreren.

Met Credo AI kunnen bedrijven niet alleen eerlijke, compliant en auditable AI leveren, maar ook klantvertrouwen opbouwen.

Het opbouwen van klantvertrouwen kan een bedrijf helpen om zijn klantenbestand te vergroten en meer verkoop te genereren. Bijvoorbeeld, bedrijven kunnen de beste mogelijke klantenservice bieden door ethische AI te gebruiken in hun klantenservice-chatbots, of verantwoordelijk AI te gebruiken om gebruikersactiviteit te begrijpen en aanvullende inhoud of producten voor te stellen. Extreem tevreden klanten bieden dan de beste reclame door hun ervaringen met vrienden en familie te delen.

Daarnaast kunnen bedrijven ook zien hoe samenwerking tussen technische en toezichtfuncties kan helpen om kosten te besparen vanwege snellere tijd tot compliance, geïnformeerde risicobeheersing, verlaagde merken risico’s. We helpen organisaties om ethische AI in te zetten door een brug te bouwen tussen technische metrics en tastbare business-outcomes. Naarmate meer en meer mensen beseffen, houdt het bevorderen van ethische AI meer in dan alleen een “regulatory compliance”-vakje aanvinken. Maar het heeft de kracht om meer te bieden dan een bijdrage aan een meer gelijke wereld, wat op zichzelf al een waardevolle uitkomst zou zijn.

Wanneer een bedrijf hoge ethische standaarden handhaaft, kan het reële business-outcomes verwachten, zoals verhoogde omzet. Het verschuiven van het perspectief van een abstract “zacht” concept naar een objectieve business-beslissing is een belangrijke manier voor ons om te helpen AI-governance te positioneren als een kritiek onderdeel van de economische en sociale motor van het bedrijf.

Onlangs heeft de regering-Biden het Nationale Kunstmatige Intelligentie Adviescomité opgericht. Wat zijn de implicaties hiervan voor AI-bedrijven?

Overheden wereldwijd gaan full force op het reguleren van AI, en bedrijven moeten zich hierop voorbereiden. De zorgvuldige creatie van het Nationale AI-adviescomité en investeringen in het White House OSTP is een goede eerste stap om actie te nemen in de discussies rondom de wetgeving voor het reguleren van AI-systemen. Echter, er moet nog veel werk worden gedaan om te realiseren wat verantwoorde AI voor ons land en onze economie zou betekenen.

Ik geloof dat 2022 het jaar van actie voor verantwoorde AI zal zijn. Het is een wake-up call voor bedrijven die hun AI-ethische kader willen implementeren of versterken. Nu is het moment voor bedrijven om hun bestaande kader te beoordelen op lacunes, of, voor bedrijven die geen aanpak hebben, om een solide kader voor vertrouwen in AI te implementeren om succes te boeken in de leeftijd van AI.

We kunnen verwachten dat er meer harde en zachte regelgevingen zullen ontstaan. Naast de acties van het Witte Huis, is er veel momentum van andere beleidsmakers en agentschappen, zoals de Senate’s draft Algorithmic Accountability Act, de Federal Trade Commission (FTC) richtlijnen rondom AI-vooringenomenheid, en meer.

Als we naar de toekomst kijken, hoe belangrijk zullen AI-ethiek en AI-governance zijn in vijf jaar?

We zijn in de vroege stadia van AI-governance. Om te benadrukken hoe kritiek AI-governance is, zijn hier enkele van mijn voorspellingen voor de komende jaren:

• Ethische AI-governance zal een topprioriteit voor organisaties worden

Bedrijven zullen blijven investeren en de voordelen van het gebruik van AI in hun bedrijven plukken. IDC heeft voorspeld dat er in 2022 340 miljard dollar aan AI zal worden uitgegeven. Zonder governance zullen bedrijven terughoudend zijn om in AI te investeren vanwege zorgen over vooringenomenheid, beveiliging, nauwkeurigheid, compliance van deze systemen.

Zonder vertrouwen zullen consumenten ook terughoudend zijn om AI-gebaseerde producten te accepteren of gegevens te delen om deze systemen te bouwen. In de komende vijf jaar zal ethische AI-governance een prioriteit in de boardroom worden en een belangrijke metric die bedrijven moeten rapporteren om vertrouwen op te bouwen bij alle stakeholders.

• Nieuwe socio-technische jobcategorieën zullen ontstaan binnen een organisatie

We zien al dat ethiek-georiënteerde organisaties significante investeringen doen in het toekomstbestendig maken van hun ontwikkeling om eerlijke, compliant en auditable AI-toepassingen te garanderen.

Om te leiden in AI, zullen bedrijven moeten versnellen in het leren over het AI-regelgevingslandschap en de implementatie van accountability-structuren op schaal. Naarmate het opkomende veld van ethische AI-implementatie evolueert, kan een nieuwe socio-technische jobcategorie ontstaan om deze conversaties te faciliteren en verantwoordelijkheid te nemen in dit gebied. Deze nieuwe component van de workforce kan fungeren als tussenpersoon tussen technische en toezichtfuncties, om gemeenschappelijke standaarden en doelen te ontwikkelen.

• Nieuwe AI-gepowered ervaringen zullen striktere governance vereisen

Het beheren van de bedoelde en onbedoelde gevolgen van kunstmatige intelligentie is kritiek, vooral nu we de Metaverse en web3 wereld betreden. De risico’s van AI bestaan in de echte wereld en de virtuele wereld, maar worden verder versterkt in de laatste.

Door zonder adequate AI-toezicht de Metaverse te betreden, zetten bedrijven hun klanten bloot aan risico’s zoals identiteitsdiefstal en fraude. Het is van cruciaal belang dat AI- en governance-problemen in de echte wereld worden opgelost om consumenten in de Metaverse veilig te houden.

• Nieuwe ecosystemen in ethische AI-governance zullen ontstaan

De wereld is wakker geworden voor het idee dat AI-governance de basisbouwsteen is voor het operationaliseren van verantwoorde AI. In de komende jaren zullen we een concurrerende en dynamische markt van dienstverleners zien ontstaan om tools, diensten, educatie en andere capaciteiten te bieden om deze enorme behoefte te ondersteunen.

Daarnaast zullen we ook consolidatie en uitbreiding van bestaande MLops- en GRC-platforms zien, om governance- en beoordelingscapaciteiten voor AI te bieden.

Is er nog iets dat u zou willen delen over Credo AI?

Ethische AI-governance is een toekomstbestendige investering die u niet kunt missen, en vandaag is de beste dag om te beginnen.

Bedankt voor het gedetailleerde interview en voor het delen van al uw inzichten over AI-governance en -ethiek, lezers die meer willen leren, kunnen bezoek Credo AI.