Navrina Singh, CEO og grundlægger af Credo AI – Interviewserie

Navrina Singh er CEO og grundlægger af Credo AI, et firma, der designer den første omfattende AI-styrings SaaS-platform, der giver virksomheder og individer mulighed for bedre at forstå og levere troværdig og etisk AI, holde sig foran nye regler og politikker og oprette en AI-optegnelse, der er gennemsigtig og revisionssikker på tværs af organisationen. Firmaet har været i gang i hemmelighed og bygget en imponerende kundeportefølje, der inkluderer en af de største regeringsentreprenører og finansielle servicesvirksomheder i verden, samt andre Fortune 100-mærker.

Du voksede op i en lille by i Indien med beskedne begyndelser, hvordan fandt du dig selv tiltrukket af ingeniørvidenskab og AI-området?

Jeg kommer fra en middelklassefamilie; min far var i militæret i fire årtier, og min mor var lærer blevet til modedesigner. Fra en tidlig alder opmuntrede de altid min nysgerrighed, kærlighed til videnskabelige opdagelser og gav mig et sikkert sted at udforske “hvad hvis”.

Da jeg voksede op i Indien, fik kvinder ikke så mange muligheder som mænd. Mange beslutninger var allerede taget for en pige, baseret på hvad der var acceptabelt i samfundet. Den eneste måde at bryde ud og give sig selv en god tilværelse var gennem uddannelse.

Efter at have afsluttet gymnasiet ejede jeg min første computer, som var mit vindue til verden. Jeg var meget interesseret i hardware og tilbragte timer online med at lære, hvordan man demonterer moderkort, bygger robotikapplikationer, lærer at kode, genskaber elektricitet i mit hus (øv!) og meget mere. Ingeniørvidenskab blev mit sikre rum, hvor jeg kunne eksperimentere, udforske, bygge og opleve en verden, som jeg ville være en del af gennem mine opfindelser. Jeg var inspireret og begejstret over, hvordan teknologi kunne være et kraftfuldt værktøj til at påvirke forandringer, især for kvinder.

Da jeg voksede op, var mine midler begrænsede, men mulighederne var ikke. Jeg drømte altid om at komme til USA for at bygge en stærkere grundlag i teknologi for at løse de største udfordringer, der stod over for menneskeheden. Jeg immigrerede her i 2001 for at fortsætte min ingeniørrejse på University of Wisconsin Madison.

Over de næste næsten to årtier i ingeniørvidenskab havde jeg privilegium til at arbejde på tværs af multiple frontteknologier, fra mobile til forstærket virkelighed.

I 2011 begyndte jeg at udforske kunstig intelligens for at bygge nye fremvoksende forretninger hos Qualcomm (QCOM ). Jeg har også tilbragt tid med at bygge forretninger og applikationer i AI på tværs af tale, syn og NLP hos Microsoft (MSFT ) og Qualcomm over de sidste ti år. Da jeg lærte mere om AI og maskinlæring, blev det tydeligt, at denne frontteknologi ville masseskade vores liv ud over, hvad vi kan forestille os.

Opbygning af virksomhedsskala Kunstig Intelligens gjorde mig også klar over, hvordan teknologien kan gøre en disservice og skade vores mennesker og samfund, hvis den ikke er under kontrol. Vi, som ledere, må tage ekstremt ansvar for de teknologier, vi bygger. Vi må være proaktive i at maksimere dens fordele for menneskeheden og minimere dens risiko. For “Hvad vi laver, laver os” Så bygning ansvarligt er kritisk, hvilket har inspireret den næste fase af min karriere med at bygge AI-styring.

Hvornår begyndte du først at tænke alvorligt over AI-styring?

Da jeg var innovationschef hos Qualcomm, udforskede vi mulighederne, som AI kunne bringe til vores fremvoksende forretninger. Vores første arbejde var fokuseret på samarbejdende robotter, der blev brugt i forsyningskæden. Dette var min første udsættelse for de “reelle” risici ved AI, især i forhold til den fysiske sikkerhed for de mennesker, der opererede sammen med disse robot-systemer.

Under denne tid tilbragte vi betydelig tid med startups, såsom Soul Machines, og lærte nye brugsområder og fandt måder at samarbejde med dem for at accelerere vores arbejde. Soul Machines havde udgivet en ny version af deres baby-avatar, “Baby X”. At se denne neurale netværksbaby, der aktivt lærte fra verden omkring hende, gjorde mig til at pause og reflektere over de uventede konsekvenser af denne teknologi. Min datter Ziya blev født omkring samme tid, og vi kaldte hende kærligt for Baby “Z” efter Soul Machines Baby “X”. Jeg har talt om dette ret meget, herunder på Women In Product Keynote i 2019.

Læringsrejserne for Baby X og Baby Z var nærmest ens! Da Ziya voksede op, gav vi hende de første ord og værktøjer til at lære. Over tid begyndte hun at forstå verden og satte ting sammen selv. Baby X, den neurale netværksbaby, lærte på samme måde gennem visionsensorer og talegenkendelse og byggede hurtigt en dyb forståelse af den menneskelige verden.

Disse tidlige AI-øjeblikke gjorde det klart for mig, at det var kritisk at finde måder at styre risiko og sætte effektive sikkerhedsforanstaltninger omkring denne kraftfulde teknologi for at sikre, at den blev udviklet til gavn.

Kunne du dele historien bag Credo AI?

Efter Qualcomm blev jeg rekrutteret til at lede kommercialiseringen af AI-teknologierne hos Microsoft i forretningsudviklingsgruppen og herefter i produktgruppen. Under min tid var jeg heldig at arbejde på en spektrum af AI-teknologier med anvendelser i brugsområder fra konversations-AI til kontraktintelligens og fra visuelle inspektioner til talebaseret produktfindning.

Men frøet til AI-styring, der var plantet hos Qualcomm, fortsatte med at vokse, da jeg fortsat vidnede til den øgede “tilsynsdeficit” i udviklingen af kunstig intelligens-teknologier. Som produktleder, der arbejdede med datavidenskab og ingeniørhold, var vi motiveret til at bygge en højpræsterende AI-applikation drevet af maskinlæring og udvikle den hurtigt på markedet.

Vi så overholdelse og styring som en portkontrol, der langsommade innovationens tempo. Men mine voksende bekymringer om styringsdeficitet mellem de tekniske og tilsynsfaglige professionelle i risiko, overholdelse, revision, motiverede mig til at fortsætte med at udforske udfordringerne i at realisere AI-styring.

Alle de ubesvarede spørgsmål om AI-styring fik mig til at søge efter svar. Så jeg begyndte at lægge grundlaget for en nonprofit kaldet MERAT (Marked for etisk og ansvarlig AI-værktøj) med målet at skabe et økosystem for startups og Global 2000, der fokuserer på ansvarlig udvikling af AI.

Gennem tidlig eksperimentering hos MERAT blev det klart, at der ikke var startups, der muliggjorde multi-stakeholder-værktøj til at give omfattende styring af AI- og ML-applikationer – indtil Credo AI. Denne åbning var min chance for at realisere missionen om at guide AI-intentionelt. Min hypotese blev ved med at blive valideret, at den næste front i AI-revolutionen vil blive guidet af styring. Virksomheder, der omfatter styring, vil opstå som ledere i troværdige mærker.

Jeg blev kontaktet af AI Fund, en inkubator grundlagt af Andrew Ng, en kendt AI-ekspert. AI Fund havde været fokuseret på de samme emner om AI-revisibilitet og styring, som jeg havde været optaget af i det sidste årti.

Credo AI blev inkorporeret den 28. februar 2020 med finansiering fra AI Fund.

Credo betyder “en samling af værdier, der guider dine handlinger.” Med Credo AI er vores vision at give virksomheder mulighed for at skabe AI med de højeste etiske standarder.

I et tidligere interview, diskuterede du, hvordan mærker i fremtiden vil blive betroet ikke “kun” baseret på, hvordan de bygger og udvikler AI, men på, hvordan de skalerer AI, så det er i tjeneste for menneskeheden. Kunne du uddybe dette?

Kunstig intelligens er en af de spilforandrende teknologier i dette århundrede og tilbyder transformative muligheder for økonomi og samfund. Det er på vej til at bidrage med næsten 16 billioner dollars til den globale økonomi i 2030.

Men de sidste flere år har sat fokus på store AI-trusler (og nej, det er ikke robot-overherrene!) allerede her. For eksempel kan rets-algoritmer, der optimerer for minimal recidiv (en tilbagefald til kriminelt adfærd), introducere bias og nægte prøveløsladelse til dem, der fortjener det.

Sociale algoritmer, der optimerer for engagement, kan splitte en nation.

Uretfærdige algoritmer kan være årsagen til, at du ikke får en job eller adgang til universitetet.

Jo mere autonomi vi giver vores værktøj, desto bredere er omfanget af uventede konsekvenser. Ekstraordinær skala genererer ekstraordinær effekt, men ikke altid den effekt, vi har til hensigt (jeg skriver om dette i Credo AI Manifest).

Jeg forudser, at virksomheder, der investerer i AI-styring for at bygge teknologi ansvarligt og forpligter sig til etisk brug af data, vil være i stand til at skabe tillid over for interessenter – kunder, forbrugere, investorer, ansatte og andre.

Hvordan hjælper Credo AI virksomheder med at holde sig ansvarlige?

Ansvarlighed betyder en forpligtelse til at acceptere ansvar for sine handlinger. I konteksten af AI-udvikling og udvikling betyder dette, at virksomheder ikke kun skal have enighed om, hvad “godt ser ud for dem”, men også tage intentionelle skridt for at demonstrere handling på disse alignede mål og påtage sig ansvar for resultaterne.

Credo AI har til formål at være en sherpa for virksomhederne i deres etiske og ansvarlige AI-initiativer for at holde dem ansvarlige over for de forskellige interessenter: brugere, ansatte, tilsynsfaglige, revisorer, investorer, direktører og andre. Derfor har Credo AI banebrydende en realtids-, kontekst-drevet, omfattende og kontinuerlig løsning til at levere etisk og ansvarlig AI i skala.

Opbygning af ansvarlighed og tillid til AI er en dynamisk proces. Organisationer må have enighed om virksomheds-værdier, kodificere disse værdier, bygge dem ind i deres organisations-infrastruktur, observere effekten og gentage processen med diverse stemmer, der giver input på hvert stadium. Credo AI muliggør denne ansvarlighed via en omfattende og realtids-løsning til at styre overholdelse og måle risiko for AI-udvikling i skala.

Med Credo AI’s styringsløsning kan virksomheder:

• Have enighed om styringskrav for deres AI-brugsområder og -modeller med tilpassede politikpakker og beslutningsstøtteværktøj til at vælge model-evaluationsmetrik.
• Vurdere og afhøre data og ML-modeller mod disse alignede mål
• Analysere tekniske specifikationer til handlebare risiko-impakt for forretningen på hvert stadium af model-udvikling og udvikling, så du kan fange og fikse styringsproblemer, før de bliver massive problemer

Ved at optage beslutninger og handlinger på hvert punkt, optager Credo AI oprindelsen af beslutninger, der gik ind i skabelsen af modellerne som bevis. Dette bevis vil være en optegnelse, der deles internt med virksomhedens interessenter og eksternt med revisorer, der skaber tillid til AI’s intentioner.

Dette bevis vil hjælpe udviklingsteams med at forudsige og forhindre uventede konsekvenser og vil standardisere måden, vi vurderer effikaciteten og troværdigheden af AI-modeller på.

Vi er i de meget tidlige innings af at muliggøre AI-styring gennem omfattende vurderinger og garanti, og vi er begejstrede for at arbejde med flere virksomheder for at fremme ansvarlighed.

Hvordan hjælper Credo AI virksomheder med at skifte væk fra AI-styring som en eftertanke?

I dagens verden er der en mangel på klarehed om, hvad “ansvarlig”, “etisk” og “troværdig” AI egentlig er, og hvordan virksomheder kan levere på det. Vi hjælper med at omdefinere dette nøgle-spørgsmål for virksomhederne ved at bruge Credo AI’s SaaS-platform til at demonstrere “økonomien i etik”.

Med Credo AI kan virksomheder ikke kun levere retfærdig, overholdende og gennemsigtig AI, men de kan også bygge kundetillid.

At bygge kundetillid kan udvide en virksomheds kundebase og låse op for flere salg. For eksempel kan virksomheder give den bedste mulige kundeoplevelse ved at bruge etisk AI i deres kundeservice-chatbots eller ansvarligt bruge AI til at forstå brugeraktivitet og foreslå ekstra indhold eller produkter til dem. Meget tilfredse kunder tilbyder herefter den bedste reklame ved at dele deres oplevelse med venner og familie.

Dertil kan virksomheder også se, hvordan samarbejde på tværs af tekniske og tilsynsfaglige funktioner kan hjælpe dem med at spare omkostninger på grund af hurtigere overholdelse, informeret risikostyring, reduceret brand- og regulatorisk risiko. Vi hjælper organisationer med at implementere etisk AI ved at bygge en bro mellem tekniske metrikker og konkrete forretningsresultater. Da flere og flere mennesker er begyndt at realisere, at at fremme etisk AI indebærer langt mere end at tjekke en “regulatorisk overholdelses”-boks. Men det har magten til at levere endnu mere end en bidrag til en mere retfærdig verden, hvilket ville være et værdifuldt resultat i sig selv.

Når en virksomhed opretholder høje etiske standarder, kan den forvente sig reelle forretningsresultater, såsom øget omsætning. At skifte perspektivet fra et abstrakt “blødt” begreb til et objektiveret forretningsbeslutning har været en nøglemåde for os til at hjælpe med at positionere AI-styring som en kritisk del af virksomhedens økonomiske og sociale motor.

For nylig oprettede Biden-administrationen den Nationale Kunstig Intelligens-rådgivende komité. I dit syn, hvad er implikationerne heraf for AI-forretninger?

Regeringer verden over går fuldt ud i regulering af AI, og virksomheder må være parat. Biden-administrationens oprettelse af den Nationale AI-rådgivende komité og investeringer i Det Hvide Hus’ OSTP er et godt første skridt til at bringe handling til diskussionerne om loven om rettigheder til at styre AI-systemer. Men der er meget arbejde, der skal gøres for at realisere, hvad ansvarlig AI ville betyde for vores land og økonomi.

Jeg tror, at 2022 er positioneret til at være året for handling i ansvarlig AI. Det er en vækkestund for virksomheder, der søger at implementere eller styrke deres AI-etiske ramme. Nu er tiden for virksomheder at evaluere deres eksisterende ramme for huller eller, for virksomheder uden en tilgang, at implementere en solid ramme for troværdig AI for at sætte dem op til succes for at lede i AI-alderen.

Vi kan forvente mere hård og blød regulering at dukke op. Ud over Det Hvide Hus’ handlinger er der meget momentum fra andre politikere og myndigheder, såsom Senatets udskrift af Algorithmic Accountability Act, Federal Trade Commission (FTC) retningslinjer om AI-bias og mere.

Hvis vi springer frem til fremtiden, hvor vigtigt vil AI-etik og AI-styring være om fem år?

Vi er i de tidlige innings af AI-styring. For at understrege, hvor kritisk AI-styring er, her er nogle af mine forudsigelser for de næste få år:

• Etisk AI-styring vil blive en top-organisation prioritet

Virksomheder fortsætter med at investere og høste fordelene ved at bruge AI i deres forretninger. IDC har projiceret en udgift på 340 milliarder dollars på AI i 2022. Uden styring vil virksomheder være tilbageholdende med at investere i AI på grund af bekymringer om bias, sikkerhed, nøjagtighed og overholdelse af disse systemer.

• Nye socio-tekniske jobkategorier vil opstå inden for en virksomhed

Vi ser allerede etik-orienterede organisationer investere betydeligt i fremtidssikring af deres udvikling for at sikre retfærdig, overholdende og gennemsigtig AI-applikationer.

• Nye AI-drevne oplevelser vil kræve strengere styring

At styre de intentionerede og uventede konsekvenser af kunstig intelligens er kritisk, især da vi går ind i Metaverse og web3-verdenen. Risikoen for AI findes i den virkelige verden og den virtuelle verden, men er yderligere forstærket i sidstnævnte.

Ved at springe ind i Metaverse med en mangel på AI-oversigt sætter virksomheder deres kunder i risiko for udfordringer som identitets-tyveri og svindel. Det er afgørende, at AI- og styringsproblemer løses i den virkelige verden nu for at holde forbrugere sikre i Metaverse.

• Nye økosystemer i etisk AI-styring vil opstå

Verden er vågnet op til, at AI-styring repræsenterer den grundlæggende byggesten til at operationalisere ansvarlig AI. Over de næste flere år vil vi se et konkurrencedygtigt og dynamisk marked af serviceudbydere opstå for at tilbyde værktøj, services, uddannelse og andre evner til at understøtte dette massive behov.

Dertil vil vi også se konsolidering og udvidelse af eksisterende MLops- og GRC-platforme for at bringe styrings- og vurderingsfunktioner til AI.

Er der noget andet, du gerne vil dele om Credo AI?

Etisk AI-styring er en fremtidssikret investering, du ikke kan undvære, og i dag er den bedste dag at begynde.

Tak for det detaljerede interview og for at dele alle dine indsighter om AI-styring og etik, læsere, der ønsker at lære mere, bør besøge Credo AI.