Navrina Singh, CEO og grunnlegger av Credo AI – Intervju-serie

Navrina Singh er CEO og grunnlegger av Credo AI, et selskap som designer den første komplette AI-styringsplattformen som gjør det mulig for bedrifter og enkeltpersoner å forstå og levere pålitelig og etisk AI, holde seg foran nye reguleringer og politikker og skape en AI-protokoll som er auditable og gjennomsiktig gjennom hele organisasjonen. Selskapet har vært i hemmelighet og bygget en imponerende kundeportefølje som inkluderer en av de største regjeringssamhandlerne og finanstjenesteselskapene i verden, blant andre Fortune 100-merker.

Jeg vokste opp i en liten by i India med beskjedne begynnelser, hvordan fant du deg tilbake til ingeniørvitenskap og feltet AI?

Jeg kommer fra en middelklassefamilie; min far var i militæret i fire tiår og min mor var en lærer som ble mote-designer. Fra en tidlig alder oppmuntret de alltid min nysgjerrighet, kjærlighet til vitenskapelige oppdagelser og ga meg et trygt sted å utforske “hva hvis”.

Når jeg vokste opp i India, fikk kvinner ikke like mange muligheter som menn. Mange beslutninger var allerede tatt for en jente, basert på hva som var akseptabelt i samfunnet. Den eneste måten å bryte ut og få en god livsstil for familien var gjennom utdanning.

Etter å ha fullført videregående skole, eide jeg min første datamaskin, som var mitt vindu til verden. Jeg var virkelig interessert i maskinvare og tilbrakte timer online å lære hvordan jeg kunne demontere hovedkort, bygge robotikk-applikasjoner, lære å kode, gjøre om elektriske ledninger i huset (yikes!) og mye mer. Ingeniørvitenskap ble mitt trygge rom, der jeg kunne eksperimentere, utforske, bygge og oppleve en verden som jeg ønsket å være en del av gjennom mine oppfinnelser. Jeg var inspirert og begeistret for hvordan teknologi kunne være et kraftig verktøy for å påvirke endring, spesielt for kvinner.

Da jeg vokste opp, var mine midler begrensede, men mulighetene var ikke. Jeg drømte alltid om å komme til USA for å bygge en sterkere grunnlag i teknologi for å løse de største utfordringene som menneskeheten sto overfor. Jeg immigrerte hit i 2001 for å fortsette min ingeniørvitenskapelige reise ved University of Wisconsin Madison.

I løpet av mine nesten to tiår i ingeniørvitenskap, hadde jeg privileget å arbeide med flere banebrytende teknologier, fra mobil til forbedret virkelighet.

I 2011 begynte jeg å utforske kunstig intelligens for å bygge nye fremvoksende bedrifter i Qualcomm (QCOM ). Jeg har også tilbrakt tid med å bygge bedrifter og applikasjoner i AI over tale, syn og NLP hos Microsoft (MSFT ) og Qualcomm, over det siste tiåret. Etterhvert som jeg lærte mer om AI og maskinlæring, ble det tydelig at denne banebrytende teknologien ville masseivt forstyrre våre liv utover det vi kan forestille oss.

Bygging av bedrifts-skala kunstig intelligens gjorde også at jeg innser hvordan teknologien kan gjøre en tjeneste og skade våre mennesker og samfunn, hvis den blir uten kontroll. Vi, som ledere, må ta ekstremt ansvar for de teknologiene vi bygger. Vi må være proaktive i å maksimere dens fordeler for menneskeheten og minimere dens risiko. Etter all “Hva vi lager, lager oss”. Bygging ansvarlig er kritisk, noe som har inspirert den neste fasen av min karriere med å bygge AI-styring.

Når begynte du å tenke seriøst om AI-styring?

Mens jeg var sjef for innovasjon i Qualcomm, utforsket vi mulighetene som AI kunne bringe til våre fremvoksende bedrifter. Vårt første arbeid var fokusert på samarbeids-roboter som ble brukt i leverandørkjeden. Dette var min første erfaring med de “ekte” risikoene med AI, spesielt i forhold til fysisk sikkerhet for menneskene som opererte sammen med disse robot-systemene.

I denne perioden tilbrakte vi mye tid med startups, som Soul Machines, og lærte nye bruksområder og fant måter å samarbeide med dem for å akselerere vårt arbeid. Soul Machines hadde lansert en ny versjon av deres baby-ikon, “Baby X”. Å se på denne neural-nett-drevne babyen, som aktivt lærte fra verden rundt, gjorde meg til å pause og reflektere over de uventede konsekvensene av denne teknologien. Min datter Ziya ble født rundt samme tid, og vi ga henne kallenavnet “Baby Z” etter Soul Machines’ “Baby X”. Jeg har snakket om dette flere ganger, inkludert på Women In Product Keynote i 2019.

Læringsreisene til Baby X og Baby Z var merkelig like! Mens Ziya vokste opp, ga vi henne de første ord og verktøyene for å lære. Over tid begynte hun å forstå verden og sette ting sammen selv. Baby X, den neural-nett-drevne babyen, lærte også gjennom visuelle sensorer og tale-gjenkjenning, og bygde raskt en dyp forståelse av den menneskelige verden.

Disse tidlige AI-øyeblikkene gjorde det klart for meg at det var kritisk å finne måter å håndtere risiko og sette effektive retningslinjer rundt denne kraftige teknologien for å sikre at den ble brukt for godt.

Kunne du dele opphavsfortellingen bak Credo AI?

Etter Qualcomm ble jeg rekruttert til å lede kommersialiseringen av AI-teknologiene i Microsoft i forretningsutviklingsgruppen og deretter i produktgruppen. Under min periode hadde jeg privileget å arbeide med et spekter av AI-teknologier med applikasjoner i bruksområder fra samtale-AI til kontrakt-intelligens, og fra visuelle inspeksjoner til tale-drevet produkt-oppdagelse.

Men frøet til AI-styring som ble sådd i Qualcomm fortsatte å vokse ettersom jeg fortsatte å være vitne til den økende “tilsynsdefisitten” i utviklingen av kunstig intelligens-teknologier. Som en produktleder som arbeidet med data-vitenskap og ingeniør-team, var vi motivert til å bygge en høy-ytende AI-applikasjon drevet av maskinlæring og deployere den raskt på markedet.

Vi så på compliance og styring som en portkontroll som slowet ned innovasjonens tempo. Men mine voksende bekymringer om styringsdefisitten mellom tekniske og tilsynsprofesjonelle i risiko, compliance og revisjon, motiverte meg til å fortsette å utforske utfordringene i å realisere AI-styring.

Alle de ubesvarte spørsmålene om AI-styring gjorde at jeg søkte etter svar. Så jeg begynte å legge grunnlaget for en ideell organisasjon kalt MERAT (Marketplace for Ethical and Responsible AI tools) med målet å skape en økosystem for startups og Global 2000 som fokuserer på ansvarlig utvikling av AI.

Gjennom tidlig eksperimentering i MERAT ble det klart at det ikke var startups som muliggjorde multi-stakeholder-verktøy for å drive komprehensive styring av AI- og ML-applikasjoner – før Credo AI. Denne gapet var min mulighet til å realisere misjonen om å guide AI med vilje. Min hypotese ble stadig validerert at den neste fronten av AI-revolusjonen vil bli guidet av styring. Bedrifter som omfavner styring vil oppstå som ledere i pålitelige merker.

Jeg ble approsjert av AI Fund, en inkubator grunnlagt av Andrew Ng, en kjent AI-ekspert. AI Fund hadde vært fokusert på de samme temaene som AI-auditabilitet og styring som jeg hadde vært opptatt av i det siste tiåret.

Credo AI ble inkorporert 28. februar 2020, med finansiering fra AI Fund.

Credo betyr “en samling av verdier som guider dine handlinger”. Med Credo AI er vår visjon å gi bedrifter mulighet til å skape AI med de høyeste etiske standardene.

I en tidligere intervju, diskuterte du hvordan merker i fremtiden vil bli stolte ikke bare basert på hvordan de bygger og deployer AI, men på hvordan de skalerer AI så det er i tjeneste for menneskeheten. Kunne du utdype på dette?

Kunstig intelligens er en av de spillende teknologiene i dette århundret og tilbyr transformative muligheter for økonomi og samfunn. Det er på vei til å bidra med nesten 16 billioner dollar til den globale økonomien i 2030.

Men de siste årene har satt fokus på store AI-trusler (og nei, det er ikke robot-overlordene!) som allerede er her. For eksempel kan juridiske algoritmer som optimaliserer for minimal recidivisme (en tilbakefall til kriminelt atferd) introdusere bias og nekte prøveløslatelse til de som fortjener det.

Sosiale algoritmer som optimaliserer for engasjement kan dele en nasjon.

Uretferdige algoritmer kan være grunnen til at du ikke får en jobb eller adgang til universitetet.

Jo mer autonomi vi gir våre verktøy, jo bredere er rekken av uventede konsekvenser. Ekstraordinær skala genererer ekstraordinær effekt, men ikke alltid den effekten vi ønsker (jeg skriver om dette i Credo AI Manifesto).

Jeg forutsier at bedrifter som investerer i AI-styring for å bygge teknologi ansvarlig og forplikte seg til etisk bruk av data, vil kunne skape tillit over stakeholders – kunder, forbrukere, investorer, ansatte og andre.

Hvordan hjelper Credo AI bedrifter med å holde seg ansvarlige?

Ansvarlighet betyr en forpliktelse til å akseptere ansvar for sine handlinger. I sammenheng med AI-utvikling og -deployering betyr dette at bedrifter må ikke bare ha enighet om hva “godt ser ut for dem”, men også ta bevisste skritt for å demonstrere handling på disse samstemte målene og påta seg ansvar for resultater.

Credo AI har som mål å være en sherpa for bedrifter i deres etiske og ansvarlige AI-initiativer for å holde dem ansvarlige overfor diverse stakeholders: brukere, ansatte, regulatorer, revisorer, investorer, ledere og andre. Derfor har Credo AI banebrytende en sanntids-, kontekst-drevet, komprehensiv og kontinuerlig løsning for å levere etisk og ansvarlig AI i skala.

Med Credo AI kan bedrifter:

• Samstemme om styringskrav for sine AI-bruksområder og -modeller, med tilpassbare politikk-pakker og beslutningsstøtte-verktøy for å velge modell-evaluering-mål.
• Vurdere og avhøre data og ML-modeller mot disse samstemte målene.
• Analyser tekniske spesifikasjoner til handlebare risiko-impakt for bedriften på hver stage av modell-utvikling og -deployering, så du kan fange og fikse styringsproblemer før de blir massive problemer.

Ved å registrere beslutninger og handlinger på hver punkt, fanger Credo AI opphavet til beslutningene som gikk inn i skapelsen av modellene som bevis. Dette beviset vil være en rekord delt internt med bedriftens stakeholders og eksternt med revisorer som bygger tillit til intensjonene til AI.

Dette beviset vil hjelpe utviklingsteamene med å forutsi og forebygge uventede konsekvenser og vil standardisere måten vi vurderer effikasiteten og tilliten til AI-modeller.

Vi er i de tidlige inningene av å muliggjøre AI-styring gjennom komprehensive vurderinger og sikring, og er spente på å arbeide med flere bedrifter for å fremme ansvarlighet.

Hvordan hjelper Credo AI bedrifter med å skifte bort fra AI-styring som en ettertanke?

I dagens verden er det en mangel på klarhet rundt hva som virkelig “ansvarlig”, “etisk” og “pålitelig” AI er, og hvordan bedrifter kan levere på det. Vi hjelper med å omdefinere dette nøkkel-spørsmålet for bedriftene, ved å bruke Credo AI SaaS-plattformen til å demonstrere “økonomien til etikk”.

Med Credo AI kan bedrifter ikke bare levere rettferdig, compliant og auditable AI, men de kan også bygge kunde-tillit.

Bygging kunde-tillit kan utvide en bedrifts kunde-base og låse opp mer salg. For eksempel kan bedrifter gi den beste mulige kunde-oplevelsen ved å bruke etisk AI i deres kunde-service-chatbots, eller ansvarlig bruke AI til å forstå bruker-aktivitet og foreslå ekstra innhold eller produkter for dem. Ekstremt tilfredsstillende kunder tilbyr den beste reklamen ved å dele sin erfaring med venner og familie.

I tillegg kan bedrifter også se hvordan samarbeid over tekniske og tilsynsfunksjoner kan hjelpe dem med å spare kostnader på grunn av raskere tid til compliance, informert risiko-styring, lavere merke- og regulatoriske risiko. Vi hjelper organisasjoner med å deployere etisk AI ved å bygge en bro mellom tekniske mål og tangibelt forretnings-resultat. Ettersom flere og flere mennesker innser, å fremme etisk AI involverer mye mer enn å sjekke en “regulatorisk compliance”-boks. Men det har kraften til å levere enda mer enn en bidrag til en mer rettferdig verden, som ville være et verdifullt resultat i seg selv.

Når en bedrift opprettholder høye etiske standarder, kan de forvente seg faktiske forretnings-resultater, som økt omsetning. Å skifte perspektivet fra et abstrakt “mykt” konsept til et objektivt forretnings-beslutning har vært en nøkkel-måte for oss å hjelpe med å posisjonere AI-styring som en kritisk del av den økonomiske og sosiale motoren for bedriften.

Nylig opprettet Biden-administrasjonen Nasjonalt AI-råd. Hva er implikasjonene av dette for AI-bedrifter?

Regjeringer globalt går fullt ut for å regulere AI, og bedrifter må bli klar. Biden-administrasjonens tankefulle opprettelse av Nasjonalt AI-råd og investeringer i Det hvite hus OSTP er et godt første skritt for å bringe handling til diskusjonene rundt loven om AI-systemer. Men mye arbeid må skje for å realisere hva Ansvarlig AI ville bety for vårt land og økonomi.

Jeg tror at 2022 er posisjonert til å bli året for handling for ansvarlig AI. Dette er en vekkerklokke for bedrifter som ønsker å implementere eller styrke sine AI-etiske rammer. Nå er tiden for bedrifter å vurdere sine eksisterende rammer for å finne hull, eller for bedrifter som mangler en tilnærming, å implementere en solid ramme for pålitelig AI for å sette dem opp for suksess og å lede i AI-alderen.

Vi bør forvente flere harde og myke reguleringer å dukke opp. I tillegg til Det hvite hus’ handlinger, er det mye momentum som kommer fra andre politikere og byråer, som Senatets utkast til Algorithmic Accountability Act, Federal Trade Commission (FTC) veiledning rundt AI-bias, og mer.

Hvis vi går fremover til fremtiden, hvor viktig vil AI-etikk og AI-styring være om fem år?

Vi er i de tidlige inningene av AI-styring. For å understreke hvor kritisk AI-styring er, her er noen av mine forutsigelser for de neste årene:

• Etisk AI-styring vil bli en topp-organisasjons-prioritet

Bedrifter fortsetter å investere og høste fordeler av å bruke AI i sine bedrifter. IDC har projektert en 340 milliarder dollar utgift på AI i 2022. Uten styring vil bedrifter være motvillige til å investere i AI på grunn av bekymringer over bias, sikkerhet, nøyaktighet og compliance av disse systemene.

Uten tillit vil forbrukere også være motvillige til å akseptere AI-baserte produkter eller å dele data for å bygge disse systemene. Over de neste fem årene vil etisk AI-styring bli en styre-sal-prioritet og en viktig målestokk som bedrifter må rapportere og offentliggjøre for å bygge tillit overfor sine stakeholders.

• Nye socio-tekniske jobb-kategorier vil oppstå innen en bedrift

Vi ser allerede på at etikk-fremover organisasjoner investerer betydelig i fremtidssikring av deres utvikling for å sikre rettferdig, compliant og auditable AI-applikasjoner.

For å lede i AI må bedrifter videre akselerere læring om AI-regulerings-landskapet og implementering av ansvarlige strukturer i skala. Ettersom det nye feltet av etisk AI-implementering utvikler seg, kan en ny socio-teknisk jobb-kategori oppstå for å fasilitere disse samtaler og ta ansvar i dette området. Denne nye komponenten av arbeidsstyrken kan fungere som mellomledd mellom tekniske og tilsynsfunksjoner, og hjelpe med å utvikle felles standarder og mål.

• Nye AI-drevne opplevelser vil kreve strengere styring

Å håndtere de mentale og uventede konsekvensene av kunstig intelligens er kritisk, spesielt når vi går inn i Metaverse og web3-verden. Risikoen med AI eksisterer i den virkelige verden og den virtuelle verden, men er ytterligere forsterket i den siste.

Ved å dykke inn i Metaverse uten å ha AI-oversyn, setter bedrifter sine kunder i risiko for utfordringer som identitetstyveri og svindel. Det er avgjørende at AI- og styrings-problemer løses i den virkelige verden nå for å holde forbrukerne trygge i Metaverse.

• Nye økosystemer i etisk AI-styring vil oppstå

Verden har våknet opp til ideen om at AI-styring representerer den grunnleggende byggeklossen for å operasjonalisere ansvarlig AI. Over de neste årene vil vi se en konkurrerende og dynamisk marked av tjenesteleverandører oppstå for å tilby verktøy, tjenester, utdanning og andre evner for å støtte dette massive behovet.

I tillegg vil vi også se konsolidering og forbedring av eksisterende MLops- og GRC-plattformer for å bringe styring og vurdering til AI.

Er det noe annet du ville like å dele om Credo AI?

Etisk AI-styring er en fremtidssikret investering som du ikke kan unngå å gjøre, og i dag er den beste dagen til å begynne.

Takk for det detaljerte intervjuet og for å dele alle dine innsikter om AI-styring og etikk, lesere som ønsker å lære mer bør besøke Credo AI.