Navrina Singh, VD och grundare av Credo AI – Intervjuer

Navrina Singh är VD och grundare av Credo AI, ett företag som designar den första omfattande AI-styrningsplattformen som möjliggör för företag och individer att bättre förstå och leverera trovärdig och etisk AI, ligga före nya regler och policys och skapa en AI-journal som är granskbar och transparent inom hela organisationen. Företaget har varit i hemlighet och byggt upp en imponerande kundportfölj som inkluderar en av de största regeringsentreprenörerna och finansiella tjänsteföretagen i världen, bland andra Fortune 100-varumärken.

Vuxen i en liten stad i Indien med enkla förhållanden, hur hittade du dig själv dragen till teknik och AI-området?

Jag kommer från en medelklassfamilj; min pappa var i militären i fyra decennier och min mamma var en lärare som blev modedesigner. Från en tidig ålder uppmuntrade de alltid min nyfikenhet, kärlek till vetenskapliga upptäckter och gav mig en trygg plats att utforska “vad-om”.

När jag växte upp i Indien, hade kvinnor inte lika många möjligheter som män. Många beslut togs redan för en flicka, baserat på vad som var acceptabelt i samhället. Det enda sättet att bryta sig loss och skaffa sig ett bra liv för sin familj var genom utbildning.

Efter att ha tagit studenten ägde jag min första dator, som var mitt fönster till världen. Jag var verkligen intresserad av hårdvara och tillbringade timmar online med att lära mig hur man demonterar moderkort, bygger robotikapplikationer, lär sig att koda, gör om elen i mitt hus (ojsan!) och mycket mer. Teknik blev min trygga plats, där jag kunde experimentera, utforska, bygga och uppleva en värld som jag ville vara en del av genom mina uppfinningar. Jag var inspirerad och upphetsad över hur tekniken kunde vara ett kraftfullt verktyg för att påverka förändring, särskilt för kvinnor.

Växande upp, var mina möjligheter begränsade, men möjligheterna var inte. Jag drömde alltid om att komma till USA för att bygga en starkare grund i tekniken för att lösa de största utmaningarna som mänskligheten står inför. Jag invandrade hit 2001 för att fortsätta min ingenjörsresa vid University of Wisconsin Madison.

Under min nästan två decennier långa tid i teknik, hade jag privilegiet att arbeta med flera banbrytande tekniker, från mobil till förstärkt verklighet.

2011 började jag utforska artificiell intelligens för att bygga nya framväxande företag på Qualcomm (QCOM ). Jag har också tillbringat tid med att bygga företag och applikationer inom AI över tal, vision och NLP på Microsoft (MSFT ) och Qualcomm under det senaste decenniet. När jag lärde mig mer om AI och maskinlärning, blev det uppenbart att denna banbrytande teknik skulle störa våra liv på ett sätt som vi inte kan föreställa oss.

Att bygga företagsstor AI gjorde mig också medveten om att tekniken kan göra en otjänst och skada våra människor och samhällen, om den lämnas oövervakad. Vi, som ledare, måste ta extremt ansvar för de tekniker vi bygger. Vi måste vara proaktiva i att maximera dess fördelar för mänskligheten och minimera dess risk. Efter allt “Vad vi skapar, skapar oss”. Att bygga ansvarsfullt är kritiskt, vilket har inspirerat den nästa fasen av min karriär med att bygga AI-styrning.

När började du allvarligt fundera på AI-styrning?

Medan jag var chef för innovation på Qualcomm, utforskade vi möjligheterna som AI kunde bringa till våra framväxande företag. Vårt initiala arbete var fokuserat på samarbetande robotar som användes i leverantörskedjan. Detta var min första exponering för de “verkliga” riskerna med AI, särskilt i förhållande till den fysiska säkerheten för de människor som arbetade bredvid dessa robotsystem.

Under denna tid tillbringade vi betydande tid med startups, som Soul Machines, för att lära känna nya användningsfall och hitta sätt att samarbeta med dem för att accelerera vårt arbete. Soul Machines hade släppt en ny version av deras baby- avatar, “Baby X”. Att se denna neurala nätverksdrivna baby, som aktivt lärde sig från världen runt omkring henne, gjorde mig att pausa och reflektera över de oavsiktliga konsekvenserna av denna teknik. Min dotter Ziya föddes runt samma tid, och vi gav henne smeknamnet “Baby Z” efter Soul Machines “Baby X”. Jag har talat om detta ganska mycket, inklusive på Women In Product Keynote 2019.

Lärande resorna för Baby X och Baby Z var kusligt lika! När Ziya växte upp, gav vi henne den initiala vokabulären och verktygen för att lära. Över tiden började hon att förstå världen och sätta saker samman själv. Baby X, den neurala nätverksdrivna babyn, lärde sig likaledes genom visionsensorer och taligenkänning och byggde snabbt en djup förståelse för den mänskliga världen.

Dessa tidiga AI-ögonblick gjorde det klart för mig att det var kritiskt att hitta sätt att hantera risk och sätta effektiva skydd runt denna kraftfulla teknik för att säkerställa att den används för det goda.

Kunde du dela den bakomliggande historien om Credo AI?

Efter Qualcomm rekryterades jag för att leda kommersialiseringen av AI-teknikerna på Microsoft i affärsutvecklingsgruppen och, därefter, i produktgruppen. Under min tid där hade jag privilegiet att arbeta med ett spektrum av AI-tekniker med tillämpningar i användningsfall från konversations-AI till kontraktintelligens, och från visuella inspektioner till talbaserad produktupptäckt.

Men, fröet till AI-styrning som såtts på Qualcomm fortsatte att växa när jag fortsatte att vittna om den ökande “tillsynsbristen” i utvecklingen av artificiell intelligens-teknik. Som produktledare som arbetade med data science- och ingenjörsteam, var vi motiverade att bygga en högpresterande AI-applikation driven av maskinlärning och distribuera den snabbt på marknaden.

Vi såg efterlevnad och styrning som en grindkontroll som bromsade innovationens takt. Men mina växande bekymmer om styrningsbristen mellan tekniska och tillsynsyrkesverksamma inom risk, efterlevnad, revision, motiverade mig att fortsätta utforska utmaningarna i att förverkliga AI-styrning.

Alla de obesvarade frågorna om AI-styrning fick mig att söka svar. Så jag började lägga grunden för en ideell organisation som heter MERAT (Marknadsplats för etiska och ansvarsfulla AI-verktyg) med målet att skapa en ekosystem för startups och Global 2000 som fokuserar på ansvarsfull utveckling av AI.

Genom tidig experimentering på MERAT, blev det klart att det inte fanns startups som möjliggjorde multistakeholder-verktyg för att driva omfattande styrning av AI och ML-applikationer – tills Credo AI. Detta gap var min möjlighet att förverkliga uppdraget att vägleda AI medvetet. Min hypotes fortsatte att valideras att den nästa fronten av AI-revolutionen kommer att vägledas av styrning. Företag som antar styrning kommer att framträda som ledare inom pålitliga varumärken.

Jag kontaktades av AI Fund, en inkubator grundad av Andrew Ng, en känd AI-expert. AI Fund hade fokuserat på samma ämnen som AI-granskning och styrning som jag hade sysslat med under det senaste decenniet.

Credo AI bildades den 28 februari 2020, med finansiering från AI Fund.

Credo betyder “en uppsättning värderingar som vägleder dina handlingar.” Med Credo AI är vår vision att ge företag möjlighet att skapa AI med de högsta etiska standarderna.

I en tidigare intervju, diskuterade du hur varumärken i framtiden kommer att lita på inte bara hur de bygger och distribuerar AI, utan på hur de skalar AI så att det är i tjänst för mänskligheten. Kunde du utveckla detta?

Artificiell intelligens är en av de speländrande teknologierna i detta århundrade och erbjuder transformerande möjligheter för ekonomin och samhället. Det är på väg att bidra med nästan 16 biljoner dollar till den globala ekonomin år 2030.

Men, de senaste åren har satt fokus på stora AI-hot (och nej, det är inte robotöverherrar!) som redan är här. Till exempel, judiciella algoritmer som optimerar för minimal återfall (en återgång till kriminellt beteende) kan införa bias och neka villkorlig frigivning för dem som förtjänar det.

Sociala algoritmer som optimerar för engagemang kan dela en nation.

Orättvisa algoritmer kan vara anledningen till att du inte får ett jobb eller antagning till universitetet.

Ju mer autonomi vi ger våra verktyg, desto bredare är omfånget av oavsiktliga konsekvenser. Extraordinär skala genererar extraordinär påverkan, men inte alltid den påverkan vi avser (Jag skriver om detta i Credo AI Manifesto).

Jag förutspår att företag som investerar i AI-styrning för att bygga tekniken på ett ansvarsfullt sätt och förbinda sig till etisk användning av data, kommer att kunna skapa förtroende bland intressenter – kunder, konsumenter, investerare, anställda och andra.

Hur hjälper Credo AI företag att hållas ansvariga?

Ansvar innebär en skyldighet att acceptera ansvar för sina handlingar. I sammanhanget med AI-utveckling och distribution, innebär detta att företag inte bara måste ha enats om vad “bra ser ut för dem”, utan också ta medvetna steg för att demonstrera handling på dessa överenskomna mål och ta ansvar för resultaten.

Credo AI syftar till att vara en sherpa för företagen i deras etiska och ansvarsfulla AI-initiativ för att hålla dem ansvariga inför de olika intressenterna: användare, anställda, myndigheter, revisorer, investerare, chefer och andra. Därför har Credo AI banbrytande en realtids-, kontextdriven, omfattande och kontinuerlig lösning för att leverera etisk och ansvarsfull AI i skala.

Genom att bygga ansvar och förtroende i AI är en dynamisk process. Organisationer måste enas om företagsvärderingar, kodifiera dessa värderingar, bygga dem in i sin organisationsinfrastruktur, observera påverkan och upprepa processen med olika röster som bidrar vid varje stadium. Credo AI möjliggör detta ansvar via en omfattande och realtidslösning för att hantera efterlevnad och mäta risk för AI-distributioner i skala.

Med Credo AI:s styrningslösning kan företag:

• Enas om styrningskrav för sina AI-användningsfall och modeller, med anpassningsbara policypaket och beslutsstödsverktyg för att välja modellutvärderingsmått.
• Bedöma och förhöra data och ML-modeller mot dessa överenskomna mål
• Analysiera tekniska specifikationer till åtgärdbara riskpåverkan för företaget vid varje stadium av modellutveckling och distribution, så att du kan upptäcka och åtgärda styrningsproblem innan de blir massiva problem

Genom att spela in besluten och åtgärderna vid varje punkt, fångar Credo AI ursprunget till besluten som gick in i skapandet av modellerna som bevis. Detta bevis kommer att vara en journal som delas internt med företagsintressenter och externt med revisorer som bygger förtroende för AI:s avsikter.

Detta bevis kommer att hjälpa utvecklingsteam att förutse och förhindra oavsiktliga konsekvenser och kommer att standardisera sättet att bedöma effektiviteten och tillförlitligheten hos AI-modeller.

Vi är i de tidiga skedena av att möjliggöra AI-styrning genom omfattande utvärderingar och garantier och är glada att arbeta med fler företag för att främja ansvar.

Hur hjälper Credo AI företag att skifta bort från AI-styrning som en eftertanke?

I dagens värld finns det en brist på tydlighet kring vad som verkligen är “ansvarsfull”, “etisk” och “pålitlig” AI, och hur företag kan leverera på det. Vi hjälper omdefiniera denna nyckelfråga för företagen genom att använda Credo AI SaaS-plattformen för att demonstrera “ekonomin i etik”.

Med Credo AI kan företag inte bara leverera rättvis, förenlig och granskbar AI, utan de kan också bygga kundförtroende.

Att bygga kundförtroende kan öka en företags kundbas och låsa upp fler försäljningar. Till exempel kan företag ge den bästa möjliga kundupplevelsen genom att använda etisk AI i deras kundtjänstchattbotar eller ansvarsfullt använda AI för att förstå användaraktivitet och föreslå ytterligare innehåll eller produkter för dem. Extremt nöjda kunder erbjuder sedan den bästa reklamen genom att dela sin upplevelse med vänner och familj.

Dessutom kan företag också se hur samarbete över tekniska och tillsynsyrkesverksamma funktioner kan hjälpa dem att spara kostnader på grund av snabbare tid till efterlevnad, informerad riskhantering, sänkta varumärkes- och regleringsrisker. Vi hjälper organisationer att distribuera etisk AI genom att bygga en bro mellan tekniska mått och mätbara affärsresultat. När fler och fler människor inser att att främja etisk AI innebär mycket mer än att checka en “regleringsenlig” ruta, men det har makten att leverera ännu mer än ett bidrag till en mer jämlik värld, vilket skulle vara ett värt resultat i sig.

När ett företag upprätthåller höga etiska standarder, kan det förvänta sig verkliga affärsresultat, såsom ökad omsättning. Att skifta perspektivet från ett abstrakt “mjukt” begrepp till ett objektivt affärsbeslut har varit ett sätt för oss att hjälpa positionera AI-styrning som en kritisk del av den ekonomiska och sociala motorn för företaget.

Nyligen skapade Biden-administrationen den nationella AI-rådgivande kommittén. Vad är, enligt dig, implikationerna av detta för AI-företag?

Regeringar globalt går fullt ut på att reglera AI, och företag måste vara beredda. Biden-administrationens tankeväckande skapande av den nationella AI-rådgivande kommittén och investeringar i Vita husets OSTP är ett bra första steg för att ta action till diskussionerna kring rättighetslagen för att styra AI-system. Men, mycket arbete behöver ske för att förverkliga vad ansvarsfull AI skulle betyda för vårt land och ekonomi.

Jag tror att 2022 kommer att vara året för ansvarsfull AI. Det är en väckarklocka för företag som vill implementera eller stärka sin AI-etiska ram. Nu är tiden för företag att bedöma sin befintliga ram för luckor, eller, för företag som saknar en ansats, att implementera en solid ram för pålitlig AI för att sätta dem upp för framgång för att leda i AI-eran.

Vi bör förvänta oss fler hårda och mjuka regleringar. Utöver Vita husets åtgärder, finns det mycket momentum som kommer från andra beslutsfattare och myndigheter, som senatens utkast till Algorithmic Accountability Act, Federal Trade Commissions (FTC) vägledning kring AI-bias, och mer.

Om vi framåtriktat till framtiden, hur viktigt kommer AI-etik och AI-styrning att vara om fem år?

Vi är i de tidiga skedena av AI-styrning. För att understryka hur kritisk AI-styrning är, här är några av mina förutsägelser för de närmaste åren:

• Etisk AI-styrning kommer att bli en topprioritet för organisationer

Företag fortsätter att investera och skörda fördelarna med att använda AI i sina företag. IDC har förutspått en utgift på 340 miljarder dollar på AI 2022. Utan styrning, kommer företag att vara ovilliga att investera i AI på grund av bekymmer över bias, säkerhet, precision, efterlevnad av dessa system.

Utan förtroende, kommer konsumenter också att vara ovilliga att acceptera AI-baserade produkter eller dela data för att bygga dessa system. Under de närmaste fem åren, kommer etisk AI-styrning att bli en styrelseprioritet och en viktig metric som företag måste rapportera och redovisa för att bygga förtroende bland sina intressenter.

• Nya socio-tekniska jobbkategorier kommer att uppstå inom ett företag

Vi ser redan etikframåt organisationer som investerar betydande resurser i att framtidsäkra sin utveckling för att säkerställa rättvis, förenlig och granskbar AI-applikationer.

För att leda i AI, måste företag ytterligare accelerera lärandet om AI-regleringslandskapet och implementeringen av ansvarsstrukturer i skala. När det framväxande fältet av etisk AI-implementering utvecklas, kan en ny socio-teknisk jobbkategori uppstå för att underlätta dessa samtal och ta ansvar i detta område. Denna nya komponent av arbetskraften kan fungera som mellanhänder mellan tekniska och tillsynsyrkesverksamma, hjälpa till att utveckla gemensamma standarder och mål.

• Nya AI-drivna upplevelser kommer att kräva strängare styrning

Att hantera de avsedda och oavsiktliga konsekvenserna av artificiell intelligens är kritiskt, särskilt när vi går in i metaversum och web3-världen. Riskerna med AI existerar i den verkliga världen och den virtuella världen, men är ytterligare förstärkta i den senare.

Genom att dyka in i metaversum utan tillräcklig AI-övervakning, utsätter företag sina kunder för risker som identitetsstöld och bedrägeri. Det är av yttersta vikt att AI- och styrningsfrågor löses i den verkliga världen nu för att hålla konsumenter säkra i metaversum.

• Nya ekosystem i etisk AI-styrning kommer att uppstå

Världen har vaknat till idén att AI-styrning representerar den grundläggande byggstenen för att operationalisera ansvarsfull AI. Under de närmaste åren, kommer vi att se en konkurrenskraftig och dynamisk marknad av tjänsteleverantörer som uppstår för att tillhandahålla verktyg, tjänster, utbildning och andra förmågor för att stödja detta massiva behov.

Utöver detta, kommer vi också att se konsolidering och förstärkning av befintliga MLops- och GRC-plattformar för att bringa styrnings- och utvärderingsförmågor till AI.

Finns det något annat du vill dela om Credo AI?

Etisk AI-styrning är en framtidsäkrad investering som du inte har råd att inte göra, och idag är den bästa dagen att börja.

Tack för den detaljerade intervjun och för att dela alla dina insikter om AI-styrning och etik, läsare som vill lära sig mer bör besöka Credo AI.