Navrina Singh, CEO și fondator al Credo AI – Seria de interviuri

Navrina Singh este CEO și fondator al Credo AI, o companie care proiectează prima platformă SaaS de guvernanță a inteligenței artificiale, care permite companiilor și indivizilor să înțeleagă și să livreze inteligență artificială de încredere și etică, să rămână înaintea noilor reglementări și politici și să creeze un registru al inteligenței artificiale care este auditabil și transparent în întreaga organizație. Compania a funcționat în mod stealth și a construit în mod discret un portofoliu impresionant de clienți, care include unul dintre cei mai mari contractori guvernamentali și companii de servicii financiare din lume, printre alte mărci din top 100.

Cum ai ajuns să te atragi de inginerie și de domeniul inteligenței artificiale, crescând într-un mic oraș din India, cu începuturi umile?

Vin dintr-o familie de clasă mijlocie; tatăl meu a fost în armată timp de patru decenii, iar mama mea a fost profesoară, apoi designer de modă. De la o vârstă fragedă, ei mi-au încurajat mereu curiozitatea, dragostea pentru descoperirile științifice și mi-au oferit un mediu sigur pentru a explora “ce-ar fi dacă”.

Când eram în creștere în India, femeilor nu li s-au oferit la fel de multe oportunități ca bărbaților. Multe decizii erau luate deja pentru o fată, pe baza a ceea ce era acceptat de societate. Singurul mod de a rupe această barieră și de a oferi o viață bună familiei tale era prin educație.

După ce am absolvit liceul, am deținut primul meu calculator, care a fost fereastra mea spre lume. Eram foarte interesată de hardware și am petrecut ore online învățând cum să demontez plăci de bază, să construiesc aplicații de robotică, să învăț să programez, să refac instalația electrică din casa mea (iată!) și multe altele. Ingineria a devenit spațiul meu sigur, unde puteam experimenta, explora, construi și experimenta o lume pe care voiam să o fac parte prin invențiile mele. Eram inspirată și entuziasmată de modul în care tehnologia putea fi un instrument puternic pentru a aduce schimbări, în special pentru femei.

Crescând, mijloacele mele erau limitate, dar posibilitățile nu. Am visat mereu să vin în Statele Unite pentru a construi o bază mai puternică în tehnologie, pentru a rezolva cele mai mari provocări cu care se confruntă omenirea. Am imigrat aici în 2001, pentru a continua drumul meu în inginerie la Universitatea din Wisconsin Madison.

De-a lungul celor aproape două decenii de inginerie, am avut privilegiul de a lucra cu multiple tehnologii de frontieră, de la mobile la realitate augmentată.

În 2011, am început să explorez inteligența artificială pentru a construi noi afaceri emergente la Qualcomm (QCOM ). De asemenea, am petrecut timp construind afaceri și aplicații în inteligența artificială, de la vorbire la viziune și NLP, la Microsoft (MSFT ) și Qualcomm, în ultimul deceniu. Pe măsură ce am învățat mai mult despre inteligența artificială și învățarea automată, a devenit evident că această tehnologie de frontieră va perturba masiv viețile noastre, dincolo de ceea ce ne putem imagina.

Construirea de inteligență artificială la scară enterprise m-a făcut să realizez cum această tehnologie poate face un deserviciu și poate dăuna oamenilor și comunităților noastre, dacă este lăsată necontrolată. Noi, ca lideri, trebuie să luăm o responsabilitate extremă pentru tehnologiile pe care le construim. Trebuie să fim proactivi în maximizarea beneficiilor sale pentru omenire și minimizarea riscurilor sale. După cum spune “Ce creăm, ne face”. Construirea responsabilă este critică, ceea ce m-a inspirat pentru următoarea fază a carierei mele, construirea guvernanței inteligenței artificiale.

Când ai început să te gândești serios la guvernanța inteligenței artificiale?

În timp ce eram șeful inovației la Qualcomm, exploram posibilitățile pe care inteligența artificială le-ar putea aduce afacerilor noastre emergente. Lucrul nostru inițial s-a concentrat pe roboți colaborativi utilizați în lanțul de aprovizionare. Acesta a fost primul meu contact cu “riscurile reale” ale inteligenței artificiale, în special în ceea ce privește siguranța fizică a oamenilor care operau alături de aceste sisteme robotice.

În această perioadă, am petrecut mult timp cu startup-uri, cum ar fi Soul Machines, învățând noi cazuri de utilizare și găsind modalități de a colabora cu ele pentru a accelera munca noastră. Soul Machines a lansat o nouă versiune a avatarului lor de copil, “Baby X”. Vizionarea acestui bebeluș alimentat de rețele neuronale, care învăța activ din lumea din jurul lui, m-a făcut să mă opresc și să reflectez asupra consecințelor neintenționate ale acestei tehnologii. Fiica mea, Ziya, s-a născut în jurul aceleiași perioade, și am poreclit-o “Baby Z” după “Baby X” de la Soul Machines. Am vorbit despre asta în multe ocazii, inclusiv la conferința Women In Product din 2019.

Călătoriile de învățare ale lui Baby X și Baby Z au fost izbitoare! Pe măsură ce Ziya creștea, îi oferiam vocabularul și uneltele inițiale pentru a învăța. Cu timpul, a început să înțeleagă lumea și să pună lucrurile împreună singură. Baby X, bebelușul alimentat de rețele neuronale, învăța în mod similar prin senzori de viziune și recunoaștere a vorbirii, și construia rapid o înțelegere profundă a lumii umane.

Aceste momente inițiale de inteligență artificială mi-au făcut clar că este critic să găsim modalități de a gestiona riscurile și de a pune garduri eficiente în jurul acestei tehnologii puternice, pentru a ne asigura că este utilizată în folosul nostru.

Poți să ne spui povestea de fond a Credo AI?

După Qualcomm, am fost recrutat să conduc comercializarea tehnologiilor de inteligență artificială de la Microsoft, în grupul de dezvoltare a afacerilor și, ulterior, în grupul de produse. În timpul șederii mele, am avut norocul de a lucra pe o gamă largă de tehnologii de inteligență artificială, cu aplicații în cazuri de utilizare de la inteligența conversațională la inteligența contractuală, și de la inspecții vizuale la descoperirea de produse bazată pe vorbire.

Însă, sămânța guvernanței inteligenței artificiale plantată la Qualcomm a continuat să crească pe măsură ce am continuat să văd deficitul de supraveghere în dezvoltarea tehnologiilor de inteligență artificială. Ca lider de produs care lucra cu echipa de știință a datelor și inginerie, eram motivat să construiesc o aplicație de inteligență artificială de înaltă performanță, alimentată de învățarea automată, și să o lansez rapid pe piață.

Am văzut conformitatea și guvernanța ca pe un control care încetinea ritmul inovației. Cu toate acestea, îngrijorările mele crescânde cu privire la deficitul de guvernanță între profesioniștii tehnici și cei de supraveghere, în risc, conformitate și audit, m-au motivat să continuu să explorez provocările în realizarea guvernanței inteligenței artificiale.

Toate întrebările nerăspunse despre guvernanța inteligenței artificiale m-au îndemnat să caut răspunsuri. Așa că am început să pun bazele unei organizații non-profit numite MERAT (Piața pentru unelte de inteligență artificială etică și responsabilă), cu scopul de a crea un ecosistem pentru startup-uri și companii globale care se concentrează pe dezvoltarea responsabilă a inteligenței artificiale.

Prin experimentarea timpurie la MERAT, a devenit clar că nu existau startup-uri care să permită unelte multi-stakeholder pentru a alimenta guvernanța cuprinzătoare a aplicațiilor și modelelor de inteligență artificială și învățare automată – până la Credo AI. Această lacună a fost oportunitatea mea de a realiza misiunea de a ghida inteligența artificială în mod intenționat. Ipoteza mea a continuat să fie validată, că următoarea frontieră a revoluției inteligenței artificiale va fi ghidată de guvernanță. Companiile care adoptă guvernanța vor deveni lideri în mărci de încredere.

Am fost abordat de AI Fund, un incubator fondat de Andrew Ng, un expert de inteligență artificială recunoscut. AI Fund se concentrase pe aceleași subiecte de auditabilitate și guvernanță a inteligenței artificiale cu care mă ocupasem în ultimul deceniu.

Credo AI a fost înființată la 28 februarie 2020, cu finanțare de la AI Fund.

Credo înseamnă “un set de valori care ghidă acțiunile tale”. Cu Credo AI, viziunea noastră este de a împuternici companiile să creeze inteligență artificială cu standarde etice de înaltă calitate.

Într-un interviu anterior, ai discutat despre cum mărcile din viitor vor fi încredințate nu numai pe baza modului în care construiesc și utilizează inteligența artificială, ci și pe baza modului în care o scara pentru a fi în slujba omenirii. Poți să ne explici mai mult despre asta?

Inteligența artificială este una dintre tehnologiile care schimbă jocul în acest secol și oferă oportunități transformative pentru economie și societate. Este pe cale să contribuie cu aproximativ 16 trilioane de dolari la economia globală până în 2030.

Însă, ultimii ani au pus accentul pe amenințările majore ale inteligenței artificiale (și nu, nu sunt roboții care ne vor cuceri!) care sunt deja aici. De exemplu, algoritmii judiciari care optimizează pentru recidivă minimă (o revenire în comportamentul infracțional) pot introduce bias și refuza eliberarea condiționată celor care o merită.

Algoritmii sociali care optimizează pentru implicare pot divide o națiune.

Algoritmii injusti pot fi motivul pentru care nu obții un loc de muncă sau admitere la universitate.

Cu cât le dăm mai multă autonomie uneltelor noastre, cu atât mai largă este gama de consecințe neintenționate. Scala extraordinară generează impact extraordinar, dar nu întotdeauna impactul pe care îl intenționăm (scriu despre asta în Manifestul Credo AI).

Prevăd că companiile care investesc în guvernanța inteligenței artificiale pentru a construi tehnologie responsabilă și pentru a se angaja să utilizeze date etice, vor putea să inspire încredere în rândul stakeholderilor – clienți, consumatori, investitori, angajați și alții.

Cum ajută Credo AI companiile să rămână responsabile?

Responsabilitatea înseamnă obligația de a accepta responsabilitatea pentru acțiunile tale. În contextul dezvoltării și implementării inteligenței artificiale, acest lucru înseamnă că companiile trebuie să nu numai să se alinieze la ceea ce “arată bine pentru ele”, ci și să ia măsuri intenționate pentru a demonstra acțiunea asupra obiectivelor aliniate și să asume responsabilitatea pentru rezultate.

Credo AI are scopul de a fi un ghid pentru companii în inițiativele lor de inteligență artificială etică și responsabilă, pentru a le ține responsabile în fața stakeholderilor diversi: utilizatori, angajați, reglementatori, auditori, investitori, executivi și alții. Prin urmare, Credo AI a inovat o soluție real-time, context-driven, cuprinzătoare și continuă pentru a livra inteligență artificială etică și responsabilă la scară.

Construirea responsabilității și a încrederii în inteligența artificială este un proces dinamic. Organizațiile trebuie să se alinieze la valorile întreprinderii, să codifice aceste valori, să le integreze în infrastructura organizațională, să observe impactul și să repete procesul cu voci diverse care oferă input la fiecare etapă. Credo AI permite această responsabilitate prin intermediul unei soluții cuprinzătoare și în timp real pentru gestionarea conformității și măsurarea riscului pentru implementările de inteligență artificială la scară.

Utilizând soluția de guvernanță Credo AI, companiile pot:

• Se alinieze la cerințele de guvernanță pentru cazurile de utilizare și modelele lor de inteligență artificială, cu pachete de politici personalizabile și unelte de suport pentru decizie pentru alegerea metricilor de evaluare a modelului.
• Să evalueze și să interogheze datele și modelele de învățare automată împotriva obiectivelor aliniate.
• Să analizeze specificațiile tehnice în impactul riscului pentru afaceri la fiecare etapă a dezvoltării și implementării modelului, astfel încât să puteți detecta și remedia problemele de guvernanță înainte de a deveni probleme masive.

Prin înregistrarea deciziilor și acțiunilor la fiecare punct, Credo AI captează originea deciziilor care au stat la baza creării modelelor, ca dovadă. Această dovadă va fi un registru partajat intern cu stakeholderii companiei și extern cu auditorii, care va construi încredere în intențiile inteligenței artificiale.

Această dovadă va ajuta echipele de dezvoltare să prevină și să prevadă consecințele neintenționate și va standardiza modul în care evaluăm eficacitatea și încrederea în modelele de inteligență artificială.

Suntem în primele etape ale guvernanței inteligenței artificiale prin evaluări cuprinzătoare și asigurare, și suntem încântați să lucrăm cu mai multe companii pentru a promova responsabilitatea.

Cum ajută Credo AI companiile să se îndepărteze de guvernanța inteligenței artificiale ca o gândire ulterioară?

În lumea de azi, există o lipsă de claritate cu privire la ce înseamnă “responsabil”, “etic” și “de încredere” în inteligența artificială, și cum pot companiile să livreze asta. Ne ajută să redefinim această întrebare cheie pentru companii, utilizând platforma SaaS Credo AI pentru a demonstra “economia eticii”.

Prin Credo AI, companiile pot nu numai să livreze inteligență artificială corectă, conformă și auditabilă, ci și să construiască încredere în rândul clienților.

Construirea încrederii clienților poate extinde baza de clienți a unei companii și poate debloca vânzări suplimentare. De exemplu, companiile pot oferi cea mai bună experiență posibilă pentru clienți, utilizând inteligență artificială etică în chatbot-urile lor de servicii clienți, sau pot utiliza inteligența artificială în mod responsabil pentru a înțelege activitatea utilizatorilor și a le sugera conținut sau produse suplimentare. Clienții extrem de mulțumiți pot oferi cea mai bună reclamă, împărtășind experiența lor cu prietenii și familia.

În plus, companiile pot vedea și modul în care colaborarea între funcțiile tehnice și de supraveghere poate ajuta la reducerea costurilor, datorită timpului de conformitate mai rapid, managementului riscului informat și reducerii riscurilor de brand și reglementare. Ne ajutăm organizațiile să implementeze inteligență artificială etică, construind un pod între metricile tehnice și rezultatele afacerii tangibile. Pe măsură ce tot mai mulți oameni realizează, promovarea inteligenței artificiale etice implică mult mai mult decât bifarea unei casete de “conformitate reglementară”. Dar are puterea de a livra și mai mult decât o contribuție la o lume mai echitabilă, ceea ce ar fi un rezultat valoros în sine.

Când o companie respectă standarde etice înalte, se poate aștepta la rezultate comerciale reale, cum ar fi creșterea veniturilor. Schimbarea perspectivei de la un concept “moale” abstract la o decizie de afaceri obiectivă a fost un mod cheie în care ne-am ajutat clienții să poziționeze guvernanța inteligenței artificiale ca o parte critică a motorului economic și social al companiei.

Recent, administrația Biden a creat Comitetul Național de Consultanță pentru Inteligența Artificială. Ce implică acest lucru pentru afacerile de inteligență artificială, din punctul tău de vedere?

Guvernele de pe glob se grăbesc să reglementeze inteligența artificială, și companiile trebuie să se pregătească. Crearea de către administrația Biden a Comitetului Național de Consultanță pentru Inteligența Artificială și investițiile în Biroul pentru Politici Științifice și Tehnologie din Casa Albă este un prim pas bun pentru a da viață discuțiilor despre proiectul de lege pentru drepturile și libertățile în legătură cu sistemele de inteligență artificială. Cu toate acestea, multă muncă trebuie făcută pentru a face ca inteligența artificială responsabilă să devină realitate pentru țara și economia noastră.

Cred că 2022 este anul acțiunii pentru inteligența artificială responsabilă. Este un apel la trezire pentru companiile care doresc să implementeze sau să consolideze cadrul lor etic de inteligență artificială. Acum este momentul pentru companii să-și evalueze cadrul existent pentru lacune, sau, pentru companiile care nu au o abordare, să implementeze un cadru solid pentru inteligența artificială de încredere, pentru a le pregăti pentru succes și a le ajuta să conducă în era inteligenței artificiale.

Ne putem aștepta la mai multe reglementări dure și moi care vor apărea. Pe lângă acțiunile Casei Albe, există multă energie care vine de la alți factori de decizie și agenții, cum ar fi proiectul de lege al Senatului privind responsabilitatea algoritmilor, îndrumările Comisiei pentru Comerț Federal (FTC) cu privire la bias-ul inteligenței artificiale și multe altele.

Dacă facem un salt în viitor, cât de importantă va fi etica și guvernanța inteligenței artificiale în cinci ani?

Suntem în primele etape ale guvernanței inteligenței artificiale. Pentru a sublinia cât de critică este guvernanța inteligenței artificiale, iată câteva dintre previziunile mele pentru următorii ani:

• Guvernanța etică a inteligenței artificiale va deveni o prioritate de top pentru organizații

Companiile continuă să investească și să obțină beneficii din utilizarea inteligenței artificiale în afacerile lor. IDC a prevăzut o cheltuială de 340 de miliarde de dolari pentru inteligența artificială în 2022. Fără guvernanță, companiile vor fi reticente să investească în inteligența artificială din cauza îngrijorărilor cu privire la bias, securitate, acuratețe și conformitate a acestor sisteme.

Fără încredere, consumatorii vor fi, de asemenea, reticenți să accepte produse sau să împărtășească date pentru a construi aceste sisteme. În următorii cinci ani, guvernanța etică a inteligenței artificiale va deveni o prioritate a consiliului de administrație și un metric important pe care companiile vor trebui să îl raporteze și să îl comunice pentru a construi încredere în rândul stakeholderilor.

• Noi categorii de locuri de muncă socio-tehnice vor apărea în cadrul unei organizații

Suntem martorii unei creșteri a investițiilor în organizații care promovează etica, care se străduie să-și asigure dezvoltarea pentru a construi aplicații de inteligență artificială corecte, conforme și auditable.

Pentru a conduce în inteligența artificială, companiile vor trebui să accelereze învățarea despre peisajul reglementar al inteligenței artificiale și implementarea structurilor de responsabilitate la scară. Pe măsură ce domeniul emergent al implementării etice a inteligenței artificiale evoluează, o nouă categorie socio-tehnică de locuri de muncă poate apărea pentru a facilita conversațiile și a prelua responsabilitatea în acest domeniu. Acest nou component al forței de muncă poate funcționa ca intermediari între funcțiile tehnice și de supraveghere, ajutând la dezvoltarea unor standarde și obiective comune.

• Noi experiențe alimentate de inteligența artificială vor cere o guvernanță mai strictă

Managementul consecințelor intenționate și neintenționate ale inteligenței artificiale este critic, în special pe măsură ce intrăm în Metaverse și lumea web3. Riscurile inteligenței artificiale există în lumea reală și în lumea virtuală, dar sunt amplificate în acea din urmă.

Prin intrarea în Metaverse fără o supraveghere corespunzătoare a inteligenței artificiale, companiile își pun clienții în pericol de provocări precum furtul de identitate și frauda. Este esențial ca problemele de inteligență artificială și guvernanță să fie rezolvate în lumea reală, pentru a menține consumatorii în siguranță în Metaverse.

• Noi ecosisteme de guvernanță a inteligenței artificiale etice vor apărea

Lumea s-a trezit la ideea că guvernanța inteligenței artificiale reprezintă blocul de bază pentru operaționalizarea inteligenței artificiale responsabile. În următorii ani, vom vedea un market competitiv și dinamic de furnizori de servicii care vor apărea pentru a oferi unelte, servicii, educație și alte capacități pentru a sprijini această nevoie imensă.

În plus, vom vedea și consolidarea și îmbunătățirea platformelor existente de MLops și GRC, pentru a aduce capacități de guvernanță și evaluare la inteligența artificială.

Mai este ceva pe care ai vrea să-l împărtășești despre Credo AI?

Guvernanța etică a inteligenței artificiale este o investiție care nu poate fi amânată și care nu poate fi evitată, și astăzi este cel mai bun moment pentru a începe.

Mulțumim pentru interviul detaliat și pentru împărtășirea tuturor insight-urilor dvs. cu privire la guvernanța și etica inteligenței artificiale. Citiitorii care doresc să afle mai multe despre Credo AI ar trebui să viziteze Credo AI.