Navrina Singh, CEO e Fondatrice di Credo AI – Serie di Interviste

Navrina Singh è CEO e Fondatrice di Credo AI, un’azienda che progetta la prima piattaforma SaaS di governance dell’AI a livello globale che consente alle aziende e agli individui di comprendere meglio e fornire AI affidabile e etica, di stare al passo con le nuove normative e politiche e di creare un registro dell’AI che sia verificabile e trasparente in tutta l’organizzazione. L’azienda è stata in funzione in modalità stealth e ha costruito silenziosamente un’impressionante cartera di clienti che include uno dei più grandi appaltatori del governo e società di servizi finanziari del mondo, tra gli altri marchi del Fortune 100.

Sono cresciuta in una piccola città in India con umili origini, come hai trovato te stesso attratto dall’ingegneria e dal campo dell’AI?

Vengo da una famiglia della classe media; mio padre era nell’esercito per quattro decenni e mia madre era un’insegnante diventata designer di moda. Fin da piccola, mi hanno sempre incoraggiato a coltivare la mia curiosità, l’amore per le scoperte scientifiche e mi hanno fornito un luogo sicuro per esplorare i “cosa succede se”.

Quando stavo crescendo in India, alle donne non erano offerte molte opportunità come agli uomini. Molte decisioni erano già state prese per una ragazza, in base a ciò che era accettabile dalla società. L’unico modo per allontanarsi e garantire una buona vita per la propria famiglia era attraverso l’istruzione.

Dopo aver terminato la scuola superiore, ho posseduto il mio primo computer, che era la mia finestra sul mondo. Ero molto interessata all’hardware e ho trascorso ore online imparando a smontare le schede madri, a costruire applicazioni di robotica, a imparare a programmare, a ristrutturare l’impianto elettrico in casa (oh no!) e molto altro. L’ingegneria è diventata il mio spazio sicuro, dove potevo sperimentare, esplorare, costruire e vivere un mondo che volevo far parte attraverso le mie invenzioni. Ero ispirata e entusiasta di come la tecnologia potesse essere uno strumento potente per apportare cambiamenti, soprattutto per le donne.

Crescendo, i miei mezzi erano limitati, ma le possibilità non lo erano. Ho sempre sognato di venire negli Stati Uniti per costruire una base più solida nella tecnologia per risolvere le più grandi sfide che l’umanità si trova ad affrontare. Sono immigrata qui nel 2001 per continuare il mio percorso di ingegneria all’Università del Wisconsin-Madison.

Nel corso dei miei quasi due decenni di carriera nell’ingegneria, ho avuto il privilegio di lavorare su molte tecnologie all’avanguardia, dalla mobile alla realtà aumentata.

Nel 2011, ho iniziato a esplorare l’Intelligenza Artificiale per costruire nuovi business emergenti alla Qualcomm. Ho anche trascorso del tempo costruendo aziende e applicazioni di AI across speech, vision e NLP alla Microsoft e alla Qualcomm, negli ultimi dieci anni. Man mano che imparavo di più sull’AI e sull’apprendimento automatico, è diventato evidente che questa tecnologia all’avanguardia avrebbe massicciamente sconvolto le nostre vite oltre ciò che possiamo immaginare.

Costruire AI a livello aziendale mi ha anche fatto capire come la tecnologia possa fare un disservizio e danneggiare le nostre persone e comunità, se lasciata incontrollata. Noi, come leader, dobbiamo assumerci una responsabilità estrema per le tecnologie che stiamo costruendo. Dobbiamo essere proattivi nel massimizzare i suoi benefici per l’umanità e minimizzare i suoi rischi. Dopo tutto, “Ciò che creiamo, ci crea” Quindi costruire in modo responsabile è fondamentale, il che ha ispirato la prossima fase della mia carriera nella costruzione della governance dell’AI.

Quando hai iniziato a pensare seriamente alla governance dell’AI?

Mentre ero a capo dell’innovazione alla Qualcomm, stavamo esplorando le possibilità che l’AI poteva portare ai nostri business emergenti. Il nostro lavoro iniziale si concentrava su robot collaborativi utilizzati nella catena di approvvigionamento. Questa è stata la mia prima esposizione ai “veri” rischi dell’AI, in particolare per quanto riguarda la sicurezza fisica degli esseri umani che operavano accanto a questi sistemi di robotica.

Durante questo periodo, abbiamo trascorso molto tempo con startup, come Soul Machines, imparando nuovi casi d’uso e trovando modi per collaborare con loro per accelerare il nostro lavoro. Soul Machines aveva rilasciato una nuova versione del loro avatar di baby, “Baby X”. Guardare questo bambino alimentato da rete neurale, attivamente che imparava dal mondo intorno a lui, mi ha fatto riflettere sulle conseguenze non intenzionali di questa tecnologia. Mia figlia Ziya è nata intorno allo stesso periodo, e l’abbiamo soprannominata Baby “Z” dopo Soul Machines Baby “X”. Ne ho parlato molto, compreso durante il Women In Product Keynote nel 2019.

I percorsi di apprendimento di Baby X e Baby Z erano inquietantemente simili! Mentre Ziya cresceva, le stavamo fornendo il vocabolario iniziale e gli strumenti per imparare. Nel tempo, ha iniziato a comprendere il mondo e a mettere le cose insieme da sola. Baby X, il bambino alimentato da rete neurale, stava imparando in modo simile attraverso sensori di visione e riconoscimento vocale, e stava rapidamente costruendo una profonda comprensione del mondo umano.

Questi primi momenti di AI mi hanno reso chiaro che era fondamentale trovare modi per gestire il rischio e mettere efficaci barriere intorno a questa potente tecnologia per assicurarsi che sia utilizzata per il bene.

Potresti condividere la storia di genesi dietro Credo AI?

Dopo la Qualcomm, sono stata reclutata per guidare la commercializzazione delle tecnologie di AI alla Microsoft nel gruppo di sviluppo commerciale e, successivamente, nel gruppo di prodotto. Durante il mio mandato, ho avuto la fortuna di lavorare su uno spettro di tecnologie di AI con applicazioni in casi d’uso che vanno dall’AI conversazionale all’intelligenza dei contratti, e dalla ispezione visiva alla scoperta di prodotti alimentata da speech.

Tuttavia, il seme della governance dell’AI piantato alla Qualcomm ha continuato a crescere man mano che continuavo a testimoniare l’aumento del “deficit di supervisione” nello sviluppo delle tecnologie di AI. Come leader di prodotto che lavorava con il team di scienza dei dati e ingegneria, eravamo motivati a costruire un’applicazione di AI ad alte prestazioni alimentata da apprendimento automatico e a deployarla rapidamente sul mercato.

Avevamo visto la conformità e la governance come un controllo che rallentava il ritmo dell’innovazione. Tuttavia, le mie crescenti preoccupazioni per il deficit di governance tra i professionisti tecnici e di supervisione nel rischio, nella conformità, nell’audit, mi hanno motivato a continuare a esplorare le sfide nella realizzazione della governance dell’AI.

Tutte le domande senza risposta sulla governance dell’AI mi hanno spinto a cercare risposte. Quindi ho iniziato a gettare le basi per un’organizzazione no-profit chiamata MERAT (Marketplace for Ethical and Responsible AI tools) con l’obiettivo di creare un ecosistema per startup e Global 2000 che si concentrano sullo sviluppo responsabile dell’AI.

Attraverso la sperimentazione iniziale a MERAT, è diventato chiaro che non c’erano startup che abilitavano strumenti multi-stakeholder per alimentare una governance globale delle applicazioni di AI e ML – fino a quando non è arrivata Credo AI. Questa lacuna è stata la mia opportunità per realizzare la missione di guidare l’AI intenzionalmente. La mia ipotesi continuava a essere convalidata dal fatto che la prossima frontiera della rivoluzione dell’AI sarebbe stata guidata dalla governance. Le imprese che abbracciano la governance emergeranno come leader nei marchi affidabili.

Sono stata avvicinata da AI Fund, un incubatore fondato da Andrew Ng, un noto esperto di AI. AI Fund si era concentrato sugli stessi argomenti di auditabilità e governance dell’AI che mi avevano consumato per l’ultimo decennio.

Credo AI è stata incorporata il 28 febbraio 2020, con finanziamenti da AI Fund.

Credo significa “un insieme di valori che guida le tue azioni”. Con Credo AI, la nostra visione è quella di potenziare le imprese per creare AI con gli standard etici più alti.

In un intervista precedente, hai discusso come i marchi nel futuro saranno considerati affidabili non “solo” in base a come costruiscono e deployano l’AI, ma su come scalano l’AI in modo che sia al servizio dell’umanità. Potresti elaborare su questo?

L’Intelligenza Artificiale è una delle tecnologie che cambiano il gioco di questo secolo e offre opportunità trasformative per l’economia e la società. È sulla strada per contribuire quasi 16 trilioni di dollari all’economia globale entro il 2030.

Tuttavia, gli ultimi anni hanno messo in luce le principali minacce dell’AI (e no, non sono i robot dominatori!) già presenti. Ad esempio, gli algoritmi giudiziari che ottimizzano per il minimo recidivo (una ricaduta nel comportamento criminale) possono introdurre pregiudizi e negare la libertà condizionale a coloro che la meritano.

Gli algoritmi sociali che ottimizzano per l’engagement possono dividere una nazione.

Gli algoritmi ingiusti possono essere il motivo per cui non si ottiene un lavoro o l’ammissione all’università.

Più autonomia diamo ai nostri strumenti, più ampio è il raggio di conseguenze non intenzionali. Una scala straordinaria genera un impatto straordinario, ma non sempre l’impatto che intendiamo (ne scrivo nel Credo AI Manifesto</a)).

Prevedo che le imprese che investono nella governance dell'AI per aiutarle a costruire tecnologie in modo responsabile e a impegnarsi nell'uso etico dei dati, saranno in grado di ispirare fiducia tra gli stakeholder – clienti, consumatori, investitori, dipendenti e altri.

Come aiuta Credo AI a tenere le aziende responsabili?

La responsabilità significa un’obbligazione ad accettare la responsabilità per le proprie azioni. Nel contesto dello sviluppo e della deployazione dell’AI, ciò significa che le imprese devono non solo allinearsi su “cosa significa bene per loro”, ma anche compiere passi intenzionali per dimostrare azioni su quegli obiettivi allineati e assumersi la responsabilità per i risultati.

Credo AI mira a essere una guida per le imprese nelle loro iniziative di AI etica e responsabile per tenerle responsabili verso gli stakeholder diversi: utenti, dipendenti, regulatori, auditor, investitori, dirigenti e altri. Quindi Credo AI ha fatto da pioniere in una soluzione in tempo reale, guidata dal contesto, globale e continua per fornire AI etica e responsabile su larga scala.

Costruire la responsabilità e la fiducia nell’AI è un processo dinamico. Le organizzazioni devono allinearsi sui valori aziendali, codificarli, costruirli nella loro infrastruttura organizzativa, osservare l’impatto e ripetere il processo con voci diverse che forniscono input a ogni fase. Credo AI consente questa responsabilità tramite una soluzione globale e in tempo reale per la gestione della conformità e la misurazione del rischio per la deployazione dell’AI su larga scala.

Utilizzando la soluzione di governance di Credo AI, le imprese sono in grado di:

• Allinearsi sui requisiti di governance per i loro casi d’uso e modelli di AI, con pacchetti di politiche personalizzabili e strumenti di supporto alle decisioni per la scelta dei metriche di valutazione del modello.
• Valutare e interrogare i dati e i modelli di ML rispetto a quegli obiettivi allineati
• Analizzare le specifiche tecniche in impatto di rischio azionabile per l’azienda in ogni fase dello sviluppo e deploy del modello, in modo da poter individuare e risolvere i problemi di governance prima che diventino problemi enormi

Registrando le decisioni e le azioni in ogni punto, Credo AI cattura l’origine delle decisioni che sono state prese per la creazione dei modelli come prova. Questa prova sarà un registro condiviso internamente con gli stakeholder aziendali ed esternamente con gli auditor che costruisce fiducia nelle intenzioni dell’AI.

Questa prova aiuterà i team di sviluppo a prevedere e prevenire conseguenze non intenzionali e standardizzerà il modo in cui valutiamo l’efficacia e l’affidabilità dei modelli di AI.

Siamo agli inizi della governance dell’AI attraverso valutazioni e garanzie complete e siamo entusiasti di lavorare con più imprese per promuovere la responsabilità.

Come aiuta Credo AI le aziende a spostarsi lontano dalla governance dell’AI come un pensiero secondario?

Nel mondo di oggi, c’è una mancanza di chiarezza su cosa sia veramente “responsabile”, “etico” e “affidabile” AI, e su come le imprese possano fornirlo. Aiutiamo a riformulare questa domanda chiave per le imprese, utilizzando la piattaforma SaaS di Credo AI per dimostrare l'”economia dell’etica”.

Con Credo AI, le imprese sono in grado non solo di fornire AI giusta, conforme e verificabile, ma anche di costruire la fiducia del cliente.

Costruire la fiducia del consumatore può allargare la base di clienti di un’azienda e sbloccare più vendite. Ad esempio, le aziende possono fornire la migliore esperienza di servizio clienti possibile utilizzando AI etica nei loro chatbot di servizio clienti, o utilizzare in modo responsabile l’AI per comprendere l’attività dell’utente e suggerire contenuti o prodotti aggiuntivi per loro. I clienti estremamente soddisfatti offrono poi la migliore pubblicità condividendone l’esperienza con amici e familiari.

Inoltre, le imprese possono anche vedere come la collaborazione tra funzioni tecniche e di supervisione possa aiutarle a risparmiare costi a causa di un tempo di conformità più veloce, di una gestione del rischio informata, di rischi di marchio e normativi ridotti. Aiutiamo le organizzazioni a deployare AI etica costruendo un ponte tra metriche tecniche e risultati aziendali tangibili. Come sempre più persone stanno realizzando, sostenere AI etica coinvolge molto più che spuntare una casella di “conformità normativa”. Ma ha il potere di offrire anche più di un contributo a un mondo più equo, il che sarebbe un risultato degno di nota di per sé.

Quando un’azienda sostiene alti standard etici, può aspettarsi risultati aziendali reali, come un aumento dei ricavi. Spostare la prospettiva da un concetto “soft” astratto a una decisione aziendale oggettiva è stato un modo chiave per aiutarci a posizionare la governance dell’AI come parte critica del motore economico e sociale dell’azienda.

Recentemente, l’amministrazione Biden ha creato il Comitato consultivo nazionale per l’Intelligenza Artificiale. Secondo te, quali sono le implicazioni di ciò per le aziende di AI?

I governi di tutto il mondo stanno andando a pieno regime nella regolamentazione dell’AI, e le imprese devono prepararsi. La creazione dell’amministrazione Biden del Comitato consultivo nazionale per l’AI e gli investimenti nel White House OSTP è un buon primo passo per portare azione alle discussioni intorno al progetto di legge sui diritti per governare i sistemi di AI. Tuttavia, molto lavoro deve essere fatto per realizzare cosa significhi AI responsabile per il nostro paese e l’economia.

Credo che il 2022 sia posizionato per essere l’anno dell’azione per l’AI responsabile. È un richiamo alle imprese che cercano di implementare o rafforzare il loro quadro etico per l’AI. Ora è il momento per le aziende di valutare il loro quadro esistente per le lacune, o, per le aziende che mancano di un approccio, di implementare un solido quadro per l’AI affidabile per prepararle al successo e guidare nell’era dell’AI.

Dovremmo aspettarci più regolamentazioni rigide e morbide da emergere. Oltre alle azioni della Casa Bianca, c’è molta energia che proviene da altri responsabili delle politiche e agenzie, come il disegno di legge sull’accountability degli algoritmi del Senato, la guida della Federal Trade Commission (FTC) sull’AI pregiudizievole, e altro.

Se andiamo avanti nel futuro, quanto importante sarà l’etica dell’AI e la governance dell’AI tra cinque anni?

Siamo agli inizi della governance dell’AI. Per sottolineare quanto sia critica la governance dell’AI, ecco alcune delle mie previsioni per i prossimi anni:

• La governance dell’AI etica diventerà una priorità aziendale di alto livello

Le imprese continuano a investire e a raccogliere i benefici dell’uso dell’AI nei loro business. IDC ha previsto una spesa di 340 miliardi di dollari sull’AI nel 2022. Senza governance, le imprese saranno riluttanti a investire nell’AI a causa delle preoccupazioni sui pregiudizi, sulla sicurezza, sull’accuratezza, sulla conformità di questi sistemi.

Senza fiducia, i consumatori saranno anche riluttanti ad accettare prodotti o servizi basati sull’AI o a condividere dati per costruire questi sistemi. Nel corso dei prossimi cinque anni, la governance dell’AI etica diventerà una priorità della sala riunioni e un importante metrica che le aziende dovranno divulgate e segnalare per costruire fiducia tra gli stakeholder.

• Nuove categorie di lavoro sociotecnico emergeranno all’interno di un’azienda

Stiamo già vedendo organizzazioni etiche che investono significativamente nel future proofing del loro sviluppo per garantire applicazioni di AI giuste, conformi e verificabili.

Per guidare nell’AI, le imprese dovranno ulteriormente accelerare l’apprendimento sul paesaggio normativo dell’AI e gli sviluppi delle strutture di responsabilità su larga scala. Man mano che il campo emergente dell’implementazione dell’AI etica evolve, una nuova categoria di lavoro sociotecnico potrebbe emergere per facilitare queste conversazioni e assumere la responsabilità in questo settore. Questo nuovo componente della forza lavoro potrebbe funzionare come intermediari tra tecnici e di supervisione, aiutando a sviluppare standard e obiettivi comuni.

• Nuove esperienze alimentate dall’AI richiederanno una governance più stretta

Gestire le conseguenze intenzionali e non intenzionali dell’AI è critico, soprattutto mentre entriamo nel Metaverso e nel mondo del web3. I rischi dell’AI esistono nel mondo reale e in quello virtuale, ma sono ulteriormente amplificati in quest’ultimo.

Tuffandosi nel Metaverso a testa bassa con una mancanza di supervisione dell’AI, le imprese mettono i loro clienti a rischio per sfide come il furto d’identità e la frode. È fondamentale che le questioni di AI e governance vengano risolte nel mondo reale ora per mantenere i consumatori al sicuro nel Metaverso.

• Nuovi ecosistemi nella governance dell’AI etica emergeranno

</ul
Il mondo si è risvegliato all'idea che la governance dell'AI rappresenta il blocco di base per l'operatività dell'AI responsabile. Nel corso dei prossimi anni, vedremo un mercato competitivo e dinamico di fornitori di servizi emergere per fornire strumenti, servizi, istruzione e altre capacità per supportare questo enorme bisogno.

Inoltre, vedremo anche la consolidazione e l'aggiunta di piattaforme di GRC e MLOps esistenti, per portare capacità di governance e valutazione all'AI.

C’è qualcos’altro che ti piacerebbe condividere su Credo AI?

La governance dell’AI etica è un investimento a prova di futuro che non puoi permetterti di non fare, e oggi è il miglior giorno per iniziare.

Grazie per l’intervista dettagliata e per aver condiviso tutte le tue idee riguardo alla governance e all’etica dell’AI, i lettori che desiderano saperne di più possono visitare Credo AI.