Navrina Singh, CEO e Fondatrice di Credo AI – Serie di Interviste

Navrina Singh è CEO e Fondatrice di Credo AI, un’azienda che progetta la prima piattaforma SaaS di governance dell’AI che consente alle aziende e agli individui di comprendere meglio e fornire AI affidabili ed etici, di stare al passo con le nuove normative e politiche e di creare un registro dell’AI che sia verificabile e trasparente in tutta l’organizzazione. L’azienda è stata in funzione in modalità stealth e ha costruito in silenzio un’impressionante cartera di clienti che include uno dei più grandi appaltatori del governo e società di servizi finanziari del mondo, tra gli altri marchi Fortune 100.

Sei cresciuta in una piccola città in India con umili origini, come ti sei trovata attratta dall’ingegneria e dal campo dell’AI?

Vengo da una famiglia della classe media; mio padre era nell’esercito per quattro decenni e mia madre era un’insegnante diventata designer di moda. Fin da piccola, mi hanno sempre incoraggiato a esplorare la mia curiosità, l’amore per le scoperte scientifiche e mi hanno fornito un luogo sicuro per esplorare i “cosa se”.

Quando crescevo in India, alle donne non erano offerte molte opportunità come agli uomini. Molte decisioni erano già state prese per una ragazza, in base a ciò che era accettabile dalla società. L’unico modo per allontanarsi e permettere una buona vita per la propria famiglia era attraverso l’istruzione.

Dopo essermi diplomata, ho posseduto il mio primo computer, che era la mia finestra sul mondo. Ero molto interessata all’hardware e ho trascorso ore online imparando a smontare le schede madri, a costruire applicazioni di robotica, a imparare a programmare, a rifare l’elettricità in casa (oh no!) e molto altro. L’ingegneria è diventata il mio spazio sicuro, dove potevo sperimentare, esplorare, costruire e vivere un mondo che volevo far parte attraverso le mie invenzioni. Ero ispirata e entusiasta di come la tecnologia potesse essere uno strumento potente per cambiare, soprattutto per le donne.

Crescendo, le mie risorse erano limitate, ma le possibilità non lo erano. Ho sempre sognato di venire negli Stati Uniti per costruire una base più solida nella tecnologia per risolvere le sfide più grandi che l’umanità affronta. Sono immigrata qui nel 2001, per continuare il mio percorso di ingegneria all’Università del Wisconsin Madison.

Nel corso dei miei quasi due decenni di carriera nell’ingegneria, ho avuto il privilegio di lavorare su molte tecnologie all’avanguardia, dalla mobile alla realtà aumentata.

Nel 2011, ho iniziato a esplorare l’Intelligenza Artificiale per costruire nuovi business emergenti a Qualcomm (QCOM ). Ho anche trascorso del tempo costruendo business e applicazioni in AI attraverso speech, vision e NLP a Microsoft (MSFT ) e Qualcomm, negli ultimi dieci anni. Man mano che imparavo di più sull’AI e sull’apprendimento automatico, è diventato evidente che questa tecnologia all’avanguardia avrebbe massicciamente sconvolto le nostre vite al di là di ciò che possiamo immaginare.

Costruire AI su larga scala ha anche fatto capire che la tecnologia può fare un disservizio e danneggiare le persone e le comunità, se lasciata incontrollata. Noi, come leader, dobbiamo assumere una responsabilità estrema per le tecnologie che stiamo costruendo. Dobbiamo essere proattivi nel massimizzare i benefici per l’umanità e minimizzare i rischi. Dopo tutto, “Ciò che creiamo, ci fa” Quindi costruire in modo responsabile è fondamentale, il che ha ispirato la prossima fase della mia carriera nella governance dell’AI.

Quando hai iniziato a pensare seriamente alla governance dell’AI?

Mentre ero a capo dell’innovazione a Qualcomm, stavamo esplorando le possibilità che l’AI poteva portare ai nostri business emergenti. Il nostro lavoro iniziale si concentrava su robot collaborativi utilizzati nella catena di approvvigionamento. Questa è stata la mia prima esposizione ai “veri” rischi dell’AI, soprattutto per quanto riguarda la sicurezza fisica degli esseri umani che operavano accanto a questi sistemi di robotica.

Durante questo periodo, abbiamo trascorso molto tempo con startup come Soul Machines, imparando nuovi casi d’uso e trovando modi per collaborare con loro per accelerare il nostro lavoro. Soul Machines aveva rilasciato una nuova versione del loro avatar di bambino, “Baby X”. Guardare questo bambino alimentato da rete neurale, attivamente imparante dal mondo intorno a lui, mi ha fatto riflettere sulle conseguenze inintenzionali di questa tecnologia. Mia figlia Ziya è nata più o meno nello stesso periodo e l’abbiamo soprannominata Baby “Z” dopo Soul Machines Baby “X”. Ne ho parlato molto, compreso nel discorso di apertura di Women In Product nel 2019.

I percorsi di apprendimento di Baby X e Baby Z erano sorprendentemente simili! Mentre Ziya cresceva, le stavamo fornendo il vocabolario iniziale e gli strumenti per imparare. Col tempo, ha iniziato a capire il mondo e a mettere insieme le cose da sola. Baby X, il bambino alimentato da rete neurale, stava imparando in modo simile attraverso sensori di visione e riconoscimento vocale e stava costruendo rapidamente una profonda comprensione del mondo umano.

Questi primi momenti di AI mi hanno reso chiaro che era fondamentale trovare modi per gestire il rischio e mettere efficaci barriere intorno a questa potente tecnologia per assicurarsi che venga utilizzata per il bene.

Potresti condividere la storia di genesi di Credo AI?

Dopo Qualcomm, sono stata reclutata per guidare la commercializzazione delle tecnologie AI a Microsoft nel gruppo di sviluppo commerciale e, successivamente, nel gruppo di prodotto. Durante il mio mandato, ho avuto la fortuna di lavorare su uno spettro di tecnologie AI con applicazioni in casi d’uso che vanno dall’AI conversazionale all’intelligenza dei contratti, e dalla visione ispettiva al riconoscimento vocale.

Tuttavia, il seme della governance dell’AI piantato a Qualcomm ha continuato a crescere man mano che continuavo a testimoniare il crescente “deficit di supervisione” nello sviluppo delle tecnologie di Intelligenza Artificiale. Come leader di prodotto che lavorava con il team di data science e ingegneria, eravamo motivati a costruire un’applicazione AI ad alte prestazioni alimentata da apprendimento automatico e a deployarla rapidamente sul mercato.

Abbiamo visto la conformità e la governance come un controllo che rallentava il ritmo dell’innovazione. Tuttavia, le mie crescenti preoccupazioni per il deficit di governance tra i professionisti tecnici e di supervisione in risk, compliance, audit, mi hanno motivato a continuare a esplorare le sfide nella realizzazione della governance dell’AI.

Tutte le domande irrisolte sulla governance dell’AI mi hanno spinto a cercare risposte. Quindi, ho iniziato a gettare le basi per un’organizzazione no-profit chiamata MERAT (Marketplace for Ethical and Responsible AI tools) con l’obiettivo di creare un ecosistema per startup e Global 2000 che si concentrano sullo sviluppo responsabile dell’AI.

Attraverso la sperimentazione iniziale a MERAT, è diventato chiaro che non c’erano startup che abilitavano strumenti multi-stakeholder per alimentare la governance comprensiva dell’AI e dell’apprendimento automatico – fino a Credo AI. Questa lacuna è stata la mia opportunità di realizzare la missione di guidare l’AI in modo intenzionale. La mia ipotesi continuava a essere convalidata dal fatto che la prossima frontiera della rivoluzione dell’AI sarà guidata dalla governance. Le imprese che abbracciano la governance emergeranno come leader nei marchi affidabili.

Sono stata avvicinata dal AI Fund, un incubatore fondato da Andrew Ng, un noto esperto di AI. AI Fund si era concentrato sugli stessi argomenti di auditabilità e governance dell’AI che mi avevano consumato per l’ultimo decennio.

Credo AI è stata incorporata il 28 febbraio 2020, con finanziamenti da AI Fund.

Credo significa “un insieme di valori che guidano le tue azioni”. Con Credo AI, la nostra visione è quella di dotare le imprese di strumenti per creare AI con gli standard etici più alti.

Nel tuo precedente intervista, hai discusso come i marchi nel futuro saranno considerati affidabili non “solo” in base a come costruiscono e deployano l’AI, ma su come scalano l’AI in modo che sia al servizio dell’umanità. Potresti elaborare su questo?

L’Intelligenza Artificiale è una delle tecnologie che cambiano il gioco di questo secolo e offre opportunità trasformative per l’economia e la società. È sulla strada per contribuire quasi 16 trilioni di dollari all’economia globale entro il 2030.

Tuttavia, gli ultimi anni hanno messo in luce le principali minacce dell’AI (e no, non sono i robot dominatori!) già presenti. Ad esempio, gli algoritmi giudiziari che ottimizzano per il minimo recidivismo (un ritorno al comportamento criminale) possono introdurre pregiudizi e negare la libertà condizionale a coloro che la meritano.

Gli algoritmi sociali che ottimizzano per l’engagement possono dividere una nazione.

Gli algoritmi ingiusti possono essere il motivo per cui non ottieni un lavoro o l’ammissione all’università.

Quanto più autonomia diamo ai nostri strumenti, tanto più ampio è l’ambito delle conseguenze inintenzionali. Una scala straordinaria genera un impatto straordinario, ma non sempre l’impatto che intendiamo (ne scrivo nel Manifesto di Credo AI).

Prevedo che le imprese che investono nella governance dell’AI per aiutarle a costruire la tecnologia in modo responsabile e a impegnarsi nell’uso etico dei dati, saranno in grado di ispirare la fiducia tra gli stakeholder – clienti, consumatori, investitori, dipendenti e altri.

Come aiuta Credo AI a tenere le aziende responsabili?

La responsabilità significa un obbligo di accettare la responsabilità per le proprie azioni. Nel contesto dello sviluppo e della deploy dell’AI, ciò significa che le imprese devono non solo allinearsi su ciò che “buono significa per loro”, ma prendere azioni intenzionali per dimostrare azioni su quegli obiettivi allineati e assumere la responsabilità per gli esiti.

Credo AI mira a essere una guida per le imprese nelle loro iniziative di AI etiche e responsabili per tenerle responsabili verso gli stakeholder diversi: utenti, dipendenti, regulatori, auditor, investitori, dirigenti e altri. Quindi, Credo AI ha fatto da pioniere in una soluzione in tempo reale, guidata dal contesto, comprensiva e continua per fornire AI etica e responsabile su larga scala.

Costruire la responsabilità e la fiducia nell’AI è un processo dinamico. Le organizzazioni devono allinearsi sui valori aziendali, codificarli, costruirli nella loro infrastruttura organizzativa, osservare l’impatto e ripetere il processo con voci diverse che forniscono input a ogni fase. Credo AI consente questa responsabilità attraverso una soluzione comprensiva e in tempo reale per la gestione della conformità e la misurazione del rischio per la deploy dell’AI su larga scala.

Utilizzando la soluzione di governance di Credo AI, le imprese sono in grado di:

• Allineare i requisiti di governance per i loro casi d’uso e modelli di AI, con pacchetti di politiche personalizzabili e strumenti di supporto alle decisioni per la scelta delle metriche di valutazione del modello.
• Valutare e interrogare i dati e i modelli di apprendimento automatico rispetto a quegli obiettivi allineati.
• Analizzare le specifiche tecniche in un impatto di rischio azionabile per l’azienda in ogni fase dello sviluppo e della deploy del modello, in modo da poter individuare e risolvere i problemi di governance prima che diventino problemi enormi.

Registrando le decisioni e le azioni in ogni punto, Credo AI cattura l’origine delle decisioni che sono state prese per la creazione dei modelli come prova. Questa prova sarà un record condiviso all’interno degli stakeholder aziendali e all’esterno con gli auditor che costruisce la fiducia nelle intenzioni dell’AI.

Questa prova aiuterà i team di sviluppo a prevedere e prevenire le conseguenze inintenzionali e standardizzerà il modo in cui valutiamo l’efficacia e l’affidabilità dei modelli di AI.

Siamo alle prime fasi dell’abilitazione della governance dell’AI attraverso valutazioni e garanzie complete e siamo entusiasti di lavorare con più imprese per promuovere la responsabilità.

Come aiuta Credo AI le aziende a spostarsi lontano dalla governance dell’AI come un afterthought?

Nel mondo di oggi, c’è una mancanza di chiarezza su cosa significhi realmente “responsabile”, “etico” e “affidabile” AI, e su come le imprese possano fornirlo. Aiutiamo a riformulare questa domanda chiave per le imprese, utilizzando la piattaforma SaaS di Credo AI per dimostrare l'”economia dell’etica”.

Con Credo AI, le imprese sono in grado non solo di fornire AI giusta, conforme e verificabile, ma anche di costruire la fiducia del cliente.

Costruire la fiducia del consumatore può allargare la base di clienti di un’azienda e sbloccare più vendite. Ad esempio, le aziende possono fornire la migliore esperienza del cliente possibile utilizzando AI etica nei loro chatbot di servizio clienti, o utilizzare in modo responsabile l’AI per comprendere l’attività dell’utente e suggerire contenuti o prodotti aggiuntivi per loro. I clienti estremamente soddisfatti offrono poi la migliore pubblicità condividendone l’esperienza con amici e familiari.

Inoltre, le imprese possono anche vedere come la collaborazione tra funzioni tecniche e di supervisione possa aiutarle a risparmiare sui costi a causa di un tempo di conformità più veloce, di una gestione del rischio informata, di rischi di marca e regolamentari ridotti. Aiutiamo le organizzazioni a deployare AI etica costruendo un ponte tra metriche tecniche e risultati aziendali tangibili. Come sempre più persone stanno realizzando, sostenere AI etica coinvolge molto più che semplicemente spuntare una casella di “conformità regolamentare”. Ma ha il potere di offrire anche più di un contributo a un mondo più equo, il che sarebbe un risultato degno di nota di per sé.

Quando un’azienda sostiene alti standard etici, può aspettarsi risultati aziendali reali, come un aumento dei ricavi. Spostare la prospettiva da un concetto “astratto” e “soft” a una decisione aziendale oggettiva è stato un modo chiave per noi per aiutare a posizionare la governance dell’AI come una parte critica del motore economico e sociale dell’azienda.

Recentemente, l’amministrazione Biden ha creato il Comitato consultivo nazionale per l’Intelligenza Artificiale. Secondo te, quali sono le implicazioni di ciò per le aziende di AI?

I governi di tutto il mondo stanno andando a pieno regime nella regolamentazione dell’AI e le imprese devono prepararsi. La creazione del Comitato consultivo nazionale per l’AI da parte dell’amministrazione Biden e gli investimenti nell’OSTP della Casa Bianca sono un buon primo passo per portare azione alle discussioni intorno al disegno di legge per i diritti dell’AI. Tuttavia, molto lavoro deve essere fatto per realizzare cosa significhi AI responsabile per il nostro paese e l’economia.

Credo che il 2022 sia posizionato per essere l’anno dell’azione per l’AI responsabile. È un richiamo alle imprese che cercano di implementare o rafforzare il loro quadro etico dell’AI. Ora è il momento per le aziende di valutare il loro quadro esistente per le lacune o, per le aziende che mancano di un approccio, di implementare un solido quadro per AI affidabile per prepararle al successo e guidarle nell’era dell’AI.

Dovremmo aspettarci più regolamentazioni dure e morbide. Oltre alle azioni della Casa Bianca, c’è molta energia che proviene da altri responsabili delle politiche e agenzie, come il disegno di legge sull’accountability degli algoritmi del Senato, la guida della Federal Trade Commission (FTC) sull’AI pregiudizievole e altro ancora.

Se andiamo avanti nel futuro, quanto importante sarà l’etica dell’AI e la governance dell’AI tra cinque anni?

Siamo alle prime fasi della governance dell’AI. Per sottolineare quanto sia critica la governance dell’AI, ecco alcune delle mie previsioni per i prossimi anni:

• La governance dell’AI etica diventerà una priorità aziendale di alto livello

Le imprese continuano a investire e a raccogliere i benefici dell’uso dell’AI nei loro business. L’IDC ha previsto una spesa di 340 miliardi di dollari sull’AI nel 2022. Senza governance, le imprese saranno riluttanti a investire nell’AI a causa delle preoccupazioni per i pregiudizi, la sicurezza, l’accuratezza e la conformità di questi sistemi.

Senza fiducia, i consumatori saranno anche riluttanti ad accettare prodotti basati sull’AI o a condividere dati per costruire questi sistemi. Nei prossimi cinque anni, la governance dell’AI etica diventerà una priorità della sala riunioni e un importante metrica che le aziende dovranno divulgare e segnalare per costruire la fiducia tra gli stakeholder.

• Emergeranno nuove categorie di lavoro sociotecnico all’interno di un’azienda

Stiamo già vedendo organizzazioni etiche che investono significativamente nel futuro della loro sviluppo per assicurarsi che le applicazioni di AI siano giuste, conformi e verificabili.

Per guidare l’AI, le imprese dovranno accelerare l’apprendimento sul paesaggio regolamentare dell’AI e sull’implementazione di strutture di responsabilità su larga scala. Man mano che il campo emergente dell’implementazione etica dell’AI si evolve, potrebbe emergere una nuova categoria di lavoro sociotecnico per facilitare queste conversazioni e assumere la responsabilità in questo settore. Questo nuovo componente della forza lavoro potrebbe funzionare come intermediari tra tecnici e funzioni di supervisione, aiutando a sviluppare standard e obiettivi comuni.

• Le nuove esperienze alimentate dall’AI richiederanno una governance più stretta

Gestire le conseguenze intenzionali e inintenzionali dell’AI è critico, soprattutto mentre entriamo nel Metaverso e nel mondo web3. I rischi dell’AI esistono nel mondo reale e nel mondo virtuale, ma sono ulteriormente amplificati in quest’ultimo.

Immergersi nel Metaverso a testa bassa senza una supervisione dell’AI mette i clienti a rischio di sfide come il furto d’identità e la frode. È fondamentale che le questioni di governance e AI vengano risolte nel mondo reale ora per mantenere i consumatori al sicuro nel Metaverso.

• Emergeranno nuovi ecosistemi nella governance dell’AI etica

Il mondo si è reso conto che la governance dell’AI rappresenta il blocco di base per l’operatività dell’AI responsabile. Nei prossimi anni, vedremo un mercato competitivo e dinamico di fornitori di servizi emergere per fornire strumenti, servizi, istruzione e altre capacità per supportare questo enorme bisogno.

Inoltre, vedremo anche la consolidazione e il potenziamento delle piattaforme di MLops e GRC esistenti per portare capacità di governance e valutazione all’AI.

C’è qualcos’altro che ti piacerebbe condividere su Credo AI?

La governance dell’AI etica è un investimento a prova di futuro che non puoi permetterti di non fare, e oggi è il miglior giorno per iniziare.

Grazie per l’intervista dettagliata e per aver condiviso tutte le tue idee riguardo alla governance e all’etica dell’AI, i lettori che desiderano saperne di più possono visitare Credo AI.