Navrina Singh, CEO i założycielka Credo AI – Seria wywiadów

Navrina Singh jest CEO i założycielką Credo AI, firmy projektującej pierwszą kompleksową platformę SaaS do zarządzania AI, która umożliwia firmom i osobom lepsze zrozumienie i dostarczanie godnego zaufania i etycznego AI, pozostanie na czele nowych przepisów i polityk oraz stworzenie rekordu AI, który jest audytowalny i przejrzysty w całej organizacji. Firma działała w trybie stealth i cicho budowała imponujący portfel klientów, w tym jednego z największych kontrahentów rządowych i firm finansowych na świecie, a także innych marek z listy Fortune 100.

Wyrastałaś w małym miasteczku w Indiach, z skromnymi początkami, jak znalazłaś się w dziedzinie inżynierii i sztucznej inteligencji?

Pochodzę z rodziny klasy średniej; mój ojciec służył w wojsku przez cztery dekady, a moja matka była nauczycielką, a później projektantką mody. Od wczesnego wieku zawsze zachęcali mnie do poczucia ciekawości, miłości do odkryć naukowych i zapewniali mi bezpieczne miejsce do eksploracji „co, jeśli”.

Gdy dorastałam w Indiach, kobiety nie miały tylu możliwości co mężczyźni. Wiele decyzji było już podjętych dla dziewczynki, opartych na tym, co było akceptowane przez społeczeństwo. Jedynym sposobem, aby uciec i zapewnić sobie dobre życie dla rodziny, było wykształcenie.

Po ukończeniu szkoły średniej, kupiłam swój pierwszy komputer, który był moim oknem na świat. Byłam bardzo zainteresowana sprzętem i spędzałam godziny online, ucząc się, jak rozmontowywać płyty główne, budować aplikacje robotyczne, uczyć się programować, naprawiać instalację elektryczną w domu (o rety!) i wiele więcej. Inżynieria stała się moim bezpiecznym miejscem, gdzie mogłam eksperymentować, budować i doświadczać świata, który chciałam być częścią poprzez swoje wynalazki. Byłam zainspirowana i podekscytowana tym, jak technologia mogła być potężnym narzędziem do wprowadzania zmian, szczególnie dla kobiet.

Wychowując się, moje środki były ograniczone, ale możliwości nie. Zawsze marzyłam o przyjeździe do Stanów Zjednoczonych, aby zbudować silniejsze podstawy w technologii, aby rozwiązać największe wyzwania stojące przed ludzkością. Wyemigrowałam tu w 2001 roku, aby kontynuować swoją podróż inżynierską na Uniwersytecie Wisconsin-Madison.

W ciągu moich prawie dwóch dekad w inżynierii, miałam przywilej pracować nad wieloma technologiami na froncie, od mobilnych po rozszerzoną rzeczywistość.

W 2011 roku zaczęłam eksplorować Sztuczną Inteligencję, aby budować nowe firmy w Qualcomm (QCOM ). Spędziłam także czas na budowaniu firm i aplikacji w AI w dziedzinach takich jak mowa, wizja i NLP w Microsoft (MSFT ) i Qualcomm w ciągu ostatniej dekady. Im więcej dowiadywałam się o AI i machine learning, tym bardziej stawało się oczywiste, że ta technologia na froncie będzie masowo zakłócać nasze życie poza tym, co możemy sobie wyobrazić.

Budowanie sztucznej inteligencji na skalę przedsiębiorstwa również sprawiło, że zrozumiałam, jak ta technologia może wyrządzić krzywdę naszym ludziom i społecznościom, jeśli pozostanie niekontrolowana. My, jako przywódcy, musimy wziąć ekstremalną odpowiedzialność za technologie, które budujemy. Musimy być proaktywni w maksymalizowaniu ich korzyści dla ludzkości i minimalizowaniu ich ryzyka. W końcu „To, co tworzymy, tworzy nas”. Budowanie odpowiedzialnie jest krytyczne, co zainspirowało mnie do następnej fazy mojej kariery, budowania zarządzania AI.

Kiedy zaczęłaś poważnie myśleć o zarządzaniu AI?

Podczas gdy byłam szefową innowacji w Qualcomm, eksplorowaliśmy możliwości, które AI mogło przynieść naszym nowym firmom. Nasza praca była początkowo skupiona na robotach współpracujących w łańcuchu dostaw. To był mój pierwszy kontakt z „prawdziwymi” ryzykami AI, szczególnie w odniesieniu do fizycznego bezpieczeństwa ludzi, którzy pracowali obok tych systemów robotycznych.

W tym czasie spędziliśmy dużo czasu ze startupami, takimi jak Soul Machines, ucząc się nowych przypadków użycia i znajdując sposoby na partnerstwo z nimi, aby przyspieszyć naszą pracę. Soul Machines wydał nową wersję swojego awatara baby, „Baby X”. Obserwowanie tego dziecka zasilanego przez sieć neuronową, aktywnie uczącego się ze świata wokół niego, sprawiło, że zatrzymałam się i zastanowiłam nad niezamierzonymi konsekwencjami tej technologii. Moja córka Ziya urodziła się w tym samym czasie, a my serdecznie nazywaliśmy ją Baby „Z” po Soul Machines Baby „X”. Mówiłam o tym wiele razy, w tym na Women In Product Keynote w 2019 roku.

Ścieżki uczenia się Baby X i Baby Z były uderzająco podobne! Gdy Ziya rosła, zapewnialiśmy jej początkowy słownik i narzędzia do nauki. Z czasem zaczęła rozumieć świat i łączyć rzeczy same. Baby X, dziecko zasilane przez sieć neuronową, uczyło się w podobny sposób przez sensory wzrokowe i rozpoznawanie mowy, i szybko budowało głębokie zrozumienie świata ludzkiego.

Te wczesne momenty AI sprawiły, że stało się dla mnie jasne, że jest krytyczne, aby znaleźć sposoby na zarządzanie ryzykiem i umieszczenie skutecznych barier wokół tej potężnej technologii, aby upewnić się, że jest wdrożona dla dobra.

Czy mogłabyś podzielić się historią powstania Credo AI?

Po Qualcomm zostałam zatrudniona do kierowania komercjalizacją technologii AI w Microsoft w grupie rozwoju biznesu i, następnie, w grupie produktowej. Podczas mojego pobytu miałam szczęście pracować nad szerokim spektrum technologii AI z aplikacjami w przypadkach od AI konwersacyjnej do inteligencji kontraktowej i od inspekcji wizualnych do odkrycia produktów napędzanych przez mowę.

Jednakże, nasiono zarządzania AI zasiane w Qualcomm nadal rosło, gdy kontynuowałam obserwowanie rosnącego „deficytu nadzoru” w rozwoju technologii Sztucznej Inteligencji. Jako lider produktu pracujący z zespołem data science i inżynierii, byliśmy zmotywowani do budowy wysokiej jakości aplikacji AI napędzanej przez machine learning i szybkiego wdrożenia jej na rynku.

Widzieliśmy zgodność i zarządzanie jako kontrolę, która spowalnia tempo innowacji. Jednakże, moje rosnące obawy dotyczące deficytu zarządzania między profesjonalistami technicznymi i nadzorczymi w ryzyku, zgodności i audycie, motywowały mnie do dalszego eksplorowania wyzwań w realizacji zarządzania AI.

Wszystkie nierozwiązane pytania dotyczące zarządzania AI skłoniły mnie do poszukiwania odpowiedzi. Zaczęłam więc zakładać organizację non-profit o nazwie MERAT (Marketplace for Ethical and Responsible AI tools) z celem stworzenia ekosystemu dla startupów i Global 2000, skupionych na odpowiedzialnym rozwoju AI.

Przez wczesne eksperymenty w MERAT, stało się jasne, że nie ma startupów umożliwiających wielostronne narzędzia do kompleksowego zarządzania AI i ML – aż do Credo AI. Ta luka była moją okazją do realizacji misji celowego kierowania AI. Moja hipoteza była wciąż potwierdzana, że następna granica rewolucji AI będzie kierowana przez zarządzanie. Przedsiębiorstwa, które przyjmują zarządzanie, wyłonią się jako liderzy w zaufanych markach.

Skontaktował się ze mną AI Fund, inkubator założony przez Andrew Ng, uznanego eksperta AI. AI Fund zajmował się tymi samymi tematami audytowalności AI i zarządzania, którymi zajmowałam się przez ostatnią dekadę.

Credo AI zostało założone 28 lutego 2020 roku, z finansowaniem od AI Fund.

Credo oznacza „zestaw wartości, który kieruje twoimi działaniami”. Z Credo AI, naszą wizją jest umożliwienie przedsiębiorstwom tworzenie AI z najwyższymi standardami etycznymi.

W poprzednim wywiadzie, omawiałaś, jak zaufanie do marek będzie w przyszłości zależeć nie tylko od tego, jak budują i wdrażają AI, ale także od tego, jak skalują ją w służbie ludzkości. Czy mogłabyś wyjaśnić to?

Sztuczna Inteligencja jest jedną z przełomowych technologii tego stulecia i oferuje transformacyjne możliwości dla gospodarki i społeczeństwa. Jest na drodze do przyczynienia się do prawie 16 bilionów dolarów do globalnej gospodarki do 2030 roku.

Jednak ostatnie kilka lat rzuciło światło na główne zagrożenia AI (i nie, nie są to robotyczni władcy!) już tu. Na przykład, algorytmy sądowe ukierunkowane na minimalizację recydywy (powrót do przestępstwa) mogą wprowadzić stronniczość i odmówić zwolnienia warunkowego tym, którzy na to zasługują.

Algorytmy społeczne optymalizujące zaangażowanie mogą podzielić naród.

Niesprawiedliwe algorytmy mogą być powodem, dla którego nie otrzymujesz pracy lub przyjęcia do uczelni.

Im więcej autonomii dajemy naszym narzędziom, tym szerszy zakres niezamierzonych konsekwencji. Niezwykła skala generuje niezwykły wpływ, ale nie zawsze taki, jaki mamy na celu (piszę o tym w Credo AI Manifesto).

Przewiduję, że przedsiębiorstwa, które inwestują w zarządzanie AI, aby pomóc im budować odpowiedzialną technologię i zobowiązać się do etycznego użytkowania danych, będą w stanie wytworzyć zaufanie wśród swoich interesariuszy – klientów, konsumentów, inwestorów, pracowników i innych.

Jak Credo AI pomaga firmom w utrzymaniu odpowiedzialności?

Odpowiedzialność oznacza zobowiązanie do przyjęcia odpowiedzialności za swoje działania. W kontekście rozwoju i wdrażania AI, oznacza to, że przedsiębiorstwa muszą nie tylko uzgodnić, co „dobrze wygląda dla nich”, ale także podjąć celowe kroki, aby wykazać działanie na tych uzgodnionych celach i przyjąć odpowiedzialność za wyniki.

Credo AI ma na celu być przewodnikiem dla przedsiębiorstw w ich inicjatywach etycznego i odpowiedzialnego AI, aby utrzymać ich odpowiedzialność wobec różnorodnych interesariuszy: użytkowników, pracowników, regulatorów, audytorów, inwestorów, dyrektorów i innych. Dlatego Credo AI jest pionierem w czasie rzeczywistym, kontekstowo-napędzanym, kompleksowym i ciągłym rozwiązaniu dostarczającym etyczne i odpowiedzialne AI na dużą skalę.

Budowanie odpowiedzialności i zaufania do AI jest procesem dynamicznym. Organizacje muszą uzgodnić wartości przedsiębiorstwa, skodyfikować je, włączyć do infrastruktury organizacyjnej, obserwować wpływ i powtarzać ten proces z udziałem różnorodnych głosów na każdym etapie. Credo AI umożliwia tę odpowiedzialność dzięki kompleksowemu rozwiązaniu działającemu w czasie rzeczywistym, służącemu do zarządzania zgodnością i pomiaru ryzyka wdrożeń AI na dużą skalę.

Przedsiębiorstwa korzystające z rozwiązania do zarządzania Credo AI są w stanie:

• uzgodnić wymagania dotyczące zarządzania dla swoich przypadków użycia AI i modeli, z dostosowanymi pakietami zasad i narzędziami do wspierania decyzji przy wyborze metryk oceny modelu.
• ocenić i przeanalizować dane i modele ML w stosunku do tych uzgodnionych celów
• przełożyć specyfikacje techniczne na praktyczną ocenę wpływu ryzyka na biznes na każdym etapie rozwoju i wdrożenia modelu, aby można było złapać i naprawić problemy z zarządzaniem, zanim staną się ogromnymi problemami

Rejestrując decyzje i działania na każdym etapie, Credo AI przechwytuje pochodzenie decyzji, które doprowadziły do stworzenia modeli jako dowód. Ten dowód będzie rekordem udostępnionym wewnętrznie interesariuszom przedsiębiorstwa i zewnętrznie audytorom, co buduje zaufanie do intencji AI.

Te dowody pomogą zespołom programistycznym przewidywać niezamierzone konsekwencje i zapobiegać im oraz ujednolicą sposób oceny skuteczności i wiarygodności modeli AI.

Jesteśmy na bardzo wczesnym etapie umożliwiania zarządzania AI poprzez kompleksowe oceny i zapewnianie jakości. Cieszymy się na współpracę z kolejnymi przedsiębiorstwami w celu promowania odpowiedzialności.

Jak Credo AI pomaga firmom odejść od traktowania zarządzania AI jako kwestii rozważanej dopiero na końcu?

W dzisiejszym świecie brakuje jasności, czym naprawdę jest „odpowiedzialna”, „etyczna” i „godna zaufania” AI oraz jak przedsiębiorstwa mogą ją zapewnić. Pomagamy firmom przeformułować to kluczowe pytanie, wykorzystując platformę SaaS Credo AI do pokazania „ekonomii etyki”.

Dzięki Credo AI przedsiębiorstwa mogą nie tylko dostarczać sprawiedliwą, zgodną z przepisami i audytowalną AI, ale także budować zaufanie klientów.

Budowanie zaufania konsumentów może poszerzyć bazę klientów firmy i zwiększyć sprzedaż. Firmy mogą na przykład zapewniać możliwie najlepsze doświadczenia klientów, stosując etyczną AI w chatbotach obsługi klienta, albo odpowiedzialnie wykorzystywać AI do rozumienia aktywności użytkowników i proponowania im dodatkowych treści lub produktów. Bardzo zadowoleni klienci zapewniają następnie najlepszą reklamę, dzieląc się swoimi doświadczeniami z rodziną i znajomymi.

Przedsiębiorstwa mogą także dostrzec, że współpraca między zespołami technicznymi i nadzorczymi pomaga obniżyć koszty dzięki szybszemu osiąganiu zgodności, zarządzaniu ryzykiem opartemu na wiedzy oraz ograniczeniu ryzyka dla marki i ryzyka regulacyjnego. Pomagamy organizacjom wdrażać etyczną AI, łącząc wskaźniki techniczne z wymiernymi wynikami biznesowymi. Coraz więcej osób rozumie, że promowanie etycznej AI wymaga znacznie więcej niż zaznaczenia pola „zgodność z przepisami”. Może ono jednak przynieść więcej niż sam wkład w bardziej sprawiedliwy świat, który już sam w sobie byłby wartościowym wynikiem.

Firma przestrzegająca wysokich standardów etycznych może oczekiwać rzeczywistych rezultatów biznesowych, takich jak wzrost przychodów. Zmiana perspektywy z abstrakcyjnej, „miękkiej” koncepcji na obiektywną decyzję biznesową jest jednym z głównych sposobów, w jakie pomagamy umiejscowić zarządzanie AI jako kluczowy element ekonomicznego i społecznego mechanizmu działania firmy.

Administracja Bidena utworzyła niedawno Krajowy Komitet Doradczy ds. Sztucznej Inteligencji. Jakie są, twoim zdaniem, konsekwencje dla firm zajmujących się AI?

Rządy na całym świecie intensywnie pracują nad regulowaniem AI, a przedsiębiorstwa muszą się przygotować. Przemyślane utworzenie przez administrację Bidena Krajowego Komitetu Doradczego ds. AI i inwestycje w Biuro Polityki Naukowej i Technologicznej Białego Domu są dobrym pierwszym krokiem do przełożenia dyskusji o karcie praw dotyczącej systemów AI na działania. Potrzeba jednak jeszcze wiele pracy, aby urzeczywistnić odpowiedzialną AI w naszym kraju i gospodarce.

Uważam, że 2022 rok będzie rokiem działania na rzecz odpowiedzialnej AI. To sygnał do przebudzenia dla firm, które chcą wdrożyć lub wzmocnić swoje ramy etyczne AI. Teraz powinny ocenić luki w istniejących ramach, a jeśli nie mają jeszcze takiego podejścia, wdrożyć solidne ramy godnej zaufania AI, aby przygotować się do skutecznego przewodzenia w erze AI.

Należy spodziewać się kolejnych regulacji twardych i miękkich. Oprócz działań Białego Domu wiele inicjatyw pochodzi od innych decydentów i agencji, jak senacki projekt Algorithmic Accountability Act oraz wytyczne Federalnej Komisji Handlu (FTC) dotyczące stronniczości AI.

Jeśli spojrzymy w przyszłość, jak ważne będą etyka i zarządzanie AI za pięć lat?

Zarządzanie AI jest na wczesnym etapie. Aby podkreślić jego znaczenie, przedstawię kilka przewidywań na nadchodzące lata:

• Etyczne zarządzanie AI stanie się jednym z głównych priorytetów organizacji

Przedsiębiorstwa nadal inwestują w AI i czerpią korzyści z jej wykorzystania. IDC prognozuje wydatki na AI w 2022 roku na poziomie 340 miliardów dolarów. Bez zarządzania firmy będą niechętnie inwestować ze względu na obawy dotyczące stronniczości, bezpieczeństwa, dokładności i zgodności tych systemów.

Bez zaufania także konsumenci będą niechętnie przyjmować produkty oparte na AI lub udostępniać dane potrzebne do budowania tych systemów. W ciągu kolejnych pięciu lat etyczne zarządzanie AI stanie się priorytetem zarządów oraz ważnym wskaźnikiem, który firmy będą musiały ujawniać i raportować, aby budować zaufanie interesariuszy.

• W przedsiębiorstwach pojawią się nowe społeczno-techniczne kategorie stanowisk

Już teraz organizacje stawiające etykę na pierwszym miejscu znacząco inwestują w przygotowanie swojego rozwoju na przyszłość, aby zapewnić sprawiedliwe, zgodne z przepisami i audytowalne aplikacje AI.

Aby przewodzić w AI, firmy będą musiały szybciej poznawać otoczenie regulacyjne i wdrażać struktury odpowiedzialności na dużą skalę. Wraz z rozwojem etycznego wdrażania AI może powstać nowa społeczno-techniczna kategoria stanowisk, ułatwiająca te rozmowy i przejmująca odpowiedzialność w tym obszarze. Ta nowa grupa pracowników mogłaby pośredniczyć między zespołami technicznymi i nadzorczymi, pomagając opracowywać wspólne standardy i cele.

• Nowe doświadczenia oparte na AI będą wymagały ściślejszego zarządzania

Zarządzanie zamierzonymi i niezamierzonymi konsekwencjami AI ma kluczowe znaczenie, zwłaszcza gdy wkraczamy do metawersum i świata web3. Ryzyko AI istnieje zarówno w świecie rzeczywistym, jak i wirtualnym, lecz w tym drugim jest dodatkowo nasilone.

Wkraczając do metawersum bez odpowiedniego nadzoru nad AI, firmy narażają klientów na zagrożenia, takie jak kradzież tożsamości i oszustwa. Aby zapewnić konsumentom bezpieczeństwo w metawersum, trzeba już teraz rozwiązywać problemy AI i jej zarządzania w świecie rzeczywistym.

• Powstaną nowe ekosystemy etycznego zarządzania AI

Świat dostrzegł, że zarządzanie AI jest podstawowym elementem operacyjnego wdrażania odpowiedzialnej AI. W najbliższych latach powstanie konkurencyjny, dynamiczny rynek dostawców narzędzi, usług, edukacji i innych możliwości, odpowiadający na to ogromne zapotrzebowanie.

Zobaczymy też konsolidację i rozbudowę istniejących platform MLOps i GRC, które zyskają możliwości zarządzania AI i jej oceny.

Czy chciałabyś dodać coś jeszcze o Credo AI?

Etyczne zarządzanie AI to inwestycja przygotowana na przyszłość, na której nie można sobie pozwolić oszczędzać, a najlepszy moment, aby zacząć, jest dzisiaj.

Dziękujemy za szczegółowy wywiad i podzielenie się spostrzeżeniami na temat zarządzania i etyki AI. Czytelnicy chcący dowiedzieć się więcej mogą odwiedzić Credo AI.