Navrina Singh, CEO i założyciel Credo AI – seria wywiadów

Navrina Singh jest CEO i założycielem Credo AI, firmy projektującej pierwszą kompleksową platformę SaaS do zarządzania AI, która umożliwia firmom i osobom lepsze zrozumienie i dostarczanie godnych zaufania i etycznych rozwiązań AI, pozostawanie na czele nowych przepisów i polityk oraz tworzenie rekordu AI, który jest audytowalny i transparentny w całej organizacji. Firma działała w trybie stealth i cicho budowała imponujący portfel klientów, w tym jednego z największych kontrahentów rządowych i firm finansowych na świecie, a także innych marek z listy Fortune 100.

Wyrastając w małym miasteczku w Indiach, z skromnymi początkami, jak znalazła Pani się zainteresowana inżynierią i dziedziną AI?

Pochodzę z rodziny klasy średniej; mój ojciec służył w wojsku przez cztery dekady, a moja matka była nauczycielką, a później projektantką mody. Od wczesnego wieku zawsze zachęcali mnie do rozwoju mojej ciekawości, miłości do odkryć naukowych i zapewniali mi bezpieczne miejsce do eksploracji „co, jeśli”.

Gdy dorastałam w Indiach, kobiety nie miały tylu możliwości co mężczyźni. Wiele decyzji było już podjętych dla dziewczynki, opartych na tym, co było akceptowane przez społeczeństwo. Jedynym sposobem, aby uciec i zapewnić dobrą przyszłość dla rodziny, było wykształcenie.

Po ukończeniu szkoły średniej, kupiłam swój pierwszy komputer, który był moim oknem na świat. Byłam bardzo zainteresowana sprzętem i spędzałam godziny online, ucząc się, jak rozmontowywać płyty główne, budować aplikacje robotyczne, uczyć się programowania, naprawiać instalacje elektryczne w domu (ojej!) i wiele innych rzeczy. Inżynieria stała się moim bezpiecznym miejscem, gdzie mogłam eksperymentować, badać, budować i doświadczać świata, który chciałam być częścią poprzez moje wynalazki. Byłam zainspirowana i podekscytowana, jak technologia może być potężnym narzędziem do wywierania zmian, szczególnie dla kobiet.

Wychowując się, moje środki były ograniczone, ale możliwości nie. Zawsze marzyłam o przyjeździe do Stanów Zjednoczonych, aby zbudować silniejszą podstawę w technologii do rozwiązania największych wyzwań stojących przed ludzkością. Wyemigrowałam tutaj w 2001 roku, aby kontynuować moją podróż inżynierską na Uniwersytecie Wisconsin-Madison.

W ciągu prawie dwóch dekad pracy inżynierskiej, miałam przywilej pracować nad wieloma technologiami na granicy, od mobilnych po rozszerzoną rzeczywistość.

W 2011 roku zaczęłam badać sztuczną inteligencję, aby budować nowe powstające firmy w firmie Qualcomm. Spędziłam także czas na budowaniu firm i aplikacji w dziedzinie AI w dziedzinach takich jak mowa, wizja i NLP w firmach Microsoft i Qualcomm w ciągu ostatniej dekady. Im więcej uczyłam się o AI i uczeniu maszynowym, tym bardziej stawało się oczywiste, że ta technologia graniczna będzie masowo burzyć nasze życie poza tym, co możemy sobie wyobrazić.

Budowanie skalowalnej sztucznej inteligencji również sprawiło, że zrozumiałam, jak ta technologia może nie służyć ludziom i społecznościom, jeśli nie będzie kontrolowana. My, jako przywódcy, musimy wziąć na siebie ogromną odpowiedzialność za technologie, które budujemy. Musimy być proaktywni w maksymalizowaniu ich korzyści dla ludzkości i minimalizowaniu ich ryzyka. W końcu „To, co tworzymy, nas tworzy”. Budowanie odpowiedzialnie jest więc kluczowe, co zainspirowało mnie do następnego etapu mojej kariery, budowania zarządzania AI.

Kiedy zaczęła Pani poważnie myśleć o zarządzaniu AI?

Gdy byłam szefem innowacji w firmie Qualcomm, badaliśmy możliwości, które AI mogło przynieść naszym nowym firmom. Nasza pierwsza praca była skoncentrowana na robotach współpracujących, które były używane w łańcuchu dostaw. To było moje pierwsze doświadczenie z „prawdziwymi” ryzykami AI, szczególnie w odniesieniu do bezpieczeństwa fizycznego ludzi, którzy pracowali obok tych systemów robotycznych.

W tym czasie spędziliśmy znaczny czas z startupami, takimi jak Soul Machines, ucząc się nowych przypadków użycia i znajdując sposoby na partnerstwo z nimi, aby przyspieszyć naszą pracę. Soul Machines wydała nową wersję swojego niemowlęcia awatara, „Baby X”. Obserwowanie tego dziecka zasilanego siecią neuronową, aktywnie uczącego się ze świata wokół niej, sprawiło, że zawiesiłam i zastanowiłam się nad niezamierzonymi konsekwencjami tej technologii. Moja córka Ziya urodziła się wokół tego samego czasu, i fondowanie nazwaliśmy ją Baby „Z” po Soul Machines Baby „X”. Mówiłam o tym wiele razy, w tym na Women In Product Keynote w 2019 roku.

Procesy uczenia się Baby X i Baby Z były przerażająco podobne! Gdy Ziya rosła, zapewnialiśmy jej początkowy słownik i narzędzia do nauki. Z czasem zaczęła rozumieć świat i sama łączyła rzeczy. Baby X, dziecko z sieci neuronowej, uczyło się w podobny sposób za pomocą czujników wizyjnych i rozpoznawania mowy, i szybko budowało głębokie zrozumienie świata ludzkiego.

Te wczesne momenty AI uczyniły dla mnie jasnym, że jest krytyczne znalezienie sposobów na zarządzanie ryzykiem i ustawienie skutecznych barier wokół tej potężnej technologii, aby upewnić się, że jest wdrożona dla dobra.

Czy mogłaby Pani podzielić się historią powstania Credo AI?

Po Qualcomm zostałam zatrudniona do kierowania komercjalizacją technologii AI w firmie Microsoft w grupie rozwoju biznesu i później w grupie produktowej. Podczas mojego pobytu miałam szczęście pracować nad spektrum technologii AI z aplikacjami w przypadkach użycia od sztucznej inteligencji konwersacyjnej do inteligencji kontraktowej i od inspekcji wizualnych do odkrycia produktów zasilanych mową.

Jednak nasiono zarządzania AI zasiane w Qualcomm nadal rosło, gdy kontynuowałam obserwowanie rosnącego „deficytu nadzoru” w rozwoju technologii sztucznej inteligencji. Jako lider produktu pracujący z zespołem nauki o danych i inżynierii, byliśmy zmotywowani do budowania wysoko wydajnej aplikacji AI zasilanej przez uczenie maszynowe i wdrożenia jej szybko na rynku.

Widzieliśmy zgodność i zarządzanie jako kontrolę, która spowalnia tempo innowacji. Jednak moje rosnące obawy dotyczące deficytu zarządzania między specjalistami technicznymi i nadzorującymi w dziedzinie ryzyka, zgodności i audytu, motywowały mnie do kontynuowania badania wyzwań w realizacji zarządzania AI.

Wszystkie nierozwiązane pytania dotyczące zarządzania AI skłoniły mnie do poszukiwania odpowiedzi. Zaczęłam więc zakładać organizację non-profit o nazwie MERAT (Marketplace for Ethical and Responsible AI tools), której celem było stworzenie ekosystemu dla startupów i Global 2000, skupionych na odpowiedzialnym rozwoju AI.

Przez wczesne eksperymenty w MERAT, stało się jasne, że nie ma startupów umożliwiających wielostronne narzędzia do napędzania kompleksowego zarządzania AI i ML – dopóki nie pojawiło się Credo AI. Ta luka była moją okazją do realizacji misji celowego kierowania AI.

Moją hipotezę ciągle potwierdzało się, że następna granica rewolucji AI będzie kierowana przez zarządzanie. Przedsiębiorstwa, które przyjmą zarządzanie, wyłonią się jako liderzy wśród zaufanych marek.

Zostałam podejrzana przez AI Fund, inkubator założony przez Andrew Ng, znanego eksperta AI. AI Fund koncentrował się na tych samych tematach audytowalności AI i zarządzania, z którymi zajmowałam się przez ostatnią dekadę.

Credo AI zostało założone 28 lutego 2020 roku, z finansowaniem od AI Fund.

Credo oznacza „zestaw wartości, który kieruje Twoimi działaniami”. Z Credo AI, nasza wizja polega na umożliwieniu przedsiębiorstwom tworzenia AI z najwyższymi standardami etycznymi.

W poprzednim wywiadzie, omawiała Pani, jak marki w przyszłości będą ufać nie „tylko” temu, jak budują i wdrażają AI, ale jak skalują AI, aby było to na rzecz ludzkości. Czy mogłaby Pani wyjaśnić to?

Sztuczna inteligencja jest jedną z przełomowych technologii tego wieku i oferuje transformacyjne możliwości dla gospodarki i społeczeństwa. Jest na drodze do przyczynienia się do prawie 16 bilionów dolarów do globalnej gospodarki do 2030 roku.

Jednak ostatnie kilka lat rzuciło światło na główne zagrożenia AI (i nie, nie są to roboty nadzorcze!) już tu. Na przykład, algorytmy sądowe optymalizujące minimalne recydywizm (powrót do zachowania przestępczego) mogą wprowadzić stronniczość i odmówić zwolnienia tym, którzy na to zasługują.

Algorytmy społeczne optymalizujące zaangażowanie mogą podzielić naród.

Niesprawiedliwe algorytmy mogą być powodem, dla którego nie dostanie Pan pracy lub przyjęcia na uczelnię.

Im więcej autonomii dajemy naszym narzędziom, tym szerszy zakres niezamierzonych konsekwencji. Nadzwyczajna skala generuje nadzwyczajny wpływ, ale nie zawsze taki, jaki mamy na myśli (piszę o tym w Credo AI Manifesto</a)).

Przewiduję, że przedsiębiorstwa, które zainwestują w zarządzanie AI, aby pomóc im budować technologie odpowiedzialnie i zobowiązać się do etycznego wykorzystania danych, będą mogły wywołać zaufanie wśród wszystkich interesariuszy – klientów, konsumentów, inwestorów, pracowników i innych.

Jak Credo AI pomaga firmom pozostać odpowiedzialnymi?

Odpowiedzialność oznacza zobowiązanie do przyjęcia odpowiedzialności za swoje działania. W kontekście rozwoju i wdrożenia AI, oznacza to, że przedsiębiorstwa muszą nie tylko mieć wyraźnie określone, co „dobrze wygląda dla nich”, ale także podjąć celowe kroki, aby udowodnić działanie na tych wyraźnie określonych celach i przyjąć odpowiedzialność za wyniki.

Credo AI ma na celu być przewodnikiem dla przedsiębiorstw w ich inicjatywach etycznych i odpowiedzialnych AI, aby utrzymać ich odpowiedzialność wobec różnorodnych interesariuszy: użytkowników, pracowników, regulatorów, audytorów, inwestorów, menedżerów i innych. Dlatego Credo AI zapoczątkowało rozwiązanie w czasie rzeczywistym, kontekstowe, kompleksowe i ciągłe, aby dostarczyć etyczne i odpowiedzialne AI w skali.

Budowanie odpowiedzialności i zaufania w AI jest dynamicznym procesem. Organizacje muszą wyraźnie określić wartości przedsiębiorstwa, zakodować je w infrastrukturę organizacyjną, obserwować wpływ i powtarzać proces z różnorodnymi głosami, które dostarczają dane wejściowe na każdym etapie. Credo AI umożliwia tę odpowiedzialność za pomocą kompleksowego i w czasie rzeczywistym rozwiązania do zarządzania zgodnością i pomiaru ryzyka dla wdrożeń AI w skali.

Korzystając z rozwiązania do zarządzania Credo AI, przedsiębiorstwa są w stanie:

• Wyraźnie określić wymagania dotyczące zarządzania dla ich przypadków użycia AI i modeli, z dostosowanymi pakietami polityki i narzędziami wspomagającymi decyzje do wyboru metryk oceny modelu.
• Ocenić i przesłuchać dane i modele ML w odniesieniu do tych wyraźnie określonych celów
• Analizować specyfikacje techniczne w działanie ryzyka dla biznesu na każdym etapie rozwoju i wdrożenia modelu, aby można było złapać i naprawić problemy z zarządzaniem, zanim staną się ogromnymi problemami

Poprzez rejestrowanie decyzji i działań na każdym etapie, Credo AI przechwytuje pochodzenie decyzji, które doprowadziły do stworzenia modeli jako dowód. Ten dowód będzie rekordem udostępnionym wewnętrznie z interesariuszami przedsiębiorstwa i zewnętrznie z audytorami, który buduje zaufanie do intencji AI.

Ten dowód pomoże zespołom deweloperskim przewidzieć i zapobiec niezamierzonym konsekwencjom i ustandaryzować sposób oceny skuteczności i godności zaufania modeli AI.

Jesteśmy na bardzo wczesnym etapie umożliwiania zarządzania AI za pomocą kompleksowych ocen i gwarancji i jesteśmy podekscytowani pracą z większą liczbą przedsiębiorstw, aby promować odpowiedzialność.

Jak Credo AI pomaga firmom przesunąć się od zarządzania AI jako myśli po fakcie?

W dzisiejszym świecie brakuje wyjaśnienia, co tak naprawdę oznacza „odpowiedzialne”, „etyczne” i „godne zaufania” AI, i jak przedsiębiorstwa mogą dostarczyć to. Pomagamy przeformułować to kluczowe pytanie dla przedsiębiorstw, używając platformy SaaS Credo AI do demonstracji „ekonomiki etyki”.

Z Credo AI, przedsiębiorstwa są w stanie nie tylko dostarczyć uczciwe, zgodne i audytowalne AI, ale także budować zaufanie klientów.

Budowanie zaufania klientów może poszerzyć bazę klientów firmy i odblokować więcej sprzedaży. Na przykład, firmy mogą zapewnić najlepsze możliwe doświadczenie klienta, używając etycznego AI w ich chatbotach obsługi klienta, lub odpowiedzialnie używać AI, aby zrozumieć aktywność użytkownika i sugerować dodatkowy treści lub produkty dla nich. Bardzo zadowoleni klienci oferują następnie najlepsze reklamy, dzieląc się swoimi doświadczeniami z przyjaciółmi i rodziną.

Ponadto, przedsiębiorstwa mogą także zobaczyć, jak współpraca między funkcjami technicznymi i nadzorującymi może pomóc im zaoszczędzić koszty, dzięki szybszemu czasowi zgodności, poinformowanemu zarządzaniu ryzykiem, obniżonym ryzykom marki i regulacyjnym. Pomagamy organizacjom wdrażać etyczne AI, budując mostek między metrykami technicznymi a wymiernymi wynikami biznesowymi. Jak coraz więcej ludzi zdaje sobie sprawę, wspieranie etycznego AI obejmuje o wiele więcej niż tylko odhaczanie pola „zgodność regulacyjna”. Ale ma ono moc dostarczenia jeszcze więcej niż wkładu w bardziej sprawiedliwy świat, co byłoby samo w sobie godnym wynikiem.

Gdy firma przestrzega wysokich standardów etycznych, może oczekiwać realnych wyników biznesowych, takich jak zwiększony przychód. Przesunięcie perspektywy z abstrakcyjnego „miękkiego” pojęcia na obiektywną decyzję biznesową było kluczowym sposobem, w jaki pomogliśmy umieścić zarządzanie AI jako krytyczną część silnika ekonomicznego i społecznego dla firmy.

Niedawno administracja Bidena utworzyła Narodowy Komitet Doradczy ds. Sztucznej Inteligencji. Jakie są Pani zdaniem implikacje tego dla firm AI?

Rządy na całym świecie idą pełną parą w regulowaniu AI, i przedsiębiorstwa muszą się przygotować. Utworzenie przez administrację Bidena Komitetu Doradczego ds. AI i inwestycje w Białym Domu OSTP jest dobrym pierwszym krokiem, aby przynieść działanie do dyskusji wokół ustawy o prawach do zarządzania systemami AI. Jednak wiele pracy musi zostać zrobione, aby zrealizować, co oznacza odpowiedzialna AI dla naszego kraju i gospodarki.

Uważam, że 2022 rok jest pozycjonowany, aby być rokiem działania dla odpowiedzialnej AI. Jest to wezwanie do przedsiębiorstw, które chcą wdrożyć lub wzmocnić swoją ramę etyczną AI. Teraz jest czas dla firm, aby ocenić swoją istniejącą ramę pod kątem luk, lub, dla firm, które nie mają podejścia, wdrożyć solidną ramę dla godnej zaufania AI, aby umieścić je na drodze do sukcesu, aby przewodzić w erze AI.

Powinniśmy oczekiwać więcej twardych i miękkich regulacji, które pojawią się. Oprócz działań Białego Domu, jest wiele impetu pochodzącego z innych decydentów i agencji, takich jak projekt ustawy o odpowiedzialności algorytmicznej Senatu, wytyczne Federalnej Komisji Handlu (FTC) dotyczące stronniczości AI i wiele innych.

Jeśli przyspieszymy do przyszłości, jak ważne będą etyka AI i zarządzanie AI w ciągu pięciu lat?

Jesteśmy na wczesnym etapie zarządzania AI. Aby podkreślić, jak krytyczne jest zarządzanie AI, oto niektóre z moich przewidywań na najbliższe lata:

• Zarządzanie etyczną AI stanie się najwyższym priorytetem organizacji

Przedsiębiorstwa kontynuują inwestowanie i czerpanie korzyści z wykorzystania AI w swoich firmach. IDC przewiduje, że wydatki na AI wyniosą 340 miliardów dolarów w 2022 roku. Bez zarządzania, przedsiębiorstwa będą niechętne do inwestowania w AI z powodu obaw o stronniczość, bezpieczeństwo, dokładność, zgodność tych systemów.

Bez zaufania, konsumenci również będą niechętni do akceptacji produktów opartych na AI lub do udostępniania danych do budowy tych systemów. W ciągu najbliższych pięciu lat, zarządzanie etyczną AI stanie się priorytetem w sali zarządu i ważnym metrycznym, który firmy będą musiały ujawnić i raportować, aby zbudować zaufanie wśród swoich interesariuszy.

• Nowe kategorie pracy socjotechnicznej pojawią się w przedsiębiorstwie

Jesteśmy już świadkami, jak organizacje etyczne inwestują znacznie w zabezpieczenie swojego rozwoju, aby upewnić się, że aplikacje AI są uczciwe, zgodne i audytowalne.

Aby przewodzić w AI, przedsiębiorstwa będą musiały przyspieszyć naukę o krajobrazie regulacyjnym AI i wdrożeniu struktur odpowiedzialności w skali. Jak rozwija się dziedzina wdrożenia etycznego AI, nowa kategoria socjotechniczna może pojawić się, aby ułatwić te rozmowy i wziąć na siebie tę rolę. Ten nowy komponent siły roboczej może funkcjonować jako pośrednicy między technicznymi i nadzorującymi, pomagając rozwijać wspólne standardy i cele.

• Nowe doświadczenia zasilane AI będą wymagać surowszego zarządzania

Zarządzanie zamierzonymi i niezamierzonymi konsekwencjami sztucznej inteligencji jest kluczowe, szczególnie gdy wkraczamy do Metaverse i świata web3. Ryzyko AI istnieje w świecie rzeczywistym i wirtualnym, ale jest dalej potęgowane w tym ostatnim.

Przez pójście do Metaverse bez braku nadzoru AI, przedsiębiorstwa narażają swoich klientów na ryzyko wyzwań, takich jak kradzież tożsamości i oszustwo. Jest niezwykle ważne, aby problemy AI i zarządzania były rozwiązane w świecie rzeczywistym teraz, aby utrzymać klientów w bezpieczeństwie w Metaverse.

• Nowe ekosystemy w zarządzaniu etyczną AI pojawią się

Świat obudził się z myślą, że zarządzanie AI reprezentuje podstawowy blok budowlany do operacjonalizowania odpowiedzialnej AI. W ciągu najbliższych kilku lat, zobaczymy konkurencyjny i dynamiczny rynek dostawców usług, którzy będą dostarczać narzędzia, usługi, edukację i inne możliwości, aby wesprzeć tę ogromną potrzebę.

Ponadto, zobaczymy także konsolidację i uzupełnienie istniejących platform MLOps i GRC, aby wprowadzić możliwości zarządzania i oceny AI.

Czy jest coś jeszcze, co chciałaby Pani podzielić się o Credo AI?

Etyczne zarządzanie AI jest inwestycją, która jest przyszłością, którą nie można sobie pozwolić nie zrobić, a dzisiaj jest najlepszym dniem, aby zacząć.

Dziękuję za szczegółowy wywiad i za podzielenie się wszystkimi swoimi spostrzeżeniami dotyczącymi zarządzania AI i etyki, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Credo AI.