Navrina Singh, CEO i założyciel Credo AI – seria wywiadów

Navrina Singh jest CEO i założycielem Credo AI, firmy projektującej pierwszą kompleksową platformę SaaS do zarządzania AI, która umożliwia firmom i osobom lepsze zrozumienie i dostarczanie godnego zaufania i etycznego AI, pozostanie na czele nowych przepisów i polityk oraz stworzenie rekordu AI, który jest audytowalny i przejrzysty w całej organizacji. Firma działała w trybie stealth i cicho budowała imponujący portfel klientów, w tym jednego z największych kontrahentów rządowych i firm finansowych na świecie, a także innych marek z listy Fortune 100.

Wyrastałaś w małym miasteczku w Indiach, z skromnymi początkami, jak znalazłaś się w dziedzinie inżynierii i sztucznej inteligencji?

Pochodzę z rodziny klasy średniej; mój ojciec służył w wojsku przez cztery dekady, a moja matka była nauczycielką, a później projektantką mody. Od wczesnego wieku zawsze zachęcali mnie do poczucia ciekawości, miłości do odkryć naukowych i zapewniali mi bezpieczne miejsce do eksploracji „co, jeśli”.

Gdy dorastałam w Indiach, kobiety nie miały tylu możliwości co mężczyźni. Wiele decyzji było już podjętych dla dziewczynki, opartych na tym, co było akceptowane przez społeczeństwo. Jedynym sposobem, aby uciec i zapewnić sobie dobre życie dla rodziny, było wykształcenie.

Po ukończeniu szkoły średniej, kupiłam swój pierwszy komputer, który był moim oknem na świat. Byłam bardzo zainteresowana sprzętem i spędzałam godziny online, ucząc się, jak rozmontowywać płyty główne, budować aplikacje robotyczne, uczyć się programować, naprawiać instalację elektryczną w domu (o rety!) i wiele więcej. Inżynieria stała się moim bezpiecznym miejscem, gdzie mogłam eksperymentować, budować i doświadczać świata, który chciałam być częścią poprzez swoje wynalazki. Byłam zainspirowana i podekscytowana tym, jak technologia mogła być potężnym narzędziem do wprowadzania zmian, szczególnie dla kobiet.

Wychowując się, moje możliwości były ograniczone, ale możliwości nie. Zawsze marzyłam o przyjeździe do Stanów Zjednoczonych, aby zbudować silniejsze podstawy w technologii, aby rozwiązać największe wyzwania stojące przed ludzkością. Wyemigrowałam tu w 2001 roku, aby kontynuować swoją podróż inżynierską na Uniwersytecie Wisconsin-Madison.

W ciągu moich prawie dwóch dekad w inżynierii, miałam przywilej pracować nad wieloma technologiami na froncie, od mobilnych po rozszerzoną rzeczywistość.

W 2011 roku zaczęłam eksplorować Sztuczną Inteligencję, aby budować nowe firmy w Qualcomm (QCOM ). Spędziłam także czas na budowaniu firm i aplikacji w AI w dziedzinach takich jak mowa, wizja i NLP w Microsoft (MSFT ) i Qualcomm w ciągu ostatniej dekady. Im więcej dowiadywałam się o AI i machine learning, tym bardziej stawało się oczywiste, że ta technologia na froncie będzie masowo zakłócać nasze życie poza tym, co możemy sobie wyobrazić.

Budowanie przedsiębiorstw na skalę Sztucznej Inteligencji również sprawiło, że zrozumiałam, jak ta technologia może wyrządzić krzywdę naszym ludziom i społecznościom, jeśli pozostanie niekontrolowana. My, jako przywódcy, musimy wziąć ekstremalną odpowiedzialność za technologie, które budujemy. Musimy być proaktywni w maksymalizowaniu ich korzyści dla ludzkości i minimalizowaniu ich ryzyka. W końcu „To, co tworzymy, tworzy nas”. Budowanie odpowiedzialnie jest krytyczne, co zainspirowało mnie do następnej fazy mojej kariery, budowania zarządzania AI.

Kiedy zacząłeś poważnie myśleć o zarządzaniu AI?

Podczas gdy byłem szefem innowacji w Qualcomm, eksplorowaliśmy możliwości, które AI mogło przynieść naszym nowym firmom. Nasza praca była początkowo skupiona na robotach współpracujących w łańcuchu dostaw. To był mój pierwszy kontakt z „prawdziwymi” ryzykami AI, szczególnie w odniesieniu do fizycznej bezpieczeństwa ludzi, którzy pracowali obok tych systemów robotycznych.

W tym czasie spędziliśmy dużo czasu ze startupami, takimi jak Soul Machines, ucząc się nowych przypadków użycia i znajdując sposoby na partnerstwo z nimi, aby przyspieszyć naszą pracę. Soul Machines wydał nową wersję swojego awatara baby, „Baby X”. Obserwowanie tego dziecka zasilanego przez sieć neuronową, aktywnie uczącego się ze świata wokół niego, sprawiło, że zatrzymałam się i zastanowiłam nad niezamierzonymi konsekwencjami tej technologii. Moja córka Ziya urodziła się w tym samym czasie, a my serdecznie nazywaliśmy ją Baby „Z” po Soul Machines Baby „X”. Mówiłam o tym wiele razy, w tym na Women In Product Keynote w 2019 roku.

Ścieżki uczenia się Baby X i Baby Z były przerażająco podobne! Gdy Ziya rosła, zapewnialiśmy jej początkowy słownik i narzędzia do nauki. Z czasem zaczęła rozumieć świat i łączyć rzeczy same. Baby X, dziecko zasilane przez sieć neuronową, uczyło się w podobny sposób przez sensory wzrokowe i rozpoznawanie mowy, i szybko budowało głębokie zrozumienie świata ludzkiego.

Te wczesne momenty AI sprawiły, że stało się dla mnie jasne, że jest krytyczne, aby znaleźć sposoby na zarządzanie ryzykiem i umieszczenie skutecznych barier wokół tej potężnej technologii, aby upewnić się, że jest wdrożona dla dobra.

Czy mógłbyś podzielić się historią powstania Credo AI?

Po Qualcomm zostałam zatrudniona do kierowania komercjalizacją technologii AI w Microsoft w grupie rozwoju biznesu i, następnie, w grupie produktowej. Podczas mojego pobytu miałam szczęście pracować nad szerokim spektrum technologii AI z aplikacjami w przypadkach od AI konwersacyjnej do inteligencji kontraktowej i od inspekcji wizualnych do odkrycia produktów napędzanych przez mowę.

Jednakże, nasiono zarządzania AI zasiane w Qualcomm nadal rosło, gdy kontynuowałam obserwowanie rosnącego „deficytu nadzoru” w rozwoju technologii Sztucznej Inteligencji. Jako lider produktu pracujący z zespołem data science i inżynierii, byliśmy zmotywowani do budowy wysokiej jakości aplikacji AI napędzanej przez machine learning i szybkiego wdrożenia jej na rynku.

Widzieliśmy zgodność i zarządzanie jako kontrolę, która spowalnia tempo innowacji. Jednakże, moje rosnące obawy dotyczące deficytu zarządzania między profesjonalistami technicznymi i nadzorczymi w ryzyku, zgodności i audycie, motywowały mnie do dalszego eksplorowania wyzwań w realizacji zarządzania AI.

Wszystkie nierozwiązane pytania dotyczące zarządzania AI skłoniły mnie do poszukiwania odpowiedzi. Zaczęłam więc zakładać organizację non-profit o nazwie MERAT (Marketplace for Ethical and Responsible AI tools) z celem stworzenia ekosystemu dla startupów i Global 2000, skupionych na odpowiedzialnym rozwoju AI.

Przez wczesne eksperymenty w MERAT, stało się jasne, że nie ma startupów umożliwiających wielostronne narzędzia do kompleksowego zarządzania AI i ML – aż do Credo AI. Ta luka była moją okazją do realizacji misji celowego kierowania AI. Moja hipoteza była wciąż potwierdzana, że następna granica rewolucji AI będzie kierowana przez zarządzanie. Przedsiębiorstwa, które przyjmują zarządzanie, wyłonią się jako liderzy w zaufanych markach.

Zostałam podejrzana przez AI Fund, inkubator założony przez Andrew Ng, uznanego eksperta AI. AI Fund zajmował się tymi samymi tematami audytowalności AI i zarządzania, z którymi ja byłem zajęty przez ostatnią dekadę.

Credo AI zostało założone 28 lutego 2020 roku, z finansowaniem od AI Fund.

Credo oznacza „zestaw wartości, który kieruje twoimi działaniami”. Z Credo AI, naszą wizją jest umożliwienie przedsiębiorstwom tworzenie AI z najwyższymi standardami etycznymi.

W poprzednim wywiadzie, omawiałeś, jak marki w przyszłości będą ufać nie tylko temu, jak budują i wdrażają AI, ale jak skalują AI, aby służyło ludzkości. Czy mógłbyś wyjaśnić to?

Sztuczna Inteligencja jest jedną z przełomowych technologii tego stulecia i oferuje transformacyjne możliwości dla gospodarki i społeczeństwa. Jest na drodze do przyczynienia się do prawie 16 bilionów dolarów do globalnej gospodarki do 2030 roku.

Jednak ostatnie kilka lat rzuciło światło na główne zagrożenia AI (i nie, nie są to roboty nadzorcze!) już tu. Na przykład, algorytmy sądowe optymalizujące minimalne recydywizm (powrót do przestępstwa) mogą wprowadzić stronniczość i odmówić zwolnienia tym, którzy na to zasługują.

Algorytmy społeczne optymalizujące zaangażowanie mogą podzielić naród.

Niesprawiedliwe algorytmy mogą być powodem, dla którego nie otrzymujesz pracy lub przyjęcia do uczelni.

Im więcej autonomii dajemy naszym narzędziom, tym szerszy zakres niezamierzonych konsekwencji. Niezwykła skala generuje niezwykły wpływ, ale nie zawsze taki, jaki mamy na celu (piszę o tym w Credo AI Manifesto).

Przewiduję, że przedsiębiorstwa, które inwestują w zarządzanie AI, aby pomóc im budować odpowiedzialną technologię i zobowiązać się do etycznego użytkowania danych, będą w stanie wytworzyć zaufanie wśród swoich interesariuszy – klientów, konsumentów, inwestorów, pracowników i innych.

Jak Credo AI pomaga firmom w utrzymaniu odpowiedzialności?

Odpowiedzialność oznacza zobowiązanie do przyjęcia odpowiedzialności za swoje działania. W kontekście rozwoju i wdrażania AI, oznacza to, że przedsiębiorstwa muszą nie tylko uzgodnić, co „dobrze wygląda dla nich”, ale także podjąć celowe kroki, aby wykazać działanie na tych uzgodnionych celach i przyjąć odpowiedzialność za wyniki.

Credo AI ma na celu być przewodnikiem dla przedsiębiorstw w ich inicjatywach etycznego i odpowiedzialnego AI, aby utrzymać ich odpowiedzialność wobec różnorodnych interesariuszy: użytkowników, pracowników, regulatorów, audytorów, inwestorów, dyrektorów i innych. Dlatego Credo AI jest pionierem w czasie rzeczywistym, kontekstowo-napędzanym, kompleksowym i ciągłym rozwiązaniu dostarczającym etyczne i odpowiedzialne AI na dużą skalę.

Przedsiębiorstwa korzystające z rozwiązania do zarządzania Credo AI są w stanie:

• uzgodnić wymagania dotyczące zarządzania dla swoich przypadków użycia AI i modeli, z dostosowanymi pakietami zasad i narzędziami do wspierania decyzji przy wyborze metryk oceny modelu.
• ocenić i przesłuchać dane i modele ML w stosunku do tych uzgodnionych celów
• przeanalizować specyfikacje techniczne w działanie wpływu ryzyka dla biznesu na każdym etapie rozwoju i wdrożenia modelu, aby można było złapać i naprawić problemy z zarządzaniem, zanim staną się ogromnymi problemami

Rejestrując decyzje i działania na każdym etapie, Credo AI przechwytuje pochodzenie decyzji, które doprowadziły do stworzenia modeli jako dowód. Ten dowód będzie rekordem udostępnionym wewnętrznie interesariuszom przedsiębiorstwa i zewnętrznie audytorom, co buduje zaufanie do intencji AI.