Yotam Oren, CEO & Cofounder of Mona Labs – Wywiad z serii

Yotam Oren, jest CEO & Cofounderem Mona Labs, platformy, która umożliwia przedsiębiorstwom przekształcenie inicjatyw sztucznej inteligencji z eksperymentów laboratoryjnych w skalowalne operacje biznesowe, poprzez prawdziwe zrozumienie, jak modele ML zachowują się w rzeczywistych procesach biznesowych i aplikacjach.

Mona automatycznie analizuje zachowanie modeli machine learning w chronionych segmentach danych i w kontekście funkcji biznesowych, w celu wykrycia potencjalnych stronniczości AI. Mona oferuje możliwość generowania kompletnych raportów o sprawiedliwości, które spełniają standardy i przepisy branżowe, oraz dają pewność, że aplikacja AI jest zgodna i pozbawiona stronniczości.

Czym pierwotnie zainteresował Cię się komputerowa nauka?

Komputerowa nauka jest popularnym kierunkiem w mojej rodzinie, więc zawsze była dla mnie realną opcją. Oczywiście, izraelska kultura jest bardzo pro-technologiczna. Célébryjemy innowacyjnych technologów i zawsze miałem poczucie, że komputerowa nauka da mi możliwość rozwoju i osiągnięć.

Mimo to, dopiero gdy dotarłem do wieku uniwersyteckiego, stała się moją pasją. Nie byłem jednym z tych dzieci, które zaczynały programować w szkole podstawowej. W młodości byłem zbyt zajęty grą w koszykówkę, aby zwracać uwagę na komputery. Po ukończeniu szkoły średniej, spędziłem około 5 lat w wojsku, w rolach operacyjnych i dowódczych. Tak więc, w pewnym sensie, dopiero gdy musiałem wybrać kierunek studiów, zacząłem się więcej uczyć o komputerowej nauce. To, co od razu przyciągnęło moją uwagę, to fakt, że komputerowa nauka łączy rozwiązywanie problemów i naukę języka (lub języków). Dwa rzeczy, które mnie szczególnie interesowały. Od tego momentu, byłem zaangażowany.

Od 2006 do 2008 roku pracowałeś nad mapami i nawigacją w małym startupie, jakie były Twoje najważniejsze wnioski z tego okresu?

Moja rola w Telmap polegała na budowaniu silnika wyszukiwania na podstawie map i danych lokalizacyjnych.

Były to bardzo wczesne dni “dużych danych” w przedsiębiorstwach. Nie nazywaliśmy tego wtedy tak, ale pozyskiwaliśmy ogromne zestawy danych i staraliśmy się wydobyć z nich najbardziej istotne i istotne informacje, aby je wyświetlić naszym użytkownikom końcowym.

Jednym z uderzających spostrzeżeń, które miałem, było to, że firmy (w tym nasza) wykorzystywały tak niewiele ze swoich danych (nie mówiąc już o publicznie dostępnych danych zewnętrznych). Był ogromny potencjał nowych informacji, lepszych procesów i doświadczeń.

Innym wnioskiem była świadomość, że aby uzyskać więcej danych, musimy mieć lepsze architektury, lepszą infrastrukturę itd.

Czy mógłbyś podzielić się historią powstania Mona Labs?

Trzej z nas, założyciele, byliśmy przez całe nasze kariery związani z produktami związanymi z danymi.

Nemo, dyrektor techniczny, to mój przyjaciel z college’u i jeden z pierwszych pracowników Google Tel Aviv. Stworzył tam produkt o nazwie Google Trends, który miał zaawansowaną analitykę i machine learning opartą na danych wyszukiwania. Itai, inny założyciel i dyrektor produktowy, był w zespole Nemo w Google (i spotkałem go przez Nemo). Obaj byli zawsze sfrustrowani tym, że systemy napędzane przez sztuczną inteligencję były pozostawiane bez nadzoru po początkowym rozwoju i testach. Pomimo trudności w właściwym testowaniu tych systemów przed produkcją, zespoły nadal nie wiedziały, jak dobrze ich modele predykcyjne radzą sobie w czasie.

W tym samym czasie, pracowałem jako konsultant w McKinsey & Co, i jedną z największych barier, które widziałem w programach AI i Big Data w dużych przedsiębiorstwach, była brak zaufania, jakie interesariusze biznesowi mieli do tych programów.

Wspólny wątek tutaj stał się jasny dla Nemo, Itai i mnie w rozmowach. Branża potrzebowała infrastruktury do monitorowania systemów AI/ML w produkcji. Wystąpiliśmy z wizją dostarczenia tej widoczności, aby zwiększyć zaufanie interesariuszy biznesowych i umożliwić zespołom AI zawsze mieć kontrolę nad tym, jak ich systemy działają i iterować bardziej wydajnie.

I to jest moment, kiedy powstała Mona.

Jakie są obecne problemy z brakiem przejrzystości AI?

W wielu branżach, organizacje już wydały dziesiątki milionów dolarów na swoje programy AI i osiągnęły pewne początkowe sukcesy w laboratoriach i w małych wdrożeniach. Ale skalowanie, osiąganie szerokiej akceptacji i uzyskanie zaufania biznesu, aby naprawdę polegać na AI, było ogromnym wyzwaniem dla prawie wszystkich.

Dlaczego tak się dzieje? Cóż, zaczyna się od faktu, że wielki badania nie automatycznie przekładają się na wielkie produkty (jeden z klientów powiedział nam: “Modele ML są jak samochody, w momencie, gdy opuszczają laboratorium, tracą 20% swojej wartości”). Wielkie produkty mają wspierające systemy. Są narzędzia i procesy, które zapewniają, że jakość jest utrzymana w czasie, i że problemy są wykrywane wcześnie i skutecznie rozwiązywane. Wielkie produkty mają również ciągłą pętlę informacji zwrotnej, mają cykl ulepszania i mapę drogową. W konsekwencji, wielkie produkty wymagają głębokiej i stałej przejrzystości wyników.

Gdy brakuje przejrzystości, kończy się na:

• Problemami, które pozostają ukryte przez jakiś czas, a potem wybuchają na powierzchni, powodując “pożary”
• Długimi i ręcznymi dochodzeniami i złagodzeniami
• Programem AI, który nie jest ufny przez użytkowników biznesowych i sponsorów, i ostatecznie nie udaje się skalować

Jakie są wyzwania związane z uczynieniem modeli predykcyjnych przejrzystymi i godnymi zaufania?

Przejrzystość jest ważnym czynnikiem w osiąganiu zaufania, oczywiście. Przejrzystość może przyjść w wielu formach. Jest przejrzystość pojedynczej predykcji, która może obejmować wyświetlanie poziomu ufności użytkownikowi lub dostarczanie wyjaśnienia/uzasadnienia predykcji. Przejrzystość pojedynczej predykcji jest skierowana głównie do pomocy użytkownikowi w poczuciu komfortu z predykcją. I jest przejrzystość ogólna, która może obejmować informacje o dokładności predykcji, nieoczekiwanych wynikach i potencjalnych problemach. Przejrzystość ogólna jest potrzebna przez zespół AI.

Najtrudniejszą częścią przejrzystości ogólnej jest wykrywanie problemów wcześnie, powiadamianie odpowiednich członków zespołu, aby mogli podjąć korygujące działania, zanim dojdzie do katastrof.

Dlaczego jest to trudne do wykrycia problemów wcześnie:

• Problemy często zaczynają się od małych i gotują, zanim ostatecznie wybuchną na powierzchni.
• Problemy często zaczynają się z powodu niekontrolowalnych lub zewnętrznych czynników, takich jak źródła danych.
• Istnieje wiele sposobów, aby “podzielić świat” i wyczerpująco szukać problemów w małych kieszeniach, co może skutkować dużym hałasem (zmęczeniem alarmów), przynajmniej, gdy jest to robione w naiwny sposób.

Innym wyzwaniem związanym z zapewnieniem przejrzystości jest ogromna proliferacja przypadków użycia AI. To sprawia, że podejście “jedna wielkość pasuje do wszystkich” jest prawie niemożliwe. Każdy przypadek użycia AI może obejmować różne struktury danych, różne cykle biznesowe, różne metryki sukcesu i często różne podejścia techniczne i nawet stosy.

To jest monumentalne zadanie, ale przejrzystość jest tak fundamentalna dla sukcesu programów AI, że trzeba to zrobić.

Czy mógłbyś podzielić się niektórymi szczegółami na temat rozwiązań dla modeli NLU / NLP i chatbotów?

Sztuczna inteligencja konwersacyjna jest jednym z podstawowych pionów Mona. Jesteśmy dumni, że wspieramy innowacyjne firmy z szerokim zakresem przypadków użycia sztucznej inteligencji konwersacyjnej, w tym modeli językowych, chatbotów i więcej.

Wspólnym czynnikiem we wszystkich tych przypadkach użycia jest to, że modele działają blisko (i czasami widocznie) z klientami, więc ryzyko niespójnego działania lub złego zachowania jest wyższe. Staje się tak ważne, aby zespoły sztucznej inteligencji konwersacyjnej zrozumiały zachowanie systemu na poziomie szczegółowym, co jest obszarem siły rozwiązania monitorującego Mona.

To, co rozwiązanie Mona robi, co jest dość unikalne, to systematyczne przesiewanie grup konwersacji i znajdowanie kieszeni, w których modele (lub boty) źle się zachowują. To pozwala zespołom sztucznej inteligencji konwersacyjnej na wykrycie problemów wcześnie, zanim klienci je zauważą. Ta funkcjonalność jest kluczowym czynnikiem decyzyjnym dla zespołów sztucznej inteligencji konwersacyjnej przy wyborze rozwiązań monitorujących.

Podsumowując, Mona zapewnia rozwiązanie end-to-end dla monitorowania sztucznej inteligencji konwersacyjnej. Rozpoczyna się od zapewnienia, że jest jeden źródło informacji o zachowaniu systemu w czasie, a następnie kontynuuje śledzeniem kluczowych wskaźników wydajności i proaktywnymi informacjami o kieszeniach złego zachowania – umożliwiając zespołom podjęcie prewencyjnych, wydajnych działań korygujących.

Czy mógłbyś zaoferować niektóre szczegóły na temat silnika insight Mona?

Oczywiście. Zaczniemy od motywacji. Celem silnika insight jest przedstawienie anomalii użytkownikom, z odpowiednią ilością kontekstowych informacji i bez tworzenia hałasu lub prowadzenia do zmęczenia alarmami.

Silnik insight jest jednym z najbardziej unikalnych workflow analitycznych. W tym workflow, silnik wyszukuje anomalie we wszystkich segmentach danych, umożliwiając wczesne wykrywanie problemów, gdy są one jeszcze “małe”, i zanim wpłyną na cały zestaw danych i wskaźniki biznesowe. Następnie używa własnej algorytmu do wykrycia przyczyn anomalii i upewnia się, że każda anomalie jest alarmowana tylko raz, aby uniknąć hałasu. Obsługiwane typy anomalii obejmują: anomalie szeregów czasowych, dryft, outsiders, degradację modelu i więcej.

Silnik insight jest wysoko konfigurowalny za pomocą intuicyjnej konfiguracji bez kodu/niskiego kodu Mona. Konfigurowalność silnika sprawia, że Mona jest najbardziej elastycznym rozwiązaniem na rynku, pokrywającym szeroki zakres przypadków użycia (np. partii i strumieni, z/bez informacji zwrotnej/ground truth, w różnych wersjach modelu lub między treningiem a inferencją i więcej).

Wreszcie, ten silnik insight jest wspierany przez pulpit nawigacyjny, w którym można wyświetlić informacje i zestaw narzędzi do badania, aby umożliwić analizę przyczynowo-skutkową i dalsze badanie kontekstowych informacji. Silnik insight jest w pełni zintegrowany z silnikiem powiadomień, który umożliwia dostarczanie informacji do środowiska pracy użytkownika, w tym poczty e-mail, platform współpracy i tak dalej.

31 stycznia, Mona ujawniła nowe rozwiązanie AI fairness, czy mógłbyś podzielić się z nami szczegółami na temat tej funkcjonalności i dlaczego jest ważna?

Sztuczna inteligencja fairness jest o tym, aby zapewnić, że algorytmy i systemy napędzane przez sztuczną inteligencję podejmują bezstronne i sprawiedliwe decyzje. Rozwiązywanie i zapobieganie stronniczościom w systemach AI jest kluczowe, ponieważ mogą one skutkować znaczącymi konsekwencjami w świecie rzeczywistym. Z rosnącą wyrazistością AI, wpływ na życie ludzi będzie widoczny w coraz to więcej miejscach, w tym w automatyzacji naszej jazdy, wykrywaniu chorób z większą dokładnością, poprawie naszego zrozumienia świata i nawet tworzeniu sztuki. Jeśli nie możemy ufać, że jest to sprawiedliwe i bezstronne, jak moglibyśmy pozwolić, aby nadal się rozprzestrzeniało?

Jedną z głównych przyczyn stronniczości w AI jest po prostu zdolność danych szkoleniowych do reprezentowania świata rzeczywistego w pełni. To może wynikać z historycznej dyskryminacji, niedoreprezentowania pewnych grup lub nawet zamierzonej manipulacji danymi. Na przykład, system rozpoznawania twarzy szkolony na danych osób o jasnej skórze ma większy wskaźnik błędów w rozpoznawaniu osób o ciemniejszej skórze. Podobnie, model językowy szkolony na danych tekstowych z wąskiego zakresu źródeł może rozwinąć stronniczości, jeśli dane są skierowane ku określonym punktom widzenia, na tematy takie jak religia, kultura itd.

Rozwiązanie AI fairness Mona daje zespołom AI i biznesowym pewność, że ich AI jest wolna od stronniczości. W regulowanych sektorach, rozwiązanie Mona może przygotować zespoły do gotowości do zgodności.

Rozwiązanie fairness Mona jest wyjątkowe, ponieważ znajduje się na platformie Mona – mostku między danymi AI i modelami a ich rzeczywistymi implikacjami. Mona patrzy na wszystkie części procesu biznesowego, który model AI obsługuje w produkcji, aby skorelować dane szkoleniowe, zachowanie modelu i rzeczywiste wyniki świata rzeczywistego, aby zapewnić najbardziej kompleksową ocenę fairness.

Po drugie, ma wyjątkowy silnik analityczny, który pozwala na elastyczną segmentację danych, aby kontrolować odpowiednie parametry. To umożliwia dokładne oceny korelacji w odpowiednim kontekście, unikając paradoksu Simpsona i zapewniając głęboki, prawdziwy “wynik stronniczości” dla każdego wskaźnika wydajności i każdej chronionej cechy.

W sumie, powiedziałbym, że Mona jest podstawowym elementem dla zespołów, które muszą budować i skalować odpowiedzialną AI.

Jaka jest Twoja wizja przyszłości sztucznej inteligencji?

To jest duże pytanie.

Myślę, że jest to proste do przewidzenia, że AI będzie nadal rosło w użyciu i wpływie na różne sektory przemysłu i aspekty życia ludzi. Jednakże, trudno jest poważnie traktować wizję, która jest szczegółowa i próbuje pokryć wszystkie przypadki użycia i implikacje AI w przyszłości. Ponieważ nikt naprawdę nie wie wystarczająco, aby wiarygodnie namalować ten obraz.

To, co wiemy na pewno, to to, że AI będzie w rękach więcej ludzi i będzie służyć więcej celom. Potrzeba zarządzania i przejrzystości będzie więc rosła znacząco.

Prawdziwa widoczność AI i tego, jak działa, odegra dwie podstawowe role. Po pierwsze, pomoże zbudować zaufanie u ludzi i zlikwiduje bariery oporu dla szybszej akceptacji. Po drugie, pomoże tym, którzy operują AI, upewnić się, że nie wyjdzie poza kontrolę.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Mona Labs.