Yotam Oren, CEO & Cofounder of Mona Labs – Wywiad z serii

Yotam Oren jest CEO & współzałożycielem Mona Labs, platformy, która umożliwia przedsiębiorstwom przekształcenie inicjatyw związanych z sztuczną inteligencją z eksperymentów laboratoryjnych w skalowalne operacje biznesowe, dzięki prawdziwemu zrozumieniu, jak modele ML zachowują się w rzeczywistych procesach i aplikacjach biznesowych.

Mona automatycznie analizuje zachowanie modeli machine learning w chronionych segmentach danych i w kontekście funkcji biznesowych, w celu wykrycia potencjalnych stronniczości AI. Mona oferuje możliwość generowania kompletnych raportów o uczciwości, które spełniają standardy branżowe i przepisy, oraz dają pewność, że aplikacja AI jest zgodna z prawem i pozbawiona stronniczości.

Co początkowo skłoniło Cię do zainteresowania się informatyką?

Informatyka jest popularnym kierunkiem studiów w mojej rodzinie, więc zawsze była dla mnie opcją. Oczywiście, kultura izraelska jest bardzo pro-technologiczna. Célébryjmy innowacyjnych technologów i zawsze miałem poczucie, że informatyka da mi możliwość rozwoju i osiągnięć.

Pomimo tego, dopiero gdy dotarłem do wieku uniwersyteckiego, stała się moją osobistą pasją. Nie byłem jednym z tych dzieci, które zaczęły programować w szkole podstawowej. W młodości byłem zbyt zajęty grą w koszykówkę, aby zwrócić uwagę na komputery. Po ukończeniu szkoły średniej spędziłem prawie 5 lat w wojsku, na stanowiskach operacyjnych i dowódczych. Więc w pewnym sensie dopiero wtedy zacząłem się uczyć o informatyce, kiedy musiałem wybrać kierunek studiów. To, co od razu zwróciło moją uwagę, to fakt, że informatyka łączy rozwiązywanie problemów i naukę języka (lub języków). Dwa rzeczy, które mnie szczególnie interesowały. Od tego momentu byłem zaangażowany.

Od 2006 do 2008 roku pracowałeś nad mapami i nawigacją dla małego startupu, jakie były Twoje najważniejsze wnioski z tego okresu?

Moja rola w Telmap polegała na budowaniu silnika wyszukiwania na podstawie danych mapowych i lokalizacyjnych.

Były to bardzo wczesne dni „dużych danych” w przedsiębiorstwach. Nie nazywaliśmy ich jeszcze w ten sposób, ale pozyskiwaliśmy ogromne zestawy danych i staraliśmy się wydobyć z nich najbardziej istotne i istotne informacje, aby je przedstawić naszym użytkownikom końcowym.

Jednym z uderzających spostrzeżeń, które miałem, było to, że firmy (w tym my) wykorzystywały tak niewiele ze swoich danych (nie mówiąc już o publicznie dostępnych danych zewnętrznych). Był ogromny potencjał nowych spostrzeżeń, lepszych procesów i doświadczeń.

Kolejnym wnioskiem było to, że aby uzyskać więcej danych, musieliśmy mieć lepsze architektury, infrastrukturę itd.

Czy mógłbyś podzielić się historią powstania Mona Labs?

Trzej z nas, współzałożyciele, byliśmy związani z produktami danych przez całe nasze kariery.

Nemo, dyrektor techniczny, to mój przyjaciel z college’u i klasa, i jeden z pierwszych pracowników Google (GOOGL ) Tel Aviv. Stworzył tam produkt o nazwie Google Trends, który miał zaawansowaną analitykę i machine learning oparty na danych wyszukiwania. Itai, inny współzałożyciel i dyrektor produktowy, pracował w zespole Nemo w Google (i poznałem go przez Nemo). Oboje byli zawsze sfrustrowani tym, że systemy napędzane przez AI były pozostawione bez nadzoru po początkowym rozwoju i testach. Pomimo trudności w właściwym testowaniu tych systemów przed produkcją, zespoły nadal nie wiedziały, jak dobrze ich modele predykcyjne radziły sobie w czasie. Co więcej, wydawało się, że jedynym momentem, kiedy słyszeli jakąś informację zwrotną o systemach AI, było to, gdy coś poszło nie tak i zespół rozwojowy został wezwany do „gaszenia pożarów”, aby naprawić katastrofalne problemy.

W tym samym czasie byłem konsultantem w McKinsey & Co, i jedną z największych barier, które widziałem dla programów AI i Big Data w dużych przedsiębiorstwach, była brak zaufania, jakim biznesowi stakeholderzy darzyli te programy.

Wspólny wątek tutaj stał się dla nas jasny w rozmowach. Branża potrzebowała infrastruktury do monitorowania systemów AI/ML w produkcji. Wystąpiliśmy z wizją dostarczenia tej widoczności, aby zwiększyć zaufanie biznesowych stakeholderów i umożliwić zespołom AI zawsze mieć kontrolę nad tym, jak ich systemy się mają, i iterować bardziej wydajnie.

I tak powstało Mona.

Co to są obecne problemy z brakiem przejrzystości AI?

W wielu branżach organizacje już wydały dziesiątki milionów dolarów na swoje programy AI i osiągnęły pewien wstępny sukces w laboratoriach i w małych wdrożeniach. Ale skalowanie, osiąganie szerokiej akceptacji i uzyskanie zaufania biznesu, aby naprawdę polegać na AI, było ogromnym wyzwaniem dla prawie wszystkich.

Dlaczego tak się dzieje? To zaczyna się od faktu, że wspaniałe badania niekoniecznie automatycznie przekładają się na wspaniałe produkty (jeden z klientów powiedział nam: „Modele ML są jak samochody, w momencie, gdy opuszczają laboratorium, tracą 20% swojej wartości”). Wspaniałe produkty mają wspierające systemy. Są narzędzia i procesy, które zapewniają, że jakość jest utrzymana w czasie, i że problemy są wykrywane wcześnie i skutecznie rozwiązywane. Wspaniałe produkty mają również ciągłą pętlę informacji zwrotnej, mają cykl poprawy i mapę drogową. W związku z tym wspaniałe produkty wymagają głębokiej i stałej przejrzystości wyników.

Gdy brakuje przejrzystości, kończy się na:

• Problemami, które pozostają ukryte przez jakiś czas, a potem wybuchają na powierzchni, powodując „gaszenie pożarów”
• Długimi i ręcznymi dochodzeniami i łagodzeniami
• Programem AI, który nie jest ufny przez użytkowników biznesowych i sponsorów, i ostatecznie nie udaje się skalować

Co to są niektóre wyzwania związane z uczynieniem modeli predykcyjnych przejrzystymi i godnymi zaufania?

Przejrzystość jest ważnym czynnikiem w osiąganiu zaufania, oczywiście. Przejrzystość może przyjść w wielu formach. Jest przejrzystość pojedynczej predykcyjności, która może obejmować wyświetlanie poziomu ufności użytkownikowi lub dostarczanie wyjaśnienia/uzasadnienia predykcyjności. Przejrzystość pojedynczej predykcyjności jest skierowana głównie do pomocy użytkownikowi w poczuciu komfortu z predykcyjnością. I jest przejrzystość ogólna, która może obejmować informacje o dokładności predykcyjnej, nieoczekiwanych wynikach i potencjalnych problemach. Przejrzystość ogólna jest potrzebna przez zespół AI.

Najtrudniejszą częścią przejrzystości ogólnej jest wykrywanie problemów wcześnie, powiadamianie odpowiedniego członka zespołu, aby mogli podjąć skuteczne działania, zanim dojdzie do katastrof.

Dlaczego wykrywanie problemów wcześnie jest tak trudne:

• Problemy często zaczynają się od małych i gotują, zanim ostatecznie wybuchną na powierzchni.
• Problemy często zaczynają się z powodu niekontrolowalnych lub zewnętrznych czynników, takich jak źródła danych.
• Istnieje wiele sposobów „podziału świata” i wyczerpujące poszukiwanie problemów w małych kieszeniach może skutkować dużą ilością hałasu (zmęczenie alarmem), przynajmniej gdy jest to podejście naiwne.

Innym wyzwaniem związanym z zapewnieniem przejrzystości jest ogromna proliferacja przypadków użycia AI. To sprawia, że podejście „one-size-fits-all” jest niemal niemożliwe. Każdy przypadek użycia AI może obejmować różne struktury danych, różne cykle biznesowe, różne wskaźniki sukcesu i często różne podejścia techniczne i nawet stosy.

Więc to jest monumentalne zadanie, ale przejrzystość jest tak podstawowa dla sukcesu programów AI, że trzeba to robić.

Czy mógłbyś podzielić się niektórymi szczegółami na temat rozwiązań dla modeli NLU / NLP i chatbotów?

AI konwersacyjna jest jednym z głównych pionów Mona. Jesteśmy dumni, że wspieramy innowacyjne firmy z szerokim zakresem przypadków użycia AI konwersacyjnej, w tym modeli językowych, chatbotów i więcej.

Wspólnym czynnikiem wszystkich tych przypadków użycia jest to, że modele te działają blisko (i czasem widocznie) dla klientów, więc ryzyko niekonsekwentnego działania lub złego zachowania jest wyższe. Staje się tak ważne dla zespołów AI konwersacyjnej, aby zrozumieć zachowanie systemu na poziomie szczegółowym, co jest obszarem siły rozwiązania monitorującego Mona.

To, co rozwiązanie Mona robi w sposób unikalny, to systematyczne przesianie grup konwersacji i znajdowanie kieszeni, w których modele (lub boty) źle się zachowują. To pozwala zespołom AI konwersacyjnej na wykrywanie problemów wcześnie i zanim klienci je zauważą. Ta funkcja jest krytycznym czynnikiem decyzyjnym dla zespołów AI konwersacyjnej przy wyborze rozwiązań monitorujących.

Podsumowując, Mona dostarcza rozwiązanie end-to-end dla monitorowania AI konwersacyjnej. Zaczyna się od zapewnienia, że jest jeden źródło informacji o zachowaniu systemu w czasie, a kończy na ciągłym śledzeniu wskaźników wydajności i proaktywnych spostrzeżeń o kieszeniach złego zachowania – umożliwiając zespołom podjęcie skutecznych działań.

Czy mógłbyś zaproponować niektóre szczegóły na temat silnika spostrzeżeń Mona?

Oczywiście. Zacznijmy od motywacji. Celem silnika spostrzeżeń jest ujawnienie anomalii użytkownikom, z odpowiednią ilością kontekstowych informacji i bez tworzenia hałasu lub prowadzenia do zmęczenia alarmem.

Silnik spostrzeżeń to unikalny workflow analityczny. W tym workflow silnik wyszukuje anomalie we wszystkich segmentach danych, umożliwiając wczesne wykrywanie problemów, zanim jeszcze wpłyną na cały zestaw danych i wskaźniki KPI biznesowe. Następnie używa własnego algorytmu do wykrycia przyczyn anomalii i upewnia się, że każda anomalia jest alarmowana tylko raz, aby uniknąć hałasu. Obsługiwane typy anomalii obejmują: anomalie szeregów czasowych, dryft, odstępstwa, degradację modelu i więcej.

Silnik spostrzeżeń jest wysoko konfigurowalny za pomocą intuicyjnej konfiguracji bez kodu/małego kodu Mona. Konfigurowalność silnika sprawia, że Mona jest najbardziej elastycznym rozwiązaniem na rynku, pokrywającym szeroki zakres przypadków użycia (np. partia i strumieniowa, z/bez informacji zwrotnej biznesu/podstawy, w różnych wersjach modelu lub między treningiem a inferencją itp.).

Na koniec ten silnik spostrzeżeń jest wspierany przez pulpity wizualizacyjne, w których spostrzeżenia mogą być wyświetlane, oraz zestaw narzędzi do badania, aby umożliwić analizę przyczynowo-skutkową i dalsze badanie kontekstowych informacji. Silnik spostrzeżeń jest również w pełni zintegrowany z silnikiem powiadomień, który umożliwia karmienie spostrzeżeń w środowiskach pracy użytkowników, w tym e-mail, platformy współpracy itp.

31 stycznia Mona przedstawiła nowe rozwiązanie AI Fairness, czy mógłbyś podzielić się z nami szczegółami na temat tej funkcji i dlaczego jest ważna?

Sprawiedliwość AI dotyczy zapewnienia, że algorytmy i systemy napędzane przez AI podejmują bezstronne i sprawiedliwe decyzje. Rozwiązywanie i zapobieganie stronniczościom w systemach AI jest kluczowe, ponieważ mogą one skutkować znaczącymi konsekwencjami w świecie rzeczywistym. Z rosnącą popularnością AI wpływ na życie ludzi będzie widoczny w coraz to nowych miejscach, w tym w automatyzacji jazdy, wykrywaniu chorób, lepszego zrozumienia świata i nawet tworzeniu sztuki. Jeśli nie możemy im zaufać, że są sprawiedliwe i bezstronne, jak moglibyśmy pozwolić im dalej się rozwijać?

Jedną z głównych przyczyn stronniczości w AI jest po prostu zdolność danych szkoleniowych do odzwierciedlenia świata rzeczywistego w pełni. To może wynikać z historycznej dyskryminacji, niedoreprezentacji pewnych grup lub nawet celowego manipulowania danymi. Na przykład system rozpoznawania twarzy, szkolony na danych osób o jasnej skórze, może mieć wyższy wskaźnik błędów w rozpoznawaniu osób o ciemniejszej skórze. Podobnie model językowy, szkolony na danych tekstowych z wąskiego zakresu źródeł, może rozwinąć stronniczości, jeśli dane są nachylone ku określonym punktom widzenia, na tematy takie jak religia, kultura itp.

Rozwiązanie AI Fairness Mona daje zespołom AI i biznesowym pewność, że ich AI jest pozbawiona stronniczości. W regulowanych sektorach rozwiązanie Mona może przygotować zespoły do gotowości do zgodności.

Rozwiązanie AI Fairness Mona jest wyjątkowe, ponieważ znajduje się na platformie Mona – mostku między danymi AI i modelami a ich rzeczywistymi implikacjami. Mona patrzy na wszystkie części procesu biznesowego, któremu służy model AI w produkcji, aby skorelować dane szkoleniowe, zachowanie modelu i rzeczywiste wyniki w świecie rzeczywistym, aby dostarczyć najbardziej kompleksową ocenę sprawiedliwości.

Po drugie, ma unikalny silnik analityczny, który pozwala na elastyczną segmentację danych, aby kontrolować odpowiednie parametry. To umożliwia dokładne oceny korelacji w odpowiednim kontekście, unikając paradoksu Simpsona i dostarczając głęboki, prawdziwy „wynik stronniczości” dla każdego wskaźnika wydajności i każdej chronionej cechy.

Więc ogólnie powiedziałbym, że Mona jest podstawowym elementem dla zespołów, które muszą budować i skalować odpowiedzialny AI.

Jaka jest Twoja wizja przyszłości AI?

To jest duże pytanie.

Myślę, że jest proste przewidzieć, że AI będzie nadal rosło w użyciu i wpływie na różne branże i aspekty życia ludzi. Jednak trudno poważnie potraktować wizję, która jest szczegółowa i próbuje pokryć wszystkie przypadki użycia i implikacje AI w przyszłości. Ponieważ nikt naprawdę nie wie wystarczająco, aby wiarygodnie nakreślić ten obraz.

To, co wiemy na pewno, to to, że AI będzie w rękach więcej ludzi i będzie służyć więcej celom. Potrzeba rządzenia i przejrzystości zwiększy się znacznie.

Prawdziwa widoczność AI i tego, jak działa, odegra dwie główne role. Po pierwsze, pomoże zbudować zaufanie u ludzi i podniesie bariery oporu dla szybszej adopcji. Po drugie, pomoże tym, którzy operują AI, upewnić się, że nie wyjdzie spod kontroli.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Mona Labs.