Victor Thu, Prezes Datatron – Wywiad z serii

Victor Thu jest Prezesem Datatron, platformy, która pomaga przedsiębiorstwom wykorzystać możliwości uczenia maszynowego, przyspieszając wdrożenia, wykrywając problemy na wczesnym etapie i zwiększając wydajność zarządzania wieloma modelami na dużą skalę.

Twoje doświadczenie pochodzi z marketingu produktów, go-to-market i zarządzania produktem, jak to doświadczenie doprowadziło Cię do pracy z uczeniem maszynowym i sztuczną inteligencją?

Lubię technologię i niektórzy z moich bliskich przyjaciół nazywają mnie nawet „whispererem technologii”. Lubię brać skomplikowane tematy technologiczne i tłumaczyć je na język, który ludzie mogą zrozumieć, i uczyć się nowych technologii, aby zrozumieć „dlaczego” za technologiami, które najbardziej interesują ludzi.

Mój pierwszy kontakt z tym, co nazywam „nowoczesną sztuczną inteligencją”, miał miejsce, gdy słuchałem wykładu wybitnego profesora sztucznej inteligencji z Stanfordu, dr Fei-Fei Li. Wykład dr Li był tak zachwycający, że stał się punktem zwrotnym w mojej karierze. Postanowiłem, że chcę być częścią następnej fali technologicznej, w której wykorzystujemy sztuczną inteligencję i uczenie maszynowe do rozwiązywania problemów biznesowych.

Od tego czasu pracowałem z wieloma startupami z dziedziny sztucznej inteligencji i uczenia maszynowego, które wykorzystują tę technologię do rozwiązywania realnych problemów biznesowych. Pracowałem bardzo ściśle z naukowcami z tytułem doktora, którzy udzielili mi ogromnej wiedzy na temat sztucznej inteligencji i uczenia maszynowego. I nadal uczę się, ponieważ ten obszar rozwija się bardzo dynamicznie.

Więc to moja pasja do technologii i sposób, w jaki mogę ją wykorzystać, aby pomóc innym, doprowadziła mnie do pracy z sztuczną inteligencją i uczeniem maszynowym.

Datron koncentruje się na MLOps, dla czytelników, którzy nie znają tego terminu, mogłbyś opisać, co to jest?

MLOps to podstawowe uproszczenie i skodyfikowanie bardzo rzemieślniczego procesu przenoszenia modeli sztucznej inteligencji i uczenia maszynowego z fazy prototypu do produkcji.

Jednym z największych mitów jest to, że gdy naukowcy danych zbudują swoje modele sztucznej inteligencji, mogą je szybko wdrożyć w produkcji. W rzeczywistości może to potrwać nawet rok, zanim model może być wdrożony.

Głównym powodem tego opóźnienia jest to, że osoby, które mają doświadczenie w tworzeniu modeli, niekoniecznie mają doświadczenie w inżynierii oprogramowania. Dobrą analogią jest to, że architekci, którzy projektują wieżowce, nie są również osobami, które je budują.

MLOps to most pomiędzy twórcami modeli a inżynierią oprogramowania. Zamiast spędzać ponad 12 miesięcy na wdrożeniu modeli, MLOps może skrócić ten długi proces do zaledwie kilku dni.

W artykule, który napisałeś dla nas we wrześniu 2021 roku, omawiałeś, jak „Główną przeszkodą w wprowadzaniu rozwiązań do produkcji nie jest jakość modeli, ale raczej brak infrastruktury, która pozwala firmom to robić.” Dlaczego jest to tak duża przeszkoda dla większości firm?

Istnieją kilka czynników, które przyczyniają się do tego.

• Nadmierna romantyzacja „wolnego” oprogramowania open-source. Chcę najpierw podkreślić, że kochamy oprogramowanie open-source i mocno wierzymy, że pomogło ono przemysłowi posunąć się do przodu o duże kroki. Jednak wiele osób nie rozumie złożoności oprogramowania open-source w odniesieniu do sztucznej inteligencji i uczenia maszynowego. Dziś istnieje poważny brak talentów z dziedziny sztucznej inteligencji i uczenia maszynowego. Kiedy łączymy to z trudnościami w znalezieniu inżynierów oprogramowania (inżynierów sztucznej inteligencji lub MLOps), którzy wiedzą, jak radzić sobie z unikalnymi właściwościami kodów sztucznej inteligencji i uczenia maszynowego, a następnie oczekujemy, że zbudują platformę MLOps o skali przedsiębiorstwa, internalizując ponad 300 projektów MLOps open-source, to jest to recepta na porażkę.
• Brak infrastruktury do wspierania zespołów inżynierskich.Firmy potrzebują lepszego środowiska, aby zespoły inżynierskie mogły odnieść sukces. Musi być odpowiednia przepustowość i budżet, aby zapewnić zespołom odpowiednie narzędzia. Sztuczna inteligencja to stosunkowo nowa technologia. Przedsiębiorstwa, które ją wykorzystują, nie zawsze wiedzą, co muszą zrobić, aby szybko wdrożyć modele, dlatego MLOps jest tak ważnym narzędziem.

Jak korzystanie z MLOps rozwiązuje problem braku infrastruktury?

MLOps rozwiązuje problem braku infrastruktury na cztery sposoby:

1. Brak zmian w kodzie własnościowym: Naukowcy danych chcą mieć elastyczność, aby budować modele, które pasują do przypadków użycia biznesowych w ich środowiskach, dlatego każdy proces MLOps, który wymaga zmian w kodzie, komplikuje integralność ich modeli.
2. Automatyzacja/skryptowanie: Wiele zespołów skryptuje modele w sposób zhardenizowany, co zajmuje dużo czasu. MLOps automatyzuje cały ten proces, oszczędzając dużo czasu i energii.
3. Uproszczenie aktualizacji: Modele sztucznej inteligencji zmieniają się regularnie, aby dostosować się do ich środowiska. Czasami naukowcy danych muszą wrócić i zaktualizować modele często. Bez MLOps nie ma sposobu, aby uniknąć tego powtarzającego się aktualizowania.
4. Zarządzanie infrastrukturą podstawową: Aby wdrożyć modele, musisz obliczyć sieć i magazyn, co wymaga unikalnych właściwości modeli sztucznej inteligencji i uczenia maszynowego. Narzędzia MLOps mają możliwość korzystania z odpowiednich zasobów, aby je skalować odpowiednio.

Istnieją również wymagania przedsiębiorstw, które często nie są brane pod uwagę przy budowaniu własnych narzędzi MLOps, takie jak: kontrola dostępu oparta na rolach (RBAC), integracja i interoperacyjność, obsługa różnych narzędzi sztucznej inteligencji, rozwiązywanie luk w zabezpieczeniach i nieoczekiwane odejście kluczowych członków zespołu.

Jakie są Twoje osobiste poglądy na temat znaczenia zarządzania sztuczną inteligencją?

Było wiele opowieści o horrorach związanych z modelem sztucznej inteligencji, który nie działał prawidłowo, od błędnego oznaczania pewnych grup ludzi po powodowanie ogromnych strat finansowych dla spółek giełdowych.

Zarządzanie sztuczną inteligencją jest krytycznie ważne dla firm, które mają modele sztucznej inteligencji działające w produkcji. Z tym powiedzeniem, nie jest to nic innego niż inne zarządzanie IT lub biznesowe. Dziś, gdy Twoje IT działa aplikacjami w chmurze lub nawet w własnych centrach danych, mają szereg narzędzi, aby upewnić się, że aplikacje działają prawidłowo.

Gdy masz modele sztucznej inteligencji działające, musisz mieć mechanizmy i narzędzia, które pomogą biznesowi i naukowcom danych zrozumieć, co modele robią.

Szczególnie na tym wczesnym etapie rozwoju sztucznej inteligencji i uczenia maszynowego nie ma opcji „ustaw i zapomnij”. Na początku musisz monitorować, jak Twoje modele zachowują się, i wprowadzać odpowiednie zmiany. Posiadanie odpowiednich możliwości monitorowania, które mogą Cię powiadomić, gdy Twoje modele zachowują się poza pożądanymi granicami, jest kluczowe.

Zarządzanie ryzykiem modelu (MRM) musi również uwzględniać różne osoby zaangażowane w rozwój i wdrożenie modelu. Jakie kontrole dostępu masz, aby upewnić się, że integralność modeli jest zachowana? Czy masz mechanizmy, które uniemożliwiają osobom z różnych grup nieumyślne użycie Twoich modeli do przypadków użycia, dla których nie zostały one zaprojektowane? To wszystko pytania, które zespoły muszą zadać sobie.

Jak Datatron pomaga w zarządzaniu ryzykiem modelu?

MLOps umożliwia szybkie aktualizacje i zmiany modeli. Na przykład, jeśli model niesłusznie odrzuca ludzi w procesie ubiegania się o pożyczkę, MLOps pozwala Ci wycofać model i wprowadzić nowy, zarządzając tym ryzykiem w prosty sposób.

Chroni modele przed zjawiskiem bias drift i utrzymuje kluczowe wskaźniki podczas produkcji za pomocą prostego pulpitu, który prezentuje te wskaźniki za pomocą głębokich danych z poziomu ogólnego przeglądu, który może być łatwo zrozumiany przez osoby podejmujące decyzje biznesowe.

Platforma Datatron do zarządzania sztuczną inteligencją zapewnia poziom wyższy niż ogólne monitorowanie – zapewnia dodatkowy kontekst i logikę, która wyświetla wyraźną widoczność modeli, które są bardziej istotne dla przypadków użycia klienta.

W poście na blogu na Datatron opisałeś, jak Datatron przyjmuje dewizę Reliable AI ™. Czy mógłbyś opisać, co to jest Twoim zdaniem?

Gdy to wymyśliliśmy, pomyśleliśmy o tym, jak jesteśmy tak komfortowo latać w komercyjnych liniach lotniczych dzisiaj, ponieważ są one bardzo niezawodne.

Pomimo wszystkich tych rozmów o etycznej sztucznej inteligencji, odpowiedzialnej sztucznej inteligencji itp., kluczowa potrzeba jest taka, aby biznes mógł używać sztucznej inteligencji i uczenia maszynowego w sposób niezawodny – tak jak gdyby ich pracownicy wsiadali do komercyjnego samolotu.

Używanie terminów takich jak etyczna, odpowiedzialna sztuczna inteligencja wynika z faktu, że obecne modele sztucznej inteligencji nie robią tego, co powinny, i są więc uważane za niezawodne. Firmy nie chcą używać sztucznej inteligencji, ponieważ nie mają pewności, że ich modele nie są tendencyjne. Oznacza to, że ich modele są niezawodne, a Datatron jest zdeterminowany, aby to zmienić.

Czy jest coś jeszcze, co chciałbyś podzielić się na temat Datatron?

Jesteśmy jednym z nielicznych graczy MLOps, którzy są udowodnieni w sytuacjach o wysokim stresie, co nie jest typowe dla startupu lub narzędzia open-source. Klient, Domino’s Pizza, współpracuje z Datatron, aby łatwo i szybko wdrożyć modele sztucznej inteligencji w produkcji, które zostały następnie poddane ostatecznemu testowi podczas Super Bowl.

MLOps to naprawdę sposób, aby pomóc modelom sztucznej inteligencji i uczenia maszynowego wejść do produkcji, zachowując zasoby i zmniejszając koszty. Jesteśmy zrównoważonym źródłem udanych modeli sztucznej inteligencji i uczenia maszynowego i służymy jako katalizator dla przychodu. Firmy mogą w końcu uzyskać zwrot z inwestycji w sztuczną inteligencję i projekty uczenia maszynowego. Niezależnie od Twoich marż, możesz osiągnąć wyniki za pomocą MLOps.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Datatron.