Pablo Ormachea, VP of Data at Motus – Wywiad

Pablo Ormachea, VP of Data at Motus, buduje systemy sztucznej inteligencji i analityki przedsiębiorstw, które są zaprojektowane, aby działać szybko, jednocześnie spełniając wymagania regulacyjne i finansowe. Lideruje w pełni zdalnymi, międzyfunkcyjnymi zespołami i koncentruje się na systemach podejmowania decyzji opartych na dowodach, które poprawiają retencję, zwiększają marże i dostarczają wymierne ROI. W Motus, zmodernizował analitykę dla ponad 350 000 kierowców, osiągając 60-krotnie szybsze raportowanie bez awarii, i dostarczył systemy AI/ML, w tym wykrywanie anomalii i prognozowanie churnu, które zaoszczędziły klientom miliony. Współautorem ram zarządzania AI w Motus, umożliwiających bezpieczne eksperymentowanie z LLM, z wyraźnymi ustawieniami domyślnymi, silną audytowalnością i spójną logiką biznesową w całym stosie danych.

Motus to firma zajmująca się zarządzaniem mobilnością i oprogramowaniem dla zarządzania pracownikami, która pomaga organizacjom zarządzać zwrotem kosztów za użytkowanie pojazdów, śledzić przebieg i operacje mobilne. Ich platforma w chmurze automatyzuje programy zwrotu kosztów opodatkowanych, dostarcza raporty i informacje w czasie rzeczywistym, oraz pomaga przedsiębiorstwom redukować koszty, poprawiać produktywność i zarządzać zgodnością z przepisami dla pracowników, którzy jeżdżą jako część swojej pracy.

Zbudowałeś wyjątkową karierę na przecięciu inżynierii AI, strategii danych i regulacji — od Harvard Law do kierowania danymi i AI w Motus. Jakie kluczowe doświadczenia ukształtowały Twoje podejście do budowy systemów AI, które są zarówno zaawansowane technicznie, jak i zgodne ze ścisłymi ramami regulacyjnymi?

Nauczyłem się wcześnie traktować zgodność jako ograniczenie inżynierskie, a nie prawnicze. Jeśli zbudujesz autostradę, możesz jeździć z prędkością autostradową. Jeśli udajesz, że jest to droga gruntowa i przyspieszasz, nie poruszasz się szybciej. Po prostu wcześniej ulegasz wypadkowi.

Harvard Law pomógł w zaskakujący sposób, ponieważ system common law jest podstawą nauki opartej na resztach. Reguła spotyka się z rzeczywistością. Przypadki brzegowe ujawniają, gdzie zawodzi. Doktryna udoskonala.

To samo podejście mentalne stosuję w przypadku AI w produkcji. Każda reszta jest darem. Mówi ci, gdzie twoje założenia odbiegają od świata rzeczywistego i daje ci konkretną ścieżkę do udoskonalenia systemu.

Optymalizuję więc dwie rzeczy jednocześnie: prędkość wysyłki i ciężar dowodu. Celem nie jest „innowacja versus zgodność”. Celem jest budowanie systemów, które mogą działać szybko i jednocześnie odpowiadać na pytanie „Jak to wiesz?” w sposób klarowny i powtarzalny.

Współautorem polityki zarządzania AI w Motus, która uprościła procesy zatwierdzania, jednocześnie utrzymując silne kontrole. Jakie zasady kierowały Tobą przy projektowaniu tej polityki, i jak balansujesz prędkość innowacji z gotowością do audytu?

Nie postanowiliśmy napisać reguł. Stworzyliśmy mapę. Kiedy rozpoczyna się adopcja AI, zainteresowanie pochodzi z każdej strony, a prędkość może przerodzić się w hałas, lub co gorsza, odpowiedzialność. Pierwszym zadaniem jest więc klarowność: gdzie LLM może działać, a gdzie nie, jakie dane pozostają ściśle wewnątrz, i jakie eksperymenty są dozwolone w bezpiecznym pasie.

Równowaga wynika z tego, że łatwa ścieżka jest również bezpieczną ścieżką. Zarządzanie nie powinno być komitetem. Powinno być domyślnym stanem: zatwierdzone narzędzia, wyraźne granice danych, standardowe logowanie i szybka ścieżka zatwierdzania dla przypadków brzegowych. Celem jest to, aby budowniczowie nie musieli negocjować bezpieczeństwa za każdym razem, gdy wysyłają coś nowego.

Następnie gotowość do audytu staje się produktem ubocznym. Nie musisz się spieszyć, aby zgromadzić dowody po fakcie, ponieważ system generuje dowody, gdy działa.

Powiedziałeś, że praktyki AI powinny spełniać „nawet IRS poziom kontroli”. Czy możesz podzielić się przykładem, w którym rozważania regulacyjne bezpośrednio wpłynęły na techniczne decyzje AI lub ML w Motus?

W regulowanych procesach roboczych pytanie nie brzmi tylko „czy model jest dokładny?”. To „czy możesz pokazać swoją pracę później?”. To rzeczywistość kształtuje to, co „dobrze” wygląda w Motus.

To zmienia wybory projektowe. Dla pewnych przypadków używamy podejść, które są wyjaśnialne, odtwarzalne i łatwe do audytu. Czasem oznacza to prostsze rodziny modeli. Często oznacza to deterministyczne barierki ochronne, wersjonowane funkcje i logowanie wejść i wyjść w sposób, który wspiera prawdziwe odtwarzanie.

Konkretny przykład: kiedy zaktualizowaliśmy części logiki zwrotu kosztów i raportowania, naprawdę staraliśmy się, aby system mógł odpowiedzieć na żądanie, jaka reguła została uruchomiona, jakie dane zostały użyte, jaka wersja była uruchomiona, i co zmieniłoby wynik. To uczyniło składniki AI bardziej użytecznymi, i uczyniło cały proces roboczy łatwiejszym do obrony.

Zwrot z tego jest kumulatywny. Kiedy możesz odtworzyć zachowanie i rozciąć błędy, reszty przestają być tajemnicze. Stają się zaplanowanym backlogiem: co się nie powiodło, gdzie, dlaczego, i jaka zmiana zamyka lukę.

Motus działa rozwiązania dla zwrotu kosztów i ograniczania ryzyka, które muszą spełniać wymagania IRS i innych regulacji. Jak AI poprawia zgodność i dokładność w tych przypadkach użycia przedsiębiorstw?

AI pomaga na dwa sposoby: redukuje tarcie ręczne i wzmacnia obronność.

W przypadku zwrotu kosztów wartość nie leży tylko w automatyzacji, lecz w spójności. AI może pomóc w klasyfikacji podróży, wykrywaniu anomalii i wcześniejszym ujawnianiu brakujących informacji, co redukuje późniejsze uzgodnienia. Nikt nie chce, aby zwrot kosztów stał się miesięcznym projektem archeologicznym. Korzyść zgodności pochodzi z lepszych pomiarów i lepszej dokumentacji. Wspierasz wyniki klarownym zapisem, zamiast polegać na późniejszym odtworzeniu.

W przypadku ryzyka AI jest użyteczna, ponieważ punktowe kontrole nie są wystarczające. Przedsiębiorstwa chcą ciągłej świadomości tego, co się zmieniło, co wygląda nie tak, i co wymaga uwagi. Najlepsze systemy AI tutaj nie są dramatyczne. Są ciche, spójne i mierne.

Prowadzenie zespołów zdalnych, międzyfunkcyjnych, które współpracują z Prawem, Bezpieczeństwem, Finansami i Produktem nie jest łatwym zadaniem. Jakie są największe wyzwania, z którymi się zetknąłeś, próbując wyalignować te grupy wokół inicjatyw danych i AI?

Najtrudniejszą częścią jest to, że każda grupa jest racjonalna i optymalizuje różne ryzyka.

Bezpieczeństwo martwi się o narażenie. Prawo martwi się o obronność. Finanse martwią się o koszt i przewidywalność. Produkt martwi się o prędkość i wartość dla klienta. Danych i inżynierii martwią się o wykonalność i niezawodność. Jeśli traktujesz te agendy jako konkurencyjne, zatrzymujesz się.

Rozwiązaniem jest wspólny język i klarowne ścieżki. Wyrównujemy decyzję, definiujemy granice i zgadzamy się, co „dobrze” wymaga dowodu. Następnie budujemy domyślne ustawienia, aby większość pracy mogła się odbywać bez ceremonii.

Stwierdziłem, że klarowność bije przekonywanie. Kiedy ludzie mogą zobaczyć mapę, wyrównanie staje się znacznie łatwiejsze.

Wprowadziłeś znaczące poprawy wydajności — jak 60-krotnie szybsze raportowanie dla ponad 350 000 kierowców i miliony oszczędności dla klientów. Jak decydujesz, które projekty AI/ML mają pierwszeństwo zarówno pod względem taktycznego wpływu, jak i strategicznej wartości?

Priorytetuję projekty, które spełniają trzy testy.

Po pierwsze, muszą one zmienić realną decyzję lub proces roboczy, a nie tylko wyprodukować inteligentny wynik. Jeśli wynik nie zmienia zachowania w sposób niezawodny, to jest to demo, a nie produkt.

Po drugie, muszą one być mieralne. Moi dziadkowie mawiali „dobrze zmierzone jest połową zrobione”. W regulowanych środowiskach jest to więcej niż połowa. Jeśli nie możemy zdefiniować sukcesu, trybów błędów i monitorowania na początku, oznacza to, że nie rozumiemy jeszcze pracy.

Po trzecie, muszą one być bronione podczas kontroli. To obejmuje pochodzenie danych, granice dostępu i możliwość wyjaśnienia i odtworzenia wyników.

Kiedy projekt spełnia te testy, tendencja jest taka, że tworzy zarówno taktyczne zwycięstwa, jak i strategiczne kumulowanie. W Motus to właśnie w ten sposób dostarczyliśmy przełomowe poprawy, w tym znacznie szybsze raportowanie w skali, mniej wyjątków i automatyzację, która przekłada się na prawdziwe oszczędności czasu dla klientów.

Ufność i wyjaśnialność są kluczowe dla przyjęcia AI w przedsiębiorstwach. Jak Twoja drużyna zapewnia, że modele są interpretowalne i godne zaufania dla interesariuszy w całych jednostkach biznesowych?

Ufność pochodzi z klarowności, spójności i systemu, który może wyjaśnić samego siebie pod presją.

Projektujemy systemy z przyciskiem odtwarzania. Te same dane wejściowe, ta sama wersja, ten sam wynik, plus ślad dowodowy tego, co się zmieniło w czasie. Robimy również reszty widocznymi. Każdy błąd jest informacją. Jeśli odpowiednio zinstrumentujesz błędy, możesz wyjaśnić zachowanie w zwykłym języku i poprawić je w sposób zdyscyplinowany.

Kiedy decyzja ma ekspozycję audytową,偏iamy się ku prostszym modelom plus silnemu pomiarowi nad złożoną nieprzezroczystością. Praktycznie oznacza to klarowne definicje danych, ocenę, która rozdziela wyniki według znaczących segmentów, monitorowanie dryfu i udokumentowany proces zmian. Interesariusze nie potrzebują każdego technicznego szczegółu. Potrzebują ufności, że system jest zmierzony, ograniczony i poprawiający się.

W środowiskach przedsiębiorstw wyjaśnialność nie jest filozoficzną preferencją. Jest wymogiem dla przyjęcia, i ma znaczenie, kiedy klienci muszą wytrzymać przyszłe audyty.

Od rurociągów danych zgodnych z HIPAA do raportowania zgodnego z IRS, Motus kładzie nacisk na bezpieczne, skalowalne AI. Jakie najlepsze praktyki polecisz innym liderom AI, którzy pracują w regulowanych branżach?

Kilka zasad, które się sprawdzają:

• Traktuj zgodność jako autostradę. Zbuduj utwardzone drogi, aby zespoły mogły poruszać się szybko bezpiecznie.
• Definiuj granice wcześnie. Bądź wyraźny co do tego, jakie dane nie mogą opuścić, jakie narzędzia są zatwierdzone, i gdzie modele mogą działać.
• Automatyzuj dowody. Ustaw logowanie, pochodzenie i wersjonowanie jako domyślne, a nie gonienie podczas audytu.
• Mierź przed skalowaniem. Dobrze zmierzone jest połową zrobione. Nie możesz poprawić tego, czego nie widzisz.
• Operacjonalizuj reszty. Zamień błędy w taksonomię błędów i zaplanowany backlog poprawy.
• Projektuj z myślą o przyjęciu. Wspaniałe modele są częściowo statystyką, częściowo partnerstwem i w dużej mierze zarządzaniem zmianą.

Jeśli Twoje zarządzanie żyje w PDF, nie będzie skalowalne. Jeśli żyje w systemie, będzie.

Z Motus na czele rozwiązań dla zwrotu kosztów i ryzyka, jak widzisz ewolucję AI w tym obszarze w ciągu najbliższych 3-5 lat?

Oczekuję dwóch dużych zmian, i one wzajemnie się wzmacniają.

Po pierwsze, ryzyko przesunie się z okresowych kontroli do ciągłych, decyzyjnych sygnałów. Dziś większość organizacji dowiaduje się o ryzyku kierowców zbyt późno, albo po incydencie, albo po kontroli punktowej. Następna fala to systemy, które wcześniej i bardziej precyzyjnie sygnalizują ryzyko, używając wzorców już obecnych w operacjach: zmiany w kwalifikowalności, luki w pokryciu, niezwykłe wzory przebiegu i nieścisłości między oczekiwanym a obserwowanym zachowaniem. Celem nie jest zastąpienie osądu. Jest to dostarczenie bezpieczeństwu, HR, finansom i operacjom wyraźniejszej wczesnej sygnalizacji, z mniej fałszywymi alarmami i lepszą dokumentacją, dlaczego coś zostało zasygnowane.

Po drugie, zwrot kosztów przesunie się z dokumentacji do procesu. Przedsiębiorstwa nadal tracą dużo czasu na zgłoszenia, poprawki, zatwierdzenia i późniejsze czyszczenie. W ciągu najbliższych kilku lat oczekuję większej automatyzacji w całym cyklu zwrotu kosztów: wypełniania tego, co można wypełnić, wykrywania brakujących lub nieścisłych danych wcześniej, kierowania wyjątków do odpowiedniej osoby zatwierdzającej z kontekstem i redukowania ręcznego powrotu. Zrobione dobrze, to sprawia, że zwrot kosztów jest szybszy i bardziej broniony, ponieważ ślad dowodowy jest generowany jako część procesu, a nie odtwarzany później.

To, co sprawia, że jest to ekscytujące, to sposób, w jaki się łączą, gdy podstawa jest prawidłowa. Kiedy granice są klarowne, a reszty są widoczne, otrzymujesz kompilującą pętlę: mniej wyjątków, czystsze zgłoszenia, szybsze zatwierdzenia, lepsze sygnały ryzyka i klarowny zapis, jak decyzje były podejmowane.

Przyszłość nie jest „AI wszędzie”. To AI wbudowany w odpowiednie momenty, z silnymi pomiarami i pętlami sprzężenia, które nieustannie się poprawiają.

Na podstawie Twojej drogi przez prawo, neurologię, statystykę i stosowaną AI, jakie wskazówki dałbyś młodym profesjonalistom, którzy aspirują do prowadzenia danych i AI w złożonych środowiskach biznesowych?

Nauka budowania systemów, a nie tylko modeli. Innymi słowy, buduj autostradę, zinstrumentuj błędy i trzymaj mapę aktualizowaną.

Zbliż się do ludzi, którzy żyją wynikiem. Operatorzy pierwszej linii często widzą sygnały przed twoimi danymi. Ich opinia nie jest „anegdotyczna”. Często jest to brakujący zestaw funkcji.

Rozwijaj komfort z pomiarem i pokorą wobec błędu. Reszty są darami, jeśli jesteś skłonny słuchać. W regulowanych środowiskach dodaj dyscyplinę ciężaru dowodu: bądź w stanie wyjaśnić, co zbudowałeś, dlaczego zachowywało się w taki sposób i co zrobisz, gdy się zmieni.

W końcu pamiętaj, że przyjęcie jest częścią pracy. Zarządzanie zmianą nie jest miękkim dodatkiem. Jest to podstawowy wymóg, jeśli chcesz, aby Twoje AI było używane. To oznacza, że nie wystarczy być silnym w danych, modelach i algorytmach. Musisz pracować dobrze w całych jednostkach biznesowych, zdobywać zaufanie i nawigować ludzką ścieżką, która zmienia dobry model w rzeczywistą zdolność. Jeśli potrafisz to zrobić, nie tylko zbudujesz modele, ale także zbudujesz zaufanie.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Motus.