Przenoszenie projektów Machine Learning z eksperymentowania do wdrożenia

W ostatnich miesiącach wydaje się, że agentic AI jest w centrum uwagi przedsiębiorstw. Przedsiębiorstwa są podekscytowane, aby używać go do automatyzacji zadań, orchestracji workflow i interakcji z systemami i klientami. Ale machine learning (ML), agentic AI’s zaniedbany starszy brat, zasługuje na uwagę za jego krytyczną rolę w umożliwieniu AI agentic workflow, aby wyjść poza statyczne reguły.

W wielu przypadkach użycia ML może dostarczyć predykcje, klasyfikacje, rekomendacje i oceny ryzyka, które pomagają agentom AI zdecydować, jakie działanie wykonać następnie. Na przykład, jeśli używasz agenta AI do odpowiedzi na zapytania klientów, ML może poinformować agenta o sygnałach, że klient może wkrótce zrezygnować, co wyzwala odpowiednie przepływy wiadomości.

Jednak wiele organizacji ma trudności z wdrożeniem projektów ML, które są uważane za podstawowe, a ten opóźnienie utrudnia im osiągnięcie sukcesu w AI agentic. Wskaźniki niepowodzeń projektów ML sięgają nawet 85% według niektórych branżowych benchmarków.

Wiele zespołów nie wie, od czego zacząć wdrażanie machine learning, jak podejść do koncepcji eksperymentu ML w sposób, który będzie można wdrożyć na dużą skalę, lub jak zaangażować odpowiednich stakeholderów w projekcie. W tym artykule podzielę się kilkoma wskazówkami, aby ustawić projekty ML na maksymalne szanse powodzenia.

Dlaczego tak wiele projektów ML nie udaje się uruchomić?

Istnieją dwa główne powody słabych wskaźników sukcesu projektów ML: albo przypadek użycia nie jest rozważany z odpowiedniej perspektywy, albo stakeholderzy nie są zaangażowani i torpedują pomysł.

Te powody zwykle idą w parze. Machine learning wymaga starannej obsługi, aby osiągnąć dobre wyniki. Jednocześnie wiele osób w świecie biznesu jest sceptykami, którzy boją się zmian, nieufnie podchodzą do machine learning lub ogólnie chcą odsunąć Twój projekt.

Jeśli nie ustawisz swojego pilota w sposób rygorystyczny, nie zdobędziesz wsparcia w swojej organizacji. Sukces ML wymaga zajęcia się szczegółami.

Czy szatan tkwi w szczegółach?

Modele ML są zaprojektowane do rozwiązywania konkretnych, powtarzających się problemów, które są wąsko zdefiniowane, takich jak predykcja churnu klientów, wykrywanie oszustw lub prognozowanie popytu. Nie są one zaprojektowane do zrozumienia szerokiego kontekstu lub wykonywania wielu zadań, ale wiele projektów ML ma wielkie ambicje i ogólne cele, takie jak “poprawienie tego departamentu”.

To sprawia, że jest ważne ustawić odpowiednie przypadki testowe, które przekonają sceptyków do champions. Udany pilot daje Ci analizę danych, którą potrzebujesz do prowadzenia AI agentic i podejmowania decyzji biznesowych, a także dowodzi wartości biznesowej.

Dla większości organizacji główną przeszkodą jest znalezienie odpowiedniego przypadku testowego. Pomysł eksperymentu musi być zarówno konkretny, jak i istotny dla celów biznesowych. Na przykład, analiza transakcji w celu identyfikacji możliwych oszustw lub decyzja, kiedy zaplanować konserwację dla różnych typów maszyn.

Oto cztery pytania, które należy zadać, aby przerwać trudności i znaleźć odpowiedni przypadek użycia, który pomoże w przyjęciu ML.

Jakie są stawki?

Pierwszą sprawą jest to, jak dużo miejsca masz na popełnienie błędów, ponieważ Twoja tolerancja na błędy jest przynajmniej tak ważna jak wydajność modelu. Różne przypadki użycia mają różne konsekwencje, gdy model popełnia błędy, co wpływa na to, jak są one odpowiednie do wdrożenia.

Gdy koszt błędów jest niższy, masz więcej miejsca do eksperymentowania z logiką modelu. Na przykład, model rekomendujący oferty marketingowe dla różnych grup może mieć niższy stopień dokładności niż ten, który prowadzi opiekę medyczną.

Najlepiej jest zacząć od przypadków użycia o niskim ryzyku i wysokiej wartości, które dotyczą obszarów, w których błędy można łatwo skorygować, a konsekwencje błędów są ograniczone. Im większe ryzyko biznesowe, regulacyjne lub reputacyjne, tym bardziej powinno wzrosnąć nadzór ludzki.

Czy masz odpowiednie dane?

Dane są niezbędne dla każdego skutecznego projektu ML. Więcej eksperymentów kończy się niepowodzeniem z powodu niewystarczających danych niż z powodu słabych modeli, więc upewnij się, że Twoje dane są rafinowane, istotne, dobrze oznaczone i zbierane w sposób ciągły. Współpraca między zespołem biznesowym a zespołem danych jest kluczowa w tym przypadku.

Dane produkcyjne mogą się różnić od danych eksperymentalnych, co powoduje, że modele nie działają w produkcji, nawet jeśli działały dobrze w pilocie. Czasami dane świata rzeczywistego są zbyt szumione, opóźnione lub niedostępne, aby wspierać model.

Dane i sygnały nie są tym samym. Sygnały predykcyjne są niezbędne do rozwiązania problemu biznesowego, więc Twoje dane muszą zawierać historyczne wzorce i istotne cechy aby móc wspierać niezawodne predykcje. Niektóre problemy po prostu nie są przewidywalne, więc priorytetem powinny być przypadki użycia, które już mają dobrze zarządzane, powtarzalne, dostępne źródła danych.

Jakie są wskaźniki sukcesu?

Będziesz miał trudności z udowodnieniem sukcesu, jeśli nie jesteś pewien, co to jest sukces, więc zdefiniuj swoje cele na początku. Chcesz dostarczyć ROI biznesowy, a nie tylko bardzo dokładny model, więc powiąż wydajność modelu z rzeczywistym wpływem biznesowym. Bądź wyraźny w swoich celach biznesowych i zidentyfikuj KPI, które pokazują prawdziwe osiągnięcie.

Upewnij się, że możesz zmierzyć i potwierdzić wkład wniesiony przez Twoje interwencje ML. Na przykład, jeśli testujesz projekt ML, aby zmniejszyć churn, czy możesz udowodnić, że zwiększona retencja jest wynikiem Twojego modelu, który identyfikuje niezadowolonych klientów na tyle wcześnie, zanim zdecydują się odejść, a nie innych czynników, takich jak ogólne promocje, sezonowy popyt lub zmiany cen?

Pamiętaj, że dla Twoich stakeholderów zaufanie i bezpieczeństwo są często równie ważne jak wydajność. Będziesz musiał udowodnić wyjaśnialność i bezpieczeństwo, a także ROI i inny wpływ biznesowy.

Co leży u podstaw wyników, których pragniesz?

Projekty ML są najbardziej udane, gdy są wbudowane w codzienne procesy biznesowe, co oznacza, że musisz w pełni zrozumieć, jakie są te procesy. Zmapuj, jak decyzje są podejmowane w Twojej organizacji, śledząc, kto podejmuje decyzję, jakie informacje używa, jakie reguły kierują nimi i gdzie pojawiają się utrudnienia.

Wąskie gardła są często najlepszymi miejscami do zastosowania ML. Szukaj decyzji, które są podejmowane często, ale które następują w rozpoznawalnych wzorcach lub wytycznych, a następnie pomyśl, jak predykcje ML wpasują się w ten workflow. Twój model powinien ułatwić lub zautomatyzować krok w procesie, a nie działać w izolacji.

Najlepiej jest zaangażować pomoc od właścicieli procesów i ekspertów branżowych, ponieważ są oni najbardziej prawdopodobnie świadomi, które decyzje są ważne, kiedy pojawiają się wyjątki i gdzie wdrożenie będzie miało największy wpływ. Są to także osoby, które najprawdopodobniej staną się championami projektu, gdy kierownictwo rozważa wdrożenie Twojego eksperymentu.

Przenoszenie projektów ML do owocowania

Budowanie odpowiedniego pilota jest kluczowe dla umożliwienia ML, aby wyjść poza eksperymentowanie do wdrożenia. Znalezienie konkretnych przypadków użycia, które mają jasne wskaźniki sukcesu, niskie ryzyko, silne podstawy danych i jasną rolę w szerszych procesach biznesowych, może pomóc Ci udowodnić ROI, zaangażować wsparcie stakeholderów i napędzić sukces biznesowy.