Twoje agenci AI zawodzą, ponieważ nie znają Twojego biznesu

W zeszłym roku Absa, jeden z największych banków w Afryce, potrzebował 120 dni, aby przenieść nowy model wykrywania przestępstw finansowych z fazy budowy do produkcji. Chociaż było to blisko średniej branżowej w tamtym czasie, ten sam bank może dziś wdrożyć nowy model w 15 dni, nawet przy tym samym środowisku regulacyjnym, wolumenach transakcji i wymogach zgodności.

I trotz tego, badanie przeprowadzone przez PwC wykazało, że 56% CEO przedsiębiorstw nie zauważyło znaczących korzyści finansowych ze swoich inwestycji w AI. Każdy lider przedsiębiorstwa, z którym rozmawiam, słyszał prezentację: jeśli wdrożysz agenci AI i zautomatyzujesz swoje procesy, szybko zobaczysz zwrot z inwestycji. Zamiast tego, 18 miesięcy i kilka milionów dolarów później, wpływ na biznes jest nieobecny. Brakującym składnikiem jest kontekst domeny, operacyjne zrozumienie, które daje agentowi to, czego potrzebuje do podejmowania decyzji biznesowych, i co robić, gdy popełni błąd.

Gdy agenci przestają doradzać i zaczynają działać

Gartner szacuje, że do 2027 roku 50% decyzji biznesowych będzie wspomaganych lub zautomatyzowanych przez agenci AI dla inteligencji decyzyjnej. Aż do bardzo niedawna, rola AI w przedsiębiorstwie polegała na doradzaniu, pozostawiając pracownikowi podjęcie decyzji. Najgorszy scenariusz był brakującą wglądem, opóźnioną decyzją lub brakiem reakcji na alert. Z agentami, konsekwencje są znacznie większe.

W fabryce biologicznej globalnego producenta leków, gdy inspektor skanuje drzwi laboratorium, odpowiedni proces inspekcji uruchamia się automatycznie, dostosowany do wyposażenia i specyfikacji pokoju. Agent sekwencjonuje inspekcję, prezentuje materiał referencyjny i pozwala inspektorowi potwierdzić. W GxP-regulowanej fabryce, każda inspekcja musi być gotowa do audytu, co oznacza, że agent bierze udział w części obciążenia operacyjnego w środowisku, w którym istnieją realne konsekwencje, jeśli popełni błąd.

Większość ram governance wdrożonych dziś została zbudowana dla poprzedniego świata doradztwa: okresowe przeglądy modeli z człowiekiem sprawdzającym dane wyjściowe jednego systemu. Teraz mamy agenci, które przekazują zadania innym agentom, koordynują procesy i kumulują złe decyzje na całym łańcuchu procesów, zanim ktokolwiek zauważy.

Dlaczego agenci ogólnego przeznaczenia napotykają ścianę

Agent ogólnego przeznaczenia może wyglądać naprawdę imponująco w kontrolowanych warunkach. Zaczyna jednak mieć trudności w operacjach przedsiębiorstwa, które mają ograniczenia, współzależności i decyzje, które są oczywiste dla każdego, kto pracował na podłodze, i niewidoczne dla modelu, który nigdy nie został nauczonego, aby je zobaczyć.

Menadżer kategorii w jednym z pięciu największych globalnych firm spożywczych i napojów stawił czoła wersji tego samego problemu w różnej skali: 96% penetracji rynku, bez tradycyjnych dźwigni, które można było pociągnąć. Menadżer kategorii zdefiniował logikę decyzyjną bezpośrednio, łącząc ponad 100 źródeł danych w ponad 1000 atrybutach na sklep i pozwalając modelowi AI zbudować profile zachowań kupujących, na które zespół kategorii mógł się oprzeć. Rezultat? Trzy klastry kupujących, tygodniowe sprinty z partnerami detalicznymi, 8% wzrostu sprzedaży i 35% szybsze uzupełnianie półek.

To działało, ponieważ agent już wiedział, co to jest planogram, co oznacza klaster kupujących i jak zmiana promocyjna wpływa na sąsiednie kategorie. Ogólny model musi być nauczony branżowego słownictwa, co kosztuje 12 do 18 miesięcy, których większość przedsiębiorstw nie ma.

Dlaczego governance musi być zaprojektowana

Ramowe governance, które większość przedsiębiorstw ma dziś, zostały zbudowane wokół wyjaśniania danych wyjściowych modelu po fakcie i przeglądu ich okresowo. Nie zostały zbudowane dla tego, co dzieje się, gdy agent wyzwala nieodwracalną akcję wewnątrz procesu.

Pracowałem z ubezpieczycielem działającym na rynkach Europy Środkowej i Wschodniej, który musi brać pod uwagę wymagania regulacyjne każdego rynku przy podejmowaniu decyzji zgodności. Każda decyzja due diligence jest rejestrowana jako rekord, który zawiera dane wejściowe, model, dane wyjściowe i osobę, która potwierdziła. System AI firmy może skierować transakcję, która jest zgodna z jednym rynkiem, a nie z drugim, bez ręcznej decyzji analityka zgodności.

To jest ta sama architektura, która pozwala Absa wdrożyć swój system AML w 15 dni zamiast 120. Szybkość jest wbudowana, więc bank może natychmiast przekazać wersję polityki dla każdej decyzji regulatorowi.

Przedsiębiorstwa, które widzimy, inwestujące w te warstwy governance wcześnie, nadal działają agenci na dużą skalę 18 miesięcy później. Te, które traktują to jako ćwiczenie zgodności, dołączone po wdrożeniu, są tymi, które muszą stale przebudowywać.

Inteligencja domenowa nie jest fine-tuningiem

Kapitalne modele podstawowe nie dostarczają niezawodnie wyników przedsiębiorstwa, ponieważ są zbudowane, aby być powszechnie użyteczne. Operacje przedsiębiorstwa wymagają głębokiej, wąskiej specjalizacji. Łączenie tych dwóch rzeczy już kosztowało branżę czas i zasoby, ale nadal jest to najczęstszy błąd, który widzę.

Inteligencja domenowa nie polega na stosowaniu wzbogaconej generacji (RAG) lub fine-tuning ogólnego modelu. Jest to różnica między agentem, który może przetwarzać informacje o sklepie spożywczym a tym, który rozumie, jak firma zbudowała i wdrożyła 5000 indywidualnie dostosowanych planogramów w ponad 750 sklepach bez dotyku centralnego zespołu w każdej lokalizacji.

Ten rodzaj operacyjnej biegłości pochodzi z lat danych szkoleniowych specyficznych dla domeny, logiki decyzyjnej zbudowanej wokół realnych ograniczeń operacyjnych i warstwy wiedzy, która obejmuje, jak zmiana ceny wpływa na marżę, jak zmiana asortymentu wpływa na dostępność półek i jak to wpływa na lojalność kupujących. Dla jednego dużego amerykańskiego łańcucha spożywczego, ten połączony sposób myślenia wygenerował 200 milionów dolarów zysku.

Budowanie tej podstawy lub uzyskanie jej od partnera, który już wykonał tę pracę, jest prawdziwym kosztem wstępnym w danych, ekspertyzie domenowej i dyscyplinie do zakodowania instytucjonalnego osądu zamiast pominięcia prostej fazy pilotażowej. Jeśli ta podstawa jest spieszone, agent, który wygląda na świadomy domeny w fazie pojęciowej, może nadal rozpaść się przy pierwszym przypadku krawędziowym w produkcji.

Co oznacza właściwe wdrożenie agentów przedsiębiorstwa

Przedsiębiorstwa, które nadal wprowadzają zdolne modele do istniejących procesów, będą musiały przyznać swoim radom nadzorczym, że zwrot z inwestycji nie pojawia się. MIT wnioskował w zeszłym roku, że pomimo inwestycji przedsiębiorstw w generatywny AI, 95% organizacji nie uzyskuje żadnego zwrotu. Jeśli nie chcesz być w tym obozie, umieść inteligencję domenową na miejscu przed dniem jeden, wbuduj governance w architekturę i trzymaj agenci za odpowiedzialne za konkretny wynik.

Model za każdym agentem jest, ironicznie, najmniej trwałą częścią tego równania. Lepszy model zostanie wydany w następnym kwartale, od firmy, która zbudowała model, który używasz dzisiaj, lub jednego z jej konkurentów. Co nie zmienia się z następnym wydaniem modelu, to czy Twoi agenci rozumieją Twój biznes. Musisz to zbudować celowo. Agenci, którzy odnoszą sukces w Twoim środowisku, nie będą najbardziej zdolnymi, ogólnymi agentami na rynku, ale będą zarobić Twoje zaufanie, aby robić coraz więcej dla Twojego biznesu.