Dlaczego 95% inicjatyw związanych z AI nie przynosi żadnego zwrotu z inwestycji

Niedawne badanie przeprowadzone przez MIT wykazało, że 95% organizacji nie uzyskuje żadnego zwrotu z inwestycji w inicjatywy związane z generatywnym AI; nie ma żadnego wymiernego wpływu na P&L pomimo znacznych nakładów. Nagłówki koncentrowały się na wskaźniku niepowodzeń, ale prawdziwe pytanie nie brzmi, czy technologia działa. Duże modele językowe są potężne, dostępne i szybko się rozwijają. Problem polega na tym, jak firmy próbują je wykorzystywać.

Większość organizacji podchodzi do agentów AI w taki sam sposób, w jaki podchodziły do każdego innego wdrożenia technologii. Biorą istniejące procesy, dodają trochę AI i oczekują czarów. Kiedy to nie działa, winą obarczają modele. Ale niepowodzenie następuje znacznie wcześniej, zanim AI zostanie wdrożone.

Widziałem ten wzorzec wielokrotnie w przedsiębiorstwach budujących przepływy pracy AI. Zespoły są podekscytowane możliwościami, spieszą się z rozwojem, a następnie napotykają te same przewidywalne przeszkody. Różnica między 5% sukcesów a 95% niepowodzeń nie polega na szczęściu czy budżecie; polega na unikaniu sześciu krytycznych błędów, które zabijają wartość agenta AI, zanim się zacznie.

Twoje dane są bardziej nieporządane, niż myślisz

Większość zespołów uważa, że posiadanie danych oznacza, że są gotowi do AI. Wskazują na swoje jezioro danych, CRM, starannie utrzymane bazy danych i zakładają, że sukces jest gwarantowany. Następnie zrzucą wszystko do LLM i zadają sobie pytanie, dlaczego ich agent produkuje śmieciowe dane wyjściowe lub spala ich budżet w ciągu kilku dni.

Brudne dane tworzą brudne agenty. Jeśli wysyłasz surowe zrzuty bazy danych, eksporty wypełnione HTML lub nieustrukturyzowane bloby tekstowe do agenta AI, ustawiasz go na niepowodzenie. Modele zostają zdezorientowane przez nieistotne pola, rozpraszane przez artefakty formatowania i przytłoczone przez ogromną ilość.

Zespoły rutynowo wysyłają rekordy klientów z 47 polami, z których tylko 3 są krytyczne dla podejmowania decyzji. Włączają UUID, które nie dodają żadnej wartości semantycznej, ale zużywają cenne tokeny. Karmią agenty HTML pobranym z wewnętrznych narzędzi zamiast czystych, sformatowanych informacji.

Będziesz szybciej niż oczekiwano osiągał limity

Każdy zespół wierzy, że nie osiągnie limitów kontekstu. “Przetwarzamy tylko kilka rekordów klientów”, mówią. “Jak trudno może to być?” Następnie ich agent musi przeanalizować 500 biletów wsparcia, każdy z pełną historią rozmów, i nagle zaczynają napotykać limity miliona tokenów.

Duże konteksty gromadzą się szybciej, niż ktokolwiek oczekuje. Agent wsparcia klienta obsługujący eskalacje może potrzebować dostępu do historii biletów, artykułów z bazy wiedzy, poprzednich interakcji i dokumentacji produktu. To łatwo setki tysięcy tokenów na żądanie. Pomnóż to przez użytkowników jednoczesnych, a Twoje koszty infrastruktury spiralnie wzrosną.

Naiwny podejście polega na tym, aby po prostu wysłać wszystko do modelu i mieć nadzieję na najlepsze. Inteligentne zespoły dzielą żądania na części, podsumowują każdą część, a następnie działają na podsumowaniu podsumowań. To hierarchiczne podsumowanie utrzymuje żądania na poziomie zarządzalnym, zachowując przy tym krytyczne informacje, których agenci potrzebują do podejmowania dobrych decyzji.

Bezpieczeństwo staje się skomplikowane szybciej

Zespoły są podekscytowane osobowością i możliwościami swoich agentów AI, piszą podstawowe wytyczne i uważają, że są chronione. W rzeczywistości agenci AI wymagają fundamentalnie innego myślenia o bezpieczeństwie niż tradycyjne aplikacje.

Agenci AI mogą być oszukani, manipulowani i przymuszani w sposób, który łamie konwencjonalne modele bezpieczeństwa. Wejścia użytkowników mogą zawierać ukryte instrukcje, które zastępują starannie opracowane prompty. Agenci mogą być przekonani do ignorowania wytycznych, dostępu do danych, których nie powinni widzieć, lub podejmowania działań poza ich zamierzonym zakresem.

Inteligencka implementacja wymaga ścisłych granic wokół tego, co agenci mogą i nie mogą robić. Dla wszystkiego, co zmienia stan; zapisywanie danych, wysyłanie e-maili, wywoływanie API; potrzebujesz przepływu pracy proponującego-uzasadniającego-akceptującego. Agent wyjaśnia, co chce zrobić i dlaczego, a następnie czeka na zatwierdzenie przez człowieka przed podjęciem działania. To zapobiega niekontrolowanemu zautomatyzowaniu, jednocześnie zachowując korzyści z asysty AI.

Co naprawdę działa

Z obserwacji setek wdrożeń agentów AI wynika, że sześć praktyk różni się od nieudanych wdrożeń od drogich niepowodzeń.

Pierwsza to higiena danych. Wysyłaj kompaktowy, typowany JSON z ustalonymi schematami. Usuń UUID, HTML, powtarzające się pola i wszelkie wrażliwe informacje, chyba że są absolutnie niezbędne do podejmowania decyzji. Zamień wrażliwe dane na metadane, gdy jest to możliwe. To utrzymuje modele skupione, jednocześnie redukując rozmiar ładunku, koszty i opóźnienia.

Druga to zarządzanie kontekstem. Będziesz szybciej niż oczekiwano osiągał limity tokenów. Podziel żądania na mniejsze części, podsumuj każdą część, a następnie działaj na podsumowaniach. To hierarchiczne podejście utrzymuje żądania na poziomie zarządzalnym, zachowując przy tym niezbędny kontekst.

Trzecia to bezpieczeństwo prompty. Zdefiniuj ścisłe granice dla tego, co Twój agent może i nie może robić. Wdrożenie przepływu pracy proponującego-uzasadniającego-akceptującego dla wszystkiego, co zmienia stan. Traktuj wszystkie treści użytkowników jako niezaufane; usuń kod i linki, a także przypomnij modelom, aby nigdy nie wykonywały instrukcji ukrytych w treści użytkownika. Ciągle monitoruj prompty i dane wyjściowe w celu wykrycia anomalnych lub naruszających zasady zachowań, aby zapewnić, że granice pozostają skuteczne w czasie.

Czwarta to kontrola kosztów. Ustaw limity tokenów i budżetów kosztów na żądanie i na przepływ pracy. Rejestruj użycie tokenów przez narzędzie i prompt, aby wykryć regresje na wczesnym etapie. Bez dyscypliny będziesz musiał zmierzyć się z niekontrolowanymi rachunkami lub opóźnieniami, gdy tylko przyjęcie wzrośnie.

Piąta to zapewnienie jakości. Zachowaj prywatny zestaw oceny rzeczywistych incydentów i przypadków granicznych. Śledź precyzję, recall i regresje. Nowe modele zaskoczą Cię, zwykle na złe sposoby. Dla krytycznych przepływów pracy używaj temperatury w pobliżu zera i zasianych tyłów dla spójnych danych wyjściowych.

Szósta to zarządzanie. Zablokuj umowy o udostępnianiu danych przed przepływem jakichkolwiek informacji. Wyjaśnij, co jest udostępniane, w jaki sposób jest chronione i kto jest odpowiedzialny. To nie jest tylko ochrona prawna; jest to sygnał zaufania, że traktujesz dane poważnie.

Dlaczego większość zespołów źle to robi

Projekty agentów AI nie przynoszą zwrotu z inwestycji, ponieważ zespoły koncentrują się na niewłaściwych rzeczach. Zajmują się tym, który model wykorzystać, ignorując jakość danych. Budują złożone przepływy pracy, pomijając podstawowe kontrolki bezpieczeństwa. Wdrożenie agentów bez kontroli kosztów, a następnie panika, gdy rachunki wzrosną.

5% sukcesu rozumie, że agenci AI nie są po prostu oprogramowaniem; są nową kategorią cyfrowych pracowników, wymagających odmiennych praktyk zarządzania. Potrzebują czystych danych, wyraźnych granic i stałego nadzoru. Jeśli te podstawy są prawidłowe, agenci AI stają się potężnymi mnożnikami produktywności. Jeśli są nieprawidłowe, dołączysz do 95% osób, które zadają sobie pytanie, dlaczego ich droga inwestycja AI nie przyniosła żadnego wymiernego zwrotu.