Dlaczego 95% inicjatyw związanych ze sztuczną inteligencją przynosi zerowy zwrot z inwestycji

Najnowsze badanie MIT Badania wykazały, że 95% organizacji nie osiąga żadnych zysków z generatywnych inicjatyw AI; brak mierzalnego wpływu na wynik finansowy pomimo znacznych inwestycji. Nagłówki gazet skupiały się na wskaźniku niepowodzeń, ale prawdziwe pytanie nie brzmi, czy technologia działa. Duże modele językowe (LJM) są wydajne, dostępne i szybko się rozwijają. Problemem jest sposób, w jaki firmy próbują je wykorzystać.

Większość organizacji podchodzi AI agenci Tak samo, jak podeszli do każdego innego wdrożenia technologii. Biorą istniejące procesy, dodają trochę sztucznej inteligencji i oczekują cudów. Kiedy to nie działa, obwiniają modele. Ale porażka zdarza się na długo przed zaangażowaniem się sztucznej inteligencji.

Wielokrotnie widziałem ten schemat w przedsiębiorstwach budujących Przepływy pracy AI. Zespoły ekscytują się możliwościami, pędzą do rozwoju, a następnie napotykają te same przewidywalne przeszkody. Różnica między 5%, którym się to udaje, a 95%, które generują zerowy zwrot z inwestycji (ROI), nie leży w szczęściu ani budżecie, ale w uniknięciu sześciu krytycznych błędów, które niszczą wartość agenta AI jeszcze przed jej rozpoczęciem.

Twoje dane są bardziej chaotyczne, niż myślisz

Większość zespołów uważa, że ​​posiadanie danych oznacza gotowość na sztuczną inteligencję. Wskazują na swoje jezioro danych, CRM, starannie utrzymywane bazy danych i zakładają, że sukces jest gwarantowany. Następnie wrzucają wszystko do LLM i zastanawiają się, dlaczego ich agent generuje bezwartościowe wyniki lub przepuszcza budżet w ciągu kilku dni.

Nieuporządkowane dane tworzą nieuporządkowanych agentów. Jeśli wysyłasz surowe zrzuty bazy danych, eksporty wypełnione kodem HTML lub nieustrukturyzowane bloby tekstowe do agenta AI, narażasz go na awarię. Modele są mylone przez nieistotne pola, rozpraszane przez artefakty formatowania i przytłoczone ogromną ilością danych.

Zespoły rutynowo wysyłają rekordy klientów z 47 polami, podczas gdy tylko 3 z nich mają kluczowe znaczenie dla decyzji. Zawierają one identyfikatory UUID, które nie wnoszą żadnej wartości semantycznej, ale zużywają cenne tokeny. Dostarczają agentom kod HTML pobrany z wewnętrznych narzędzi zamiast czystych, ustrukturyzowanych informacji.

Osiągniesz limity szybciej, niż się spodziewałeś

Każdy zespół wierzy, że nigdy nie osiągnie limitu kontekstu. „Przetwarzamy tylko kilka rekordów klientów” – mówią. „Jak trudne to może być?”. Potem ich agent musi przeanalizować 500 zgłoszeń do pomocy technicznej, każde z pełną historią konwersacji, i nagle dociera do limitu miliona tokenów.

Duże konteksty kumulują się szybciej, niż ktokolwiek się spodziewa. Agent obsługi klienta obsługujący eskalacje może potrzebować dostępu do historii zgłoszeń, artykułów w bazie wiedzy, poprzednich interakcji i dokumentacji produktu. To z łatwością setki tysięcy tokenów na żądanie. Pomnóż to przez liczbę jednoczesnych użytkowników, a koszty infrastruktury wymkną się spod kontroli.

Naiwnym podejściem jest po prostu wysyłanie wszystkiego do modelu i liczenie na najlepsze. Mądre zespoły dzielą żądania na fragmenty, podsumowują każdy z nich, a następnie działają na podstawie podsumowania podsumowań. To hierarchiczne podsumowanie sprawia, że ​​żądania są łatwe w zarządzaniu, jednocześnie zachowując kluczowe informacje, których agenci potrzebują do podejmowania trafnych decyzji.

Bezpieczeństwo szybko się komplikuje

Zespoły są zachwycone osobowością i możliwościami swoich agentów AI, opracowują podstawowe wytyczne i myślą, że są chronieni. W rzeczywistości agenci AI wymagają zasadniczo innego podejścia do kwestii bezpieczeństwa niż tradycyjne aplikacje.

Agentów AI można oszukać, Manipulowane i wymuszane w sposób, który narusza konwencjonalne modele bezpieczeństwa. Dane wprowadzane przez użytkownika mogą zawierać ukryte instrukcje, które ignorują starannie opracowane komunikaty. Agentów można przekonać do zignorowania wytycznych, uzyskania dostępu do danych, których nie powinni widzieć, lub podjęcia działań wykraczających poza ich zamierzony zakres.

Inteligentne implementacje wymagają ścisłych granic dotyczących tego, co agenci mogą, a czego nie mogą robić. Do wszystkiego, co zmienia stan, np. zapisu danych, wysyłania e-maili czy wykonywania wywołań API, potrzebny jest przepływ pracy „propozycja-uzasadnienie-zatwierdzenie”. Agent wyjaśnia, co chce zrobić i dlaczego, a następnie czeka na akceptację ze strony człowieka przed podjęciem działania. Zapobiega to niekontrolowanej automatyzacji, jednocześnie zachowując korzyści płynące ze wsparcia sztucznej inteligencji.

Co naprawdę działa

Obserwacja setek wdrożeń agentów AI pozwala na wykrycie sześciu praktyk, które oddzielają udane wdrożenia od kosztownych porażek.

Po pierwsze, higiena danych. Wysyłaj zwarty, typizowany JSON ze stałymi schematami. Usuń identyfikatory UUID, kod HTML, zduplikowane pola i wszelkie poufne informacje, chyba że są one absolutnie kluczowe dla podjęcia decyzji. Zastąp poufne dane metadanymi, gdy tylko jest to możliwe. Dzięki temu modele pozostają skoncentrowane, a jednocześnie zmniejsza się rozmiar danych, koszty i opóźnienia.

Drugim jest zarządzanie kontekstem. Limity tokenów osiągniesz szybciej niż się spodziewano. Podziel żądania na mniejsze fragmenty, podsumuj każde z nich, a następnie operuj na podsumowaniach. To hierarchiczne podejście pozwala kontrolować żądania, zachowując jednocześnie niezbędny kontekst.

Po trzecie, bezpieczeństwo na czas. Określ ścisłe granice tego, co Twój agent może, a czego nie może robić. Wdrażaj przepływy pracy „proponuj-uzasadnij-zatwierdź” dla wszystkiego, co zmienia stan. Traktuj wszystkie treści użytkownika jako niezaufane; używaj kodów kreskowych i linków oraz przypominaj modelom, aby nigdy nie stosowali się do instrukcji ukrytych w tekście użytkownika. Stale monitoruj monity i wyniki pod kątem zachowań nietypowych lub naruszających zasady, aby zapewnić, że granice pozostaną obowiązujące w czasie.

Po czwarte, kontrola kosztów. Ustaw budżety tokenów i kosztów dla każdego żądania i przepływu pracy. Rejestruj użycie tokenów dla każdego narzędzia i monituj, aby wcześnie wykryć regresje. Bez dyscypliny będziesz musiał stawić czoła niekontrolowanym rachunkom lub skokom opóźnień w miarę wzrostu adopcji.

Piąty punkt to zapewnienie jakości. Prowadź prywatny zestaw ewaluacyjny rzeczywistych incydentów i przypadków brzegowych. Śledź precyzję, wycofywanie i regresje. Nowe modele Cię zaskoczą, zazwyczaj w negatywny sposób. W przypadku krytycznych przepływów pracy stosuj temperatury bliskie zeru i zasiane backendy, aby uzyskać spójne wyniki.

Szóstym krokiem jest zarządzanie. Zabezpiecz umowy o udostępnianiu danych, zanim nastąpi jakikolwiek przepływ informacji. Wyjaśnij, co jest udostępniane, jak jest chronione i kto ponosi odpowiedzialność. To nie tylko ochrona prawna, ale sygnał zaufania, że ​​traktujesz dane poważnie.

Dlaczego większość zespołów popełnia błędy

Projekty agentów AI nie przynoszą zwrotu z inwestycji (ROI), ponieważ zespoły koncentrują się na niewłaściwych kwestiach. Obsesyjnie zastanawiają się, jaki model zastosować, ignorując jakość danych. Budują złożone przepływy pracy, pomijając podstawowe zabezpieczenia. Wdrażają agentów bez kontroli kosztów, a potem panikują, gdy rachunki rosną.

5% osób, które odniosły sukces, rozumie, że agenci AI to nie tylko oprogramowanie; to nowa kategoria pracowników cyfrowych, która wymaga odmiennych praktyk zarządzania. Potrzebują przejrzystych danych, jasno określonych granic i stałego nadzoru. Prawidłowe zrozumienie tych podstaw sprawi, że agenci AI staną się potężnymi mnożnikami produktywności. Błędne zrozumienie tych podstaw sprawi, że dołączysz do 95% zastanawiających się, dlaczego ich kosztowna inwestycja w AI nie przyniosła żadnego mierzalnego zwrotu.