Problem Niezawodności Sztucznej Inteligencji, O Którym Nikt Nie Chce Mówić

Dominujący narracja o niezawodności sztucznej inteligencji jest prosta: modele halucynują. Dlatego też, aby firmy mogły uzyskać największą użyteczność z nich, modele muszą się poprawiać. Więcej parametrów. Lepsze dane szkoleniowe. Więcej uczenia się wzmocnionego. Więcej dopasowania.

I mimo, że modele z przodu stają się coraz bardziej zdolne, debata na temat niezawodności odmawia zniknięcia. Liderzy przedsiębiorstw nadal wahają się, aby pozwolić agentom na podejmowanie znaczących działań w ramach systemów podstawowych. Zarządy nadal pytają: „Czy możemy im zaufać?”

Ale halucynacje nie są przede wszystkim problemem modelu. Są problemem kontekstu. Zmuszamy systemy sztucznej inteligencji do działania na infrastrukturze przedsiębiorstwa bez udzielania im strukturalnej widoczności wymaganej do bezpiecznego działania. Następnie obwiniamy model, gdy podejmuje próby.

Prawdziła luka w niezawodności nie leży w wagach, ale w warstwie informacyjnej.

Chirurg Bez Wizualizacji

Wyobraź sobie chirurga, który operuje bez wizualizacji. Bez MRI. Bez TK. Bez rzeczywistej wizualizacji otaczających tkanek. Tylko ogólne zrozumienie anatomii i skalpel. Nawet najbardziej doświadczony chirurg byłby zmuszony do wnioskowania. Do przybliżania. Do polegania na prawdopodobieństwie.

To, co teraz robią agenci sztucznej inteligencji w przedsiębiorstwach.

Gdy system sztucznej inteligencji jest proszony o modyfikację przepływu pracy, aktualizację reguły ERP lub wyzwolenie automatyzacji w różnych narzędziach, rzadko ma pełny graf zależności środowiska. Nie wie, które „niewykorzystane” pole napędza dolny dashboard. Nie widzi, które automatyzacje odwołują się do tej reguły walidacji. Nie może wiarygodnie symulować wpływu drugiego rzędu.

W takim przypadku robi to, czego uczą duże modele językowe: przewiduje. Przewidywanie nie jest zrozumieniem. A przewidywanie bez kontekstu strukturalnego wygląda jak halucynacja.

Nadal Formułujemy Niewłaściwą Debata

Społeczność sztucznej inteligencji była zablokowana w modelu centralnym dyskusji na temat niezawodności. Artykuły na temat praw skalowania. Badania nad łańcuchem myśli w przypominaniu. Techniki augmentacji pobierania. Benchmarki oceny.

Wszystko to jest konieczne. Wszystko to jest cenne. Ale zauważ, co brakuje: dyskusja na temat topologii systemów przedsiębiorstwa.

Niezawodność w kontekście przedsiębiorstwa nie oznacza po prostu „model generuje poprawny tekst”. Oznacza to „system wprowadza zmiany, które są bezpieczne, śledzące i przewidywalne”.

To jest zasadniczo inne wymaganie.

Gdy OpenAI i Anthropic publikują oceny wydajności modeli, mierzą one dokładność w zadaniach rozumowania, benchmarkach kodowania lub przypominaniu wiedzy. Są to użyteczne sygnały. Jednak nie mierzą one zdolności agenta sztucznej inteligencji do bezpiecznej modyfikacji systemu przychodu na żywo z 15-letnim zadłużeniem automatyzacji.

Problem nie polega na tym, czy model może pisać poprawnie składniowo kod, ale czy sztuczna inteligencja rozumie środowisko, w które ten kod jest wdrażany.

Żyjące Systemy Akumulują Entropię

Systemy przedsiębiorstwa nie są statycznymi bazami danych. Są to systemy żyjące. Każde nowe połączenie pozostawia ślad. Każda kampania wprowadza pole. Każde „szybkie rozwiązanie” wprowadza dodatkową warstwę automatyzacji. Z czasem te warstwy oddziałują ze sobą w sposób, który nikt w pełni nie rozumie.

To jest funkcja wzrostu. Złożone systemy adaptacyjne naturalnie akumulują entropię. Badania z MIT Sloan od dawna podkreślały, jak asymetria informacyjna wewnątrz organizacji powoduje zwiększone ryzyko operacyjne. Tymczasem Gartner szacuje, że złej jakości dane kosztują organizacje średnio $12,9 mln rocznie.

Teraz wyobraź sobie wstawienie autonomicznych agentów do tego środowiska bez uprzedniego rozwiązania jego strukturalnej nieprzezroczystości.

Nie powinniśmy być zaskoczeni, gdy wyniki wydają się nieprzewidywalne. Agent nie jest zły lub głupi. Jest ślepy. Buduje w ciemności.

Pobieranie Nie Jest Wystarczające

Niektórzy twierdzą, że pobieranie uzupełnione generowaniem (RAG) rozwiązuje ten problem. Dajmy modelowi dostęp do dokumentacji. Karmimy go opisami schematów. Łączymy go z API.

To pomaga.

Ale dokumentacja nie jest topologią.

PDF wyjaśniające, jak przepływ pracy „powinien” działać, nie jest tym samym co rzeczywisty graf, jak on naprawdę oddziałuje z 17 innymi automatyzacjami.

Rzeczywistość przedsiębiorstwa rzadko odpowiada dokumentacji przedsiębiorstwa.

Badanie z 2023 roku opublikowane w Communications of the ACM stwierdziło, że przestarzała dokumentacja jest głównym czynnikiem przyczyniającym się do awarii konserwacji oprogramowania. Systemy ewoluują szybciej niż ich narracje.

Więc nawet gdy dostarczamy agentom sztucznej inteligencji dokumentację, często dajemy im częściową lub ideał mapę.

Częściowe mapy nadal produkują pewne błędy.

Warstwa Agenta Jest Prawdziwą Warstwą Bezpieczeństwa

Mamy tendencję do myślenia o bezpieczeństwie jako o szkoleniu wyrównywania, barierach ochronnych, testach czerwonych i filtrach polityki. Wszystko to jest ważne. Ale w kontekście przedsiębiorstwa bezpieczeństwo jest kontekstowe. Oznacza to wiedzę o:

• Czym zależy to pole?
• Jaka automatyzacja odnosi się do tego obiektu?
• Which dolne raporty ulegną awarii?
• Kto jest właścicielem tego procesu?
• Kiedy to było ostatnio modyfikowane?
• Jakie historyczne zmiany poprzedzały bieżącą konfigurację?

Bez tej warstwy agent sztucznej inteligencji jest skutecznie improwizowany wewnątrz czarnej skrzynki. Z tą warstwą może symulować wpływ przed podjęciem działania. Różnica między halucynacją a niezawodnością często polega na widoczności.

Dlaczego Model Jest Odpowiedzialny

Dlaczego zatem debata koncentruje się tak bardzo na modelach? Ponieważ modele są czytelne. Możemy mierzyć zaskoczenie. Możemy porównywać wyniki benchmarków. Możemy debatować na temat jakości danych szkoleniowych.

Topologia informacyjna wewnątrz przedsiębiorstw jest o wiele bardziej nieporządna. Wymaga koordynacji międzyfunkcyjnej. Wymaga dyscypliny zarządzania. Zmusza organizacje do konfrontacji z nagromadzoną złożonością własnych systemów.

Łatwiej jest powiedzieć „model nie jest gotowy” niż przyznać „nasza infrastruktura jest nieprzezroczysta”.

Ale gdy agenci sztucznej inteligencji przechodzą od generowania treści do wykonywania operacyjnego, to ujęcie staje się niebezpieczne.

Jeśli traktujemy niezawodność wyłącznie jako problem modelu, będziemy nadal wdrażać agenci do środowisk, których nie mogą znacząco postrzegać.

Autonomia Wymaga Kontekstu

Niedawne eksperymenty Anthropic z zespołami programistów sztucznej inteligencji pokazują, że systemy sztucznej inteligencji mogą koordynować się w zadaniach złożonych, gdy zapewniono im strukturalny kontekst i trwałą pamięć. Granica możliwości rozwija się szybko. Ale ta marka autonomii bez świadomości środowiska jest krucha.

Samochód bezzałogowy nie polega wyłącznie na potężnej sieci neuronowej. Zależy od lidaru, kamer, systemów mapowania i rzeczywistej wizualizacji środowiska. Model jest jedną warstwą w szerszym stosie percepcji.

Sztuczna inteligencja przedsiębiorstwa potrzebuje odpowiednika lidaru. Nie tylko dostępu do API. Nie tylko dokumentacji. Ale strukturalne, dynamiczne zrozumienie zależności systemu.

Dopóki to nie istnieje, debaty na temat halucynacji będą nadal błędnie diagnozować przyczynę.

Ukryte Ryzyko: Nadmierna Ufność

Istnieje jeszcze jeden podstępny ryzyko w tym ujęciu.

Gdy modele się poprawiają, ich dane wyjściowe stają się bardziej płynne, bardziej przekonywające, bardziej autorytatywne.

Płynność zwiększa nadmierną ufność.

Gdy agent z ufnością modyfikuje system bez pełnego kontekstu, awaria nie jest natychmiast widoczna. Może pojawić się tygodnie później jako rozbieżność w sprawozdawczości, luka w zgodności lub błąd w prognozowaniu przychodu. Ponieważ model wydaje się kompetentny, organizacje mogą przecenić jego bezpieczeństwo operacyjne. Prawdziwy tryb awarii jest prawdopodobnym błędem.

I prawdopodobny błąd kwitnie w ciemności.

Ponowne Ujęcie Pytania o Niezawodność

Zamiast pytać: „Czy model jest wystarczająco dobry?” Powinniśmy pytać: „Czy agent ma wystarczający kontekst strukturalny, aby działać bezpiecznie?” Zamiast mierzyć dokładność benchmarków, powinniśmy mierzyć widoczność środowiska. Zamiast debatować na temat liczby parametrów, powinniśmy audytować nieprzezroczystość systemu.

Następna granica niezawodności sztucznej inteligencji nie jest po prostu większymi modelami. To są bogatsze warstwy kontekstu.

To obejmuje:

• grafy zależności systemów przedsiębiorstwa
• śledzenie zmian w czasie rzeczywistym
• mapowanie własności
• świadomość historycznej konfiguracji
• symulacja wpływu przed wykonaniem

Żadne z nich nie jest glamour. Żadne z nich nie trenduje w mediach społecznościowych. Ale to jest tam, gdzie niezawodność zostanie wygrana.

Budowanie Z Światłami Włączonymi

Liderzy przedsiębiorstw mają rację, żądając niezawodności przed udzieleniem agentom uprawnień operacyjnych. Ale droga do przodu nie polega na oczekiwaniu na mityczny model wolny od halucynacji.

To inwestowanie w infrastrukturę widoczności, która umożliwia inteligentne działanie.

Nie pozwolilibyśmy juniorowi administratorowi na modyfikację systemów produkcyjnych bez zrozumienia zależności. Nie powinniśmy pozwolić agentom sztucznej inteligencji na to również.

Cel? Zmniejszyć punkty ślepe.

Gdy agenci działają ze świadomością strukturalną, wskaźnik halucynacji maleje nie dlatego, że model się zmienił, ale dlatego, że powierzchnia losowa maleje.

Przewidywanie staje się rozumieniem. Rozumienie staje się symulacją. Symulacja staje się bezpiecznym wykonaniem.

Nieuchronny Przełom

W ciągu najbliższych pięciu lat stos sztucznej inteligencji ulegnie podziałowi. Jedna warstwa będzie się koncentrowała na możliwościach modelu: głębokości rozumowania, wielomodalnej płynności i efektywności kosztowej. Druga warstwa będzie się koncentrowała na topologii informacyjnej/kontekstowej: grafach systemów, inteligencji metadanych i ramach zarządzania.

Organizacje, które traktują niezawodność wyłącznie jako ćwiczenie wyboru modelu, będą się trudzić.

Organizacje, które traktują niezawodność jako właściwość architektoniczną, będą działać szybciej z mniejszym ryzykiem.

Debata na temat halucynacji będzie wyglądać naiwnie wstecz. Prawdziwa historia będzie o widoczności.

Sztuczna inteligencja nie jest niezawodnie lekkomyślna.

Ona działa w ciemnej komnacie.

Dopóki nie rozwiążemy tego, nie budujemy inteligentnych systemów. Budujemy potężne przewidywania w środowiskach nieprzezroczystych.

I to oznacza, że pomimo wszystkich postępów, sztuczna inteligencja nadal buduje w ciemności.