Dlaczego sztuczna inteligencja przedsiębiorstw zawodzi po wdrożeniu – i co można z tym zrobić

Ostrzeżenie: Problem nie leży w modelu

W 2023 roku Nowy Jork uruchomił czatbota MyCity, aby pomóc firmom w nawigowaniu skomplikowanych przepisów. Pomysł był prosty: uczynić informacje prawne łatwiejszymi do uzyskania.

W praktyce system generował odpowiedzi, które były nie tylko błędne, ale także mylące pod względem prawnym – od zasad napiwków po dyskryminację w zakresie mieszkań i przepisów dotyczących płac.

Przeprowadzona później kontrola wykazała, że 71,4% opinii użytkowników było negatywnych. Zamiast rozwiązać podstawowe problemy, odpowiedzią było dodanie ostrzeżeń. Czatbot pozostawał w wersji “beta” przez ponad dwa lata, zanim został wyłączony.

Awaria nie była techniczna. System uległ awarii w produkcji, ponieważ nie było mechanizmu, który zapewniłby dokładność, jasną odpowiedzialność i możliwość interwencji, gdy coś poszło nie tak.

To jest wzór zaawansowania sztucznej inteligencji w przedsiębiorstwach dzisiaj: technologia działa, ale organizacje nie są przygotowane do niezawodnego jej użytkowania, gdy jest już uruchomiona.

Od pilota do produkcji: Gdzie wszystko się rozpadło

Budowanie pilota jest dość proste – wybierz przypadku użycia, wybierz model, przygotuj dane, znajdź sponsora. Uruchomienie systemu w produkcji to zupełnie inna liga.

Przerwa między nimi jest jak różnica między skokiem do basenu a skokiem z stratosfery, jak to zrobił Felix Baumgartner w 2012 roku. Te same podstawowe zasady fizyki, ale całkowicie różne warunki – i bardzo różne konsekwencje awarii.

W produkcji sztuczna inteligencja wkracza w rzeczywisty przepływ decyzji, wchodzi w interakcje z klientami i tworzy prawne oraz operacyjne konsekwencje. To jest miejsce, w którym zaczynają pojawiać się luki – nie w modelu, ale w tym, jak jest on zarządzany.

Europa ujawnia to wcześniej niż większość regionów. Przepisy takie jak unijna ustawa o sztucznej inteligencji, RODO i NIS2 nie spowalniają wdrożenia – ujawniają, czy organizacje mogą obsługiwać systemy sztucznej inteligencji pod rzeczywistymi ograniczeniami.

W 2025 roku 55% dużych przedsiębiorstw w UE już korzystało z sztucznej inteligencji. Wdrożenie już się dzieje na dużą skalę. Wyzwaniem jest to, co się dzieje po wdrożeniu.

W tym momencie pojawiają się podstawowe pytania operacyjne. I często nikt nie może na nie odpowiedzieć: Kto jest odpowiedzialny za dane wyjściowe sztucznej inteligencji i autonomiczne decyzje? Co się dzieje, gdy system zachowuje się w nieoczekiwany sposób? I kto to wyłapie, zanim szkoda dotrze do mediów?

Odpowiedzialność spoczywa na firmie, a nie na technologii. Czatbot Air Canada (AC.TO ) udzielił klientowi błędnych informacji o taryfach żałobnych. Klient polegał na nich i później został odmówiony zwrotu pieniędzy. Trybunał orzekł, że linia lotnicza była odpowiedzialna – czatbot nie był odrębną jednostką.

Ten sam problem, inny kąt: system rekrutacyjny McDonald’s McHire ujawnił wrażliwe dane prawie 64 000 kandydatów. Przyczyną nie był zaawansowany atak – hasło administracyjne używało “admin” i “123456”. System wyglądał zaawansowany. Awaria była jednak elementarna.

Gdy boltujesz zarządzanie na żywy system, jest już za późno. Wdrożenie systemu to decyzja techniczna. Jego niezawodne użytkowanie to decyzja organizacyjna. I to jest część, którą większość firm niedocenia.

Kto naprawdę ponosi ryzyko sztucznej inteligencji? Nikt.

To jest rdzeń problemu i paradoksalnie najmniej omawiany. Dział IT zarządza infrastrukturą. Dział prawny zajmuje się zgodnością. Zespoły biznesowe promują przypadki użycia. Ale nikt nie ponosi odpowiedzialności za ryzyko sztucznej inteligencji.

To tworzy dwa natychmiastowe problemy. Decyzja o “rozpoczęciu” zwalnia – bo nikt nie chce brać odpowiedzialności. I decyzja o “zatrzymaniu” zwalnia równie – bo nikt nie wie, kto może.

Dane to potwierdzają. Mniej niż 10% przypadków użycia sztucznej inteligencji przechodzi z pilota do produkcji, a większość organizacji ma trudności z generowaniem mierzalnego wpływu biznesowego. W tym samym czasie wiele z nich już wdraża sztuczną inteligencję – ale według raportu dojrzałości zarządzania tylko 7% miało dobrze ustrukturyzowane i konsekwentnie stosowane zarządzanie.

Dlaczego tak się dzieje tak konsekwentnie? Ponieważ większość ram i polityk korporacyjnych definiuje, co powinno się dziać – a nie kto jest odpowiedzialny, gdy to się liczy. Gdy system zaczyna generować błędne dane wyjściowe o północy w piątek, pytanie nie jest teoretyczne. Kto działa? I kto ma uprawnienia do decydowania?

To tylko się pogarsza w skali. Jeden system można zarządzać nieformalnie. Gdy masz trzydzieści, odpowiedzialność rozpryskuje się po zespołach, a nikt nie ma pełnego obrazu.

Bank Commonwealth of Australia dostarcza wyraźny przykład. Bank zastąpił 45 pracowników obsługi klienta botami głosowymi sztucznej inteligencji, spodziewając się, że popyt spadnie. Nie spadł. Poziom połączeń wzrósł, menedżerowie weszli, aby obsłużyć nadmiar, a bank musiał ponownie zatrudnić wszystkich 45 pracowników. Gdy zostali zapytani, nie mogli udowodnić, że automatyzacja zmniejszyła obciążenie.

Nikt nie zweryfikował założeń przed wdrożeniem. Nikt nie ponosił odpowiedzialności za wynik, gdy te założenia zawiodły. To jest wygląd luki odpowiedzialności w praktyce.

Posiadanie zasad nie wystarcza. Potrzebny jest mechanizm

Większość organizacji nie brakuje polityk. Brakuje im systemów, które działają, gdy coś pójdzie nie tak.

Polityka definiuje, co powinno się dziać. Mechanizm określa, co naprawdę się dzieje – gdy model generuje błędne dane wyjściowe, gdy dostawca zmienia coś w tle lub gdy system zaczyna zachowywać się w nieoczekiwany sposób.

Ta różnica staje się widoczna w produkcji – gdy decyzje muszą być podejmowane w rzeczywistych warunkach.

Te awarie podążają za konsekwentną dynamiką. W każdym przypadku pojawiają się te same luki operacyjne – tylko w różnych formach.

Własność jest na pierwszym miejscu

Każdy wdrożony system sztucznej inteligencji potrzebuje wyraźnego, odpowiedzialnego właściciela – jednej osoby, a nie zespołu lub departamentu, z uprawnieniami do zatwierdzenia, wstrzymania i wyłączenia.

Bez tego ani szybkie wdrożenie, ani bezpieczna interwencja nie są możliwe. Jak widać w przykładzie Banku Commonwealth, brak wyraźnej własności prowadzi bezpośrednio do awarii operacyjnej.

Dane i prawna wyraźność często są nieobecne

Wiele systemów wchodzi do produkcji bez udokumentowanych przepływów danych, zweryfikowanej podstawy prawnej lub wyjaśnienia, jakie zobowiązania mają zastosowanie, gdy system jest w produkcji. (CBA.AX )

Działanie włoskiego regulatora przeciwko DeepSeek w 2025 roku ilustruje to wyraźnie. Problemem nie była jakość modelu – była niezdolność do wyjaśnienia, jak dane osobowe są obsługiwane. Rezultatem była nagła przerwa w usłudze dla użytkowników w Europie.

Testowanie rzadko odzwierciedla rzeczywiste użycie

Systemy są często oceniane na podstawie scenariuszy, w których działają dobrze, ale nie na przypadkach, w których awaria miałaby największe znaczenie.

Czatbot MyCity to wyraźny przykład. Podstawowe przypadki krawędzi – wokół prawa pracy, dyskryminacji w zakresie mieszkań lub przepisów dotyczących płac – nie zostały wykryte przed wdrożeniem. Gdy zostały wystawione na rzeczywistych użytkowników, te awarie stały się publiczne natychmiast.

Testowanie nie dotyczy tylko wydajności – dotyczy identyfikacji, gdzie system zawodzi, zanim użytkownicy, regulatorzy lub dziennikarze to zrobią.

Interwencja jest niejasna lub zbyt wolna

Nawet gdy problemy są widoczne, często nie ma wyraźnego wyzwalacza ani uprawnienia do wstrzymania lub wyłączenia systemu.

Zillow Offers demonstruje to na dużą skalę. System używał algorytmu do ustalania cen i kupowania domów. Gdy rynek ochłodził się w 2021 roku, system nadal kupował po zawyżonych cenach. Nie było mechanizmu, który wykryłby dryf na czas, i nie było wyraźnego punktu decyzyjnego, aby go zatrzymać. Rezultatem były straty przekraczające 880 milionów dolarów i zamknięcie całego działu.

Monitorowanie nie jest własnością

Monitorowanie jest często redukowane do pulpitów, ale to nie to zapobiega awariom.

To, co się liczy, to określona odpowiedzialność: kto śledzi sygnały, co wyzwala eskalację i kto ma obowiązek działać.

Przypadek Deloitte Australia pokazuje, co się dzieje, gdy tego brakuje. Rządowy raport zawierał wyimaginowane cytaty i błędne odniesienia prawne, ponieważ nikt nie był wyraźnie odpowiedzialny za weryfikację danych wyjściowych przed dostarczeniem. Rezultatem była częściowa zwrotna i uszkodzenie reputacji.

Sztuczna inteligencja agentywna: Co nadchodzi, będzie jeszcze trudniejsze

Sztuczna inteligencja generatywna produkuje dane wyjściowe. Sztuczna inteligencja agentywna podejmuje działania. To zmienia ryzyko całkowicie.

Zamiast jednej odpowiedzi do oceny, jeden rozkaz może spowodować ciąg decyzji w systemach – wywołania API, dostęp do danych, transakcje, aktualizacje – często bez interwencji człowieka na każdym etapie.

Gdy coś pójdzie nie tak, problemem nie jest już dokładność. To śledzenie. Który krok spowodował problem? Jakie dane zostały użyte? Kto upoważnił działanie? W wielu przypadkach te pytania są trudne do odpowiedzi po fakcie.

To jest miejsce, w którym istniejące luki stają się krytyczne. Niejasna własność, słabe monitorowanie i brak interwencji nie tylko utrzymują się – kumulują. Błędna odpowiedź można skorygować. Błędne działanie może stworzyć konsekwencje, zanim ktoś zauważy.

Wczesne sygnały już wskazują w tym kierunku. Gartner szacuje, że ponad 40% projektów sztucznej inteligencji agentywnej zostanie anulowanych do 2027 roku – nie z powodu ograniczeń modelu, ale dlatego, że organizacje mają trudności z kontrolowaniem kosztów, ryzyka i wyników. To jest ten sam wzorzec, jaki widzimy w przypadku sztucznej inteligencji generatywnej po wdrożeniu. Tylko ze wyższymi stawkami.

Regulatorzy już reagują prostą zasadą: automatyzacja nie usuwa odpowiedzialności. Dla organizacji to tworzy wyraźną implikację: jeśli własność i kontrola są niejasne dzisiaj, skalowanie w kierunku systemów agentywnych nie rozwiąże problemu. To go tylko wzmocni.

Obsłuż to – lub stracisz

Sztuczna inteligencja nie jest już ograniczeniem. Modele są powszechnie dostępne, zdolne i coraz bardziej komercjalizowane. Prawdziwa różnica nie leży w tym, czy organizacja może zbudować sztuczną inteligencję – ale czy może ją obsłużyć niezawodnie, gdy jest już uruchomiona.

To jest miejsce, w którym większość awarii występuje – w tym, jak systemy są uruchamiane, a nie w tym, jak są budowane. Organizacje, które odnoszą sukces, nie będą tymi z najbardziej zaawansowanymi modelami. Będą tymi, które mają najwyraźniejsze struktury operacyjne wokół nich.

To można przetestować bezpośrednio. Weź swój najważniejszy system sztucznej inteligencji i odpowiedz na trzy pytania:

• Kto może go wyłączyć?
• Jak wiesz, gdy zawodzi?
• Co się dzieje, gdy tak się stanie?

Jeśli te odpowiedzi są niejasne, system nie jest gotowy do produkcji.

Model może być. Organizacja nie jest.