Człowiek w pętli to nie jest rządzenie

Oczywistą odpowiedzią na ryzyko związane z AI jest “wprowadzenie człowieka do pętli”. Ale ta fraza ukrywa trudną część.

Człowiek w pętli działa tylko wtedy, gdy pętla jest zaprojektowana. W przeciwnym razie, człowiek staje się jednym z trzech niepowodzeń:

• Wąskim gardłem, ponieważ przeglądanie danych wyjściowych AI zajmuje tyle samo czasu, co wykonanie pracy ręcznie.
• Pieczątką gumową, ponieważ recenzent jest przeciążony, nie może zobaczyć dowodów, nie rozumie kontekstu biznesowego i klika przycisk “zaakceptuj”, aby utrzymać ruch w kolejce.
• Lub trzecie niepowodzenie: strefa zgniotu. Dodając człowieka do pętli, instytucja nazwała osobę odpowiedzialną, ale nie dała tej osobie realnej kontroli, czasu, uprawnień, możliwości zatrzymania systemu i ścieżki do zmiany następnego przebiegu. Konsekwencja spada na człowieka, podczas gdy podłoże decyzji pozostaje niezmienione.

To jest miejsce, w którym wiele rozmów o przedsiębiorczym AI idzie nie tak. Mówimy o tym, czy człowiek powinien sprawdzić pracę, ale nie o tym, jak ten przegląd jest zaprojektowany. Zakładamy, że dodanie osoby tworzy rządzenie. Nie tworzy. Rządzenie zależy od tego, czy recenzent ma znaczącą kontrolę, znaczącą widoczność i możliwość poprawy systemu po podjęciu decyzji.

Przegląd ludzki jest cenny, ale tylko wtedy, gdy jest umieszczony w miejscu, gdzie istotna jest ocena i wspierany przez wystarczający kontekst, aby uczynić tę ocenę znaczącą.

Brama walidacyjna to coś więcej niż krok przeglądu

Brama nie jest przyciskiem pauzy. Jest to interfejs weryfikacyjny.

Gdy agent lub automatyzacja wytworzy propozycję – projekt odpowiedzi, zalecane działanie, klasyfikację, autoryzację płatności, trasę przypadku, pakiet zwrotu lub list odrzucenia – recenzent powinien natychmiast zrozumieć, co się zaraz wydarzy i dlaczego.

Rzeczywista brama walidacyjna musi pokazać to, co się liczy: proponowane działanie; źródła za tym; sprawdzone reguły; przejście biznesowe, które nastąpi; uprawnienia użyte; zapis auditowy, który zostanie napisany; niepewność lub wyjątek, który spowodował przegląd; oraz dostępne wybory: zaakceptuj, edytuj, odrzuć lub eskaluj.

Każdy z tych elementów istnieje z powodu. Proponowane działanie wyjaśnia, co system zamierza zrobić. Dowody wspierające wyjaśniają, dlaczego. Reguły i uprawnienia pokazują, czy rekomendacja mieści się w polityce organizacyjnej. Niepewność mówi recenzentowi, dlaczego praca trafiła do człowieka w pierwszej kolejności. Razem zmieniają przegląd z robienia zgadnień w weryfikację.

Jeśli recenzent musi odtworzyć wszystko ręcznie, brama nie jest zbudowana.

Punkt bramy nie jest po prostu zatrzymaniem błędów przed ich wystąpieniem. Jego drugim celem jest coś więcej istotnego. Zapisuje osąd instytucjonalny.

To jest miejsce, w którym wdrożenie przedsiębiorcze zaczyna się kumulować. Każda rzeczywista decyzja o zatwierdzeniu, edycji, odrzuceniu lub eskalacji zapisuje osąd instytucjonalny – ale tylko wtedy, gdy brama zapisuje, dlaczego.

Zatwierdzenia nie są danymi, ale weryfikacjami.

Przyciśnięty przycisk zatwierdzenia zapisuje nic użytecznego. Zinspekcjonowana, edytowana, odrzucona lub eskalowana decyzja z powodem zapisuje sygnał, z którego następna wersja systemu może się uczyć. Jeśli recenzent klika zaakceptuj bez spojrzenia, system niczego się nie uczy. Jeśli recenzent edytuje, odrzuca, eskaluje i podaje powód, instytucja zapisuje osąd.

Z biegiem czasu te osądy stają się jednym z najcenniejszych aktywów organizacji. Ujawniają, gdzie polityki są niejasne, gdzie przepływy pracy się łamią, gdzie wyjątki występują najczęściej i gdzie automatyzacja powinna stać się bardziej pewna – lub bardziej ograniczona. Cel nie jest po prostu zautomatyzować więcej pracy. Jest to poprawić jakość przyszłych decyzji, zapisując, jak doświadczeni ludzie ćwiczą osąd dzisiaj.

Odpowiedzialność wymaga więcej niż nazwany właściciel

To rozróżnienie zmienia, jak organizacje powinny myśleć o odpowiedzialności.

Brama nie jest wystarczająca. Nazwany właściciel nie jest wystarczający. Zapis auditowy nie jest wystarczający.

Odpowiedzialność wymaga odbioru konsekwencji: błąd musi wylądować gdzieś, gdzie można zmienić przyszłe zachowanie.

Przed wdrożeniem AI do istotnej pracy organizacje powinny zadać pięć pytań:

1. Kto otrzymuje konsekwencję, jeśli to działanie jest błędne?
2. Czy ta osoba lub system miała znaczącą kontrolę przed działaniem?
3. Czy odpowiedzialny właściciel może sprawdzić, ograniczyć, anulować lub zatrzymać agenta lub automatyzację?
4. Czy odpowiedzialność jest proporcjonalna do kontroli, którą ten właściciel miał?
5. Co się zmienia przed następnym przebiegiem: umiejętność, reguła, uprawnienie, przepływ pracy, automatyzacja, brama walidacyjna, powód, szkolenie lub klasa zaufania?

Brama ludzka bez znaczącej kontroli nie jest rządzeniem. Jest to strefa zgniotu.

Pętla nie jest zamknięta, dopóki zapisany osąd nie zmieni czegoś: umiejętności, reguły, uprawnienia, progu eskalacji, automatyzacji, testu, interfejsu przeglądu, planu szkolenia, próbki audytu lub klasy zaufania. Konsekwencja, która nie zmienia następnego przebiegu, jest tylko incydentem, a nie uczeniem. Organizacje się poprawiają, gdy każdy znaczący przegląd zmienia następną wersję systemu, czy to przez ulepszanie polityki, zacieśnianie uprawnień, poprawę automatyzacji czy wzmocnienie samej bramy walidacyjnej.

Barierki zabezpieczają przed awarią. Oceny budują zaufanie.

Organizacje muszą również rozróżniać między barierkami a ocenami. Rozwiązują one różne problemy, które wymagają rozwiązań.

1. Barierki zabezpieczają zachowanie w czasie wykonywania. Kontrole schematu, blokowanie niebezpiecznych parametrów, kontrole uprawnień, redakcja PII, obrona przed wstrzyknięciem podpowiedzi, limity użycia narzędzi istnieją, aby zapobiec niebezpiecznemu zachowaniu przed jego wystąpieniem.
2. Oceny mierzą wydajność w czasie. Badają jakość, dryf, wybór narzędzi, jakość eskalacji, koszt, opóźnienie i zgodność z polityką. Mówią organizacji, czy system nadal zasługuje na zaufanie.

Jedna chroni bieżącą decyzję. Druga poprawia przyszłe decyzje.

Barierki i oceny służą różnym celom, tak jak i ludzie odpowiedzialni za nie. Platforma egzekwuje politykę. Operatorzy oceniają wyniki. Razem tworzą pętlę sprzężenia, która pozwala systemowi się poprawiać bez poświęcania rządzenia.

System pobiera politykę, rekord roszczenia, dokumenty wspierające, poprzednie przypadki i podręcznik organizacyjny. Przygotowuje pakiet triage, proponuje ciężkość, identyfikuje brakujące dowody i otwiera podprzypadek oszustwa, jeśli reguły tego wymagają. Regulaminista widzi proponowane ruchy, dowody wspierające, powód, zapis auditowy i konsekwencję zatwierdzenia. Zamiast odtwarzać sprawę z wielu systemów, recenzent może się skoncentrować na weryfikacji samej rekomendacji. Dopiero po weryfikacji automatyzacja aktualizuje sprawę, wydaje płatność, żąda dodatkowych dokumentów lub zamyka pracę.

Przepływ pracy z roszczeniami pokazuje, jak to działa w praktyce. Agent nie zapamiętał procesu. Działał w opublikowanej mapie.

Architektura powinna podążać za pracą

Ten sam principio stosuje się niezależnie od tego, jak sama praca jest zorganizowana. Nie każdy problem przedsiębiorczy ma ten sam kształt, a rządzenie powinno to odzwierciedlać. Niektóre prace zaczynają się od celu. Niektóre zaczynają się od przypadku; niektóre zaczynają się od stabilnego przepływu pracy. Architektura powinna podążać za pracą, a nie odwrotnie.

Wdrożenie kierowane celem zaczyna się od wyniku, a nie od przepisanego ścieżki. Rozwiąż ten eskalację klienta. Zmniejsz ryzyko utraty na tym koncie. Zbadaj ten sygnał oszustwa. Przygotuj ten plan odnowienia. Punkt docelowy jest jasny, ale trasa może się zmienić, gdy pojawiają się nowe informacje. Główny agent rozkłada pracę, używa zatwierdzonych agentów i narzędzi, wywołuje zatwierdzone automatyzacje i przydziela pracę ludziom w ramach ograniczeń. Jego siła to elastyczność. Jego ryzyko polega na tym, że elastyczność bez wyraźnych ograniczeń staje się nieprzewidywalnością.

Dlatego elastyczne systemy wymagają silniejszego rządzenia, a nie słabszego. Wyraźne granice przepływu pracy, uprawnienia automatyzacji, prawa decyzyjne, zapisy audytowe i reguły eskalacji stają się bardziej istotne, gdy AI staje się bardziej zdolne. Im więcej swobody agent ma do określenia własnej ścieżki, tym bardziej starannie instytucja musi określić granice, w ramach których może działać.

Przedsiębiorcze AI nie powiedzie się, ponieważ każda decyzja ma gdzieś w pętli człowieka.

Powiedzie się, ponieważ instytucje uczą się budować pętlę samą.