Interakcja maszyna-człowiek: problem „ostatniej mili” hamujący rozwój sztucznej inteligencji w przedsiębiorstwach

Do niedawna, dyskusje w salonach firmowych na temat sztucznej inteligencji koncentrowały się wokół samych modeli. Czy ich wyniki są dokładne? Jak czyste było dane szkoleniowe? Jak możemy zmniejszyć stronniczość? Czy halucynacje są pod kontrolą? Te pytania nadal są istotne, oczywiście, ale wynik jest już nie jedyną rzeczą, na którą zwracają uwagę rady nadzorcze i akcjonariusze. Zamiast tego, zaczynają interesować się czymś, co jest o wiele trudniejsze do pomiaru – czy systemy sztucznej inteligencji naprawdę działają z ludźmi tak skutecznie, jak mogłyby, w codziennych interakcjach.

To częściowo dlatego IBM niedawno znalazł się w sytuacji, w której musiał stawić czoła wnioskowi akcjonariusza, domagającemu się większej przejrzystości w zakresie zarządzania stronniczością sztucznej inteligencji. Wnioskodawca koncentrował się na stronniczości, ale szerszy wniosek był taki, że gdy sztuczna inteligencja staje się coraz bardziej zintegrowana z procesami decyzyjnymi, jest oceniana pod kątem operacyjnej odpowiedzialności i wymiernych wyników biznesowych, a nie tylko pod kątem podstawowej zdolności.

To, co widzę w rozmowach z przedsiębiorstwami, to fakt, że bardzo niewielu ludzi nadal dyskutuje o tym, czy same modele są zdolne. Większość organizacji już wie, że te systemy mogą generować wyniki, automatyzować procesy robocze i dostarczać informacje z nadzwyczajną szybkością. Trudniejsze pytanie brzmi: czy to wszystko spójnie poprawia wyniki wewnątrz firmy. Czy pracownicy naprawdę używają tych systemów w sposób znaczący? Czy ufają zaleceniom, które otrzymują? Czy decyzje stają się bardziej przejrzyste, szybsze czy bardziej spójne? Czy organizacje po prostu generują więcej treści, więcej analizy i więcej szumu, nie zmieniając sposobu, w jaki ludzie działają? Przerwa między zdolnością sztucznej inteligencji a przyjęciem przez ludzi jest tym, co nazywam „ostatnią milą” sztucznej inteligencji w przedsiębiorstwach. To miejsce, w którym ROI, zaufanie, odpowiedzialność i spójność operacyjna się spotykają, i to miejsce, w którym wiele wdrożeń zaczyna się zatrzymywać.

Możliwości nie jest wąskim gardłem – kontekst ludzki jest

Sam wniosek akcjonariusza IBM dotyczył stronniczości, dobrze znanej i rosnącej troski w branży. Rezolucja wezwała IBM do przedstawienia dodatkowych raportów na temat metod, których używa do identyfikacji i łagodzenia stronniczości w swoich modelach sztucznej inteligencji, w tym potencjalnych ryzyk związanych z tymi działaniami. IBM sprzeciwił się, twierdząc, że wiele z tych informacji było już publicznie dostępne za pośrednictwem kart modeli, dokumentacji dotyczącej zarządzania, raportów transparentności i wniosków do indeksu transparentności modeli Fundacji Stanforda. Większość obserwatorów uznała, że IBM zrobił więcej niż wiele dostawców, aby operacjonalizować odpowiedzialne praktyki sztucznej inteligencji, jednocześnie uznając, że zarządzanie i stronniczość pozostają nierozwiązanymi wyzwaniami branżowymi.

To, co mnie interesuje, to nie to, czy odpowiedź IBM była słuszna czy nie. To to, co cała sytuacja mówi o tym, w jakim kierunku idą rozmowy o sztucznej inteligencji w przedsiębiorstwach. Rady nadzorcze w większości przeszły do nowej fazy oceny sztucznej inteligencji, skupiając się na jakości decyzji, wpływie operacyjnym, zaufaniu pracowników i długoterminowym przyjęciu wewnątrz firmy.

To jest miejsce, w którym perspektywa neurobiologiczna prowadzi mnie do innego wniosku niż większość obecnych dyskusji o sztucznej inteligencji w przedsiębiorstwach. Ludzie nie są racjonalnymi maszynami wejścia-wyjścia. Podchodzimy do decyzji z ograniczoną uwagą, wahającą się pewnością, przeciążeniem poznawczym i ciągle zmieniającą się intencją. Gdy interakcje wydają się wolne, gdy gotowe odpowiedzi nie trafiają w to, co ludzie naprawdę mieli na myśli, lub gdy ludzie muszą walczyć z systemem, aby dostać się do czegoś użytecznego, zaangażowanie się załamuje zanim jeszcze wskaźniki przyjęcia zaczną się zmieniać. Ryzyko halucynacji, niespójność i stronniczość tylko zwiększają problem, tworząc tarcie wewnątrz procesów roboczych, które pierwotnie miały poprawić produktywność i podejmowanie decyzji. Ta „ostatnia mila” to to, czego większość organizacji nadal nie docenia: wartość sztucznej inteligencji nie jest tworzona, gdy model generuje odpowiedź, ale gdy dostarcza odpowiednią odpowiedź we właściwym czasie i ludzie mogą jej ufać wystarczająco, aby podjąć działanie.

Dlaczego ignorujemy prawdziwego „człowieka w pętli” – użytkownika?

Słyszeliśmy ostatnio wiele o „człowieku w pętli” i o tym, jak ważne jest, aby człowiek był obecny, aby zatwierdzić wyniki sztucznej inteligencji. Ale co, jeśli najważniejszy człowiek – użytkownik – nie jest właściwie rozumiany? Interakcje międzyludzkie są złożone i wielowymiarowe, ale powodem, dla którego bezpośrednia komunikacja działa tak dobrze, jest to, że żadna nuans nie zostaje utracona. Jeśli ktoś wahają się, traci pewność, staje się sfrustrowany lub zmienia swoją intencję, to przechodzi to przez interakcję i rozmowa zmienia się odpowiednio. Większość systemów sztucznej inteligencji nadal ma trudności z rozpoznawaniem tych sygnałów, ponieważ są one mniej lub bardziej „na szynach” w tym sensie, że reagują tylko na ostatnią wiadomość od użytkownika.

Moim zdaniem, to staje się jedną z definicyjnych ograniczeń bieżących wdrożeń sztucznej inteligencji w przedsiębiorstwach. Zbudowaliśmy systemy, które są wyjątkowo dobre w generowaniu informacji, pozostając jednocześnie ograniczone w swojej zdolności do rozpoznawania, czy ta informacja naprawdę pomaga komuś w podejmowaniu lepszych decyzji.

Organizacja może wdrożyć narzędzia sztucznej inteligencji dla tysięcy pracowników i nadal nie osiągnąć znaczącej zgodności w tym, jak te systemy są naprawdę używane. Ramy takie jak NIST AI Risk Management Framework, ISO/IEC 42001 i unijna ustawa o sztucznej inteligencji zmuszają organizacje do większej dojrzałości w zakresie zarządzania i operacyjnej odpowiedzialności. Ale zarządzanie na papierze nie idzie zbyt daleko, jeśli zaangażowanie pracowników w sztuczną inteligencję pozostaje fragmentaryczne. Jeśli różne zespoły ufają i używają sztucznej inteligencji w całkowicie różny sposób, pomiar ROI staje się prawie niemożliwy, i to jest problem, którego nie da się rozwiązać żadnymi wskazówkami.

Koszt przeciążenia sztuczną inteligencją

Wchodzimy teraz w fazę, w której sztuczna inteligencja staje się całkowicie wszechobecna wewnątrz procesów roboczych sztucznej inteligencji. Są współpiloci wbudowani w pakiety produktywności, podsumowania spotkań generowane przez sztuczną inteligencję przychodzą po każdym połączeniu, pulpity wyświetlające przewidywane spostrzeżenia w czasie rzeczywistym, silniki rekomendacji karmiące pracowników stałymi sugestiami i automatyczna analiza pojawiająca się szybciej, niż większość zespołów może realistycznie ją przetworzyć. Na papierze wygląda to jak postęp – firmy produkują więcej informacji niż kiedykolwiek wcześniej. Ale nauka o poznaniu była jasna w tej kwestii przez dziesięciolecia: więcej informacji nie oznacza automatycznie lepszych decyzji.

Ludzie mogą pochłonąć tylko tyle informacji, zanim zacznie się pojawiać przeciążenie. Za wiele rekomendacji tworzy wahanie. Za wiele alertów staje się tłem. Za wiele opcji generowanych przez sztuczną inteligencję może pozostawić pracowników wątpiących, zamiast działających z pewnością. To, co jest interesujące, to fakt, że systemy sztucznej inteligencji stają się wyjątkowo dobre w produkcji informacji, pozostając jednocześnie dość słabe w zrozumieniu, jak ludzie otrzymują, interpretują i reagują na te informacje w kontekście. Rady nadzorcze nie dbają o to, ile podsumowań, rekomendacji czy generowanych spostrzeżeń system może wyprodukować. Dbają o to, czy decyzje stają się bardziej przejrzyste i niezawodne w całej firmie.

Sztuczna inteligencja weszła w fazę odpowiedzialności

Wniosek akcjonariusza IBM może mieć swoje korzenie w obawach o stronniczość, ale uważam, że odzwierciedla coś o wiele szerszego, co dzieje się w całej sztucznej inteligencji w przedsiębiorstwach. Nowość sztucznej inteligencji minęła, i przedsiębiorstwa szukające solidnego zwrotu z inwestycji w sztuczną inteligencję nie mogą już spoglądać tylko na możliwości modelu. Technologia udowodniła swoją wartość, ale teraz potrzebuje miary odpowiedzialności. Czy pracownicy używają tych systemów w sposób ciągły? Czy decyzje się poprawiają? Czy zaufanie i zaangażowanie rosną w czasie, czy stopniowo się wypuszczają? Im bardziej sztuczna inteligencja staje się zintegrowana z codziennymi procesami roboczymi, tym bardziej następne pokolenie systemów może potrzebować stać się o wiele bardziej świadome ludzkiego zachowania, uwagi, pewności i intencji, jeśli firmy chcą utrzymać przyjęcie i wymierne ROI. Do tego czasu „ostatnia mila” będzie prawdopodobnie jednym z największych wyzwań w przyjęciu sztucznej inteligencji w przedsiębiorstwach.