Sztuczna inteligencja staje się coraz inteligentniejsza, a zapewnienie spójności — coraz trudniejsze

Całą karierę poświęciłem próbom zrozumienia inteligencji. Studiowałem neuronaukę, ponieważ interesowałem się sztuczną inteligencją i uznałem, że dobrym początkiem będzie najpierw poznanie działania mózgu. Najpierw inteligencja, dopiero potem „sztuczna” inteligencja. To wykształcenie wyrobiło we mnie pewien nawyk. Gdy pojawia się nowa technologia lub nowe możliwości, w pierwszej kolejności zadaję praktyczne pytanie: co tak naprawdę można dzięki nim zrobić i do jakich rzeczywistych problemów je zastosować?

Jako osoba zajmująca się sztuczną inteligencją rzadko entuzjazmuję się nagłówkami na jej temat. Patrzę poza medialny szum, by zrozumieć nie tylko przełomowe osiągnięcia, lecz także ograniczenia nowych możliwości.

Od nudnych narzędzi do niezawodności, od której wiele zależy

W 2020 roku, gdy dyskusja o bezpieczeństwie sztucznej inteligencji rozgrzewała się od przesadnego entuzjazmu, miałem prostą radę: traktujmy AI jak narzędzie — potężne, ale wciąż narzędzie. Trzymajmy się mało efektownych zastosowań. Pracujmy na poziomie zadań, przy których technologia była już wystarczająco niezawodna, by pomagać. Mój optymistyczny scenariusz zakładał, że powstaną nudne, ale przydatne narzędzia.

Kiedy kilka lat później zaczęła nabierać tempa fala systemów agentowych, spojrzałem na nią przez ten sam pryzmat i nie dałem się przekonać. System agentowy jest tak dobry, jak zadania, które wykonuje, a nie widziałem jeszcze niezawodności na poziomie zadań, jakiej te systemy potrzebowały, by działać skutecznie.

Jednak szum wokół tematu narastał. Gdy na początku ubiegłego roku uczestniczyłem w RSA, przepaść między deklaracjami a rzeczywistą treścią wciąż trudno było zignorować. Nie było nawet wspólnego rozumienia tego, co oznacza „agentowość” — każdy miał własną definicję i własny punkt widzenia. Martwiło mnie też coś bardziej fundamentalnego. Wyobraźmy sobie dziesięciu agentów, z których każdy jest trafny w około 95 procentach przypadków. Połączmy ich tak, by wynik pracy jednego stawał się danymi wejściowymi dla następnego. Na końcu takiego łańcucha dokładność spada do około 60 procent. Niezawodność nie przetrwa takiego piętrzenia kolejnych etapów. Już wtedy zaczynałem myśleć o systemach złożonych z agentów, choć wciąż martwiło mnie, czy można im ufać i czy będą w stanie przynieść istotną zmianę.

Później szybki postęp w rozwoju agentów programistycznych zmienił moje zdanie.

W ciągu kilku miesięcy od mojego artykułu na ten temat niezwykłe tempo postępu uświadomiło mi jedno: osiągnięcie niezawodności w przypadku wielu rzeczywistych zadań było tylko kwestią czasu. Lepsze modele, otoczone lepszymi rozwiązaniami inżynieryjnymi, miały zniwelować lukę, która mnie niepokoiła. Ograniczenie, którego się obawiałem, miało zniknąć.

Wtedy właśnie wyłonił się prawdziwy problem — i nie był to ten, któremu dotąd się przyglądałem. Gdy można już zaufać poszczególnym agentom, nie kończy się na wdrożeniu pierwszego z nich. Wdraża się ich wiele. Całe ich floty, działające w każdym obszarze organizacji — każdy agent zdolny do działania i wykonujący swoje zadanie. Pojawiło się nowe pytanie, niezwiązane z niezawodnością: jeśli każdy agent we flocie robi to, do czego został stworzony, czy flota jako całość nadal realizuje zamierzenia organizacji?

Potrzeba propriocepcji organizacyjnej

Ciało z silnymi kończynami nie może sprawnie się poruszać bez propriocepcji — nieustannego wewnętrznego wyczucia, gdzie znajdują się jego poszczególne części i co robią. Móżdżek nie tylko reaguje na te informacje zwrotne, lecz także przewiduje. Gdy mózg wydaje polecenie wykonania ruchu, tworzy oczekiwanie dotyczące odczuć, jakie ten ruch powinien wywołać, a następnie porównuje je z tym, co rzeczywiście następuje. Różnica między tymi dwoma odczuciami stanowi sygnał, który koryguje dalsze działanie. Sprawny ruch opiera się na pętli przewidywania jego wyniku i korygowania go w razie rozbieżności.

Organizacja zarządzająca flotami agentów potrzebuje takiego samego wyczucia własnego stanu. Musi nieustannie wiedzieć, gdzie znajdują się jej systemy i jak bardzo odbiegły od stanu, do którego powinny dążyć. Bez tej wewnętrznej świadomości nawet sprawne elementy nie połączą się w skoordynowane działanie. Nie jest to mechanizm monitorowania, który można później dodać do organizmu, by zwiększyć jego bezpieczeństwo. Jest niezbędny, by organizm w ogóle mógł się poruszać.

Dobrze zbadano przypadek mężczyzny o nazwisku Ian Waterman, który utracił to czucie w większości ciała. Nauczył się ponownie poruszać, ale tylko dzięki obserwowaniu siebie i kierowaniu wzrokiem każdym krokiem oraz każdym sięgnięciem po przedmiot. To działa, ale jest też wyczerpujące i niepewne. Wystarczy zgasić światło, a nie jest już w stanie skoordynować żadnego ruchu. Organizacja, która nadzoruje swoich agentów za pomocą ręcznych audytów i okresowych przeglądów, znajduje się w podobnej sytuacji. Nieustannym wysiłkiem rekompensuje brak zmysłu, którego nigdy w sobie nie wykształciła, a ta kompensacja kosztuje więcej niż to, co zastępuje. Cały system załamuje się, gdy tylko zmieniają się warunki.

Warto wspomnieć o jeszcze dziwniejszym zaburzeniu, opisanym w fascynującej książce neurobiologa V S Ramachandrana. Po amputacji kończyny mózg nie milknie. Nadal wysyła sygnały do brakującej kończyny, a człowiek wyraźnie je odczuwa. Nadzór może zawieść w podobny sposób. Jeśli wskutek restrukturyzacji lub zaniedbania pozbawi się funkcję nadzorczą rzeczywistej zdolności oceny, nie przestanie ona działać. Przeglądy nadal będą przeprowadzane, a wskaźniki nadal będą opracowywane. Organizacja wciąż będzie odczuwać, że sprawowany jest nadzór, choć stojąca za nim zdolność oceny zostanie wydrążona. W tym miejscu wraca moja rada z 2020 roku dotycząca przejrzystości. Nie ma nadzoru bez przejrzystości, a system, który jedynie stwarza pozory bycia monitorowanym, nie jest przejrzysty.

Spójność jako zasób deficytowy

Inteligencja staje się coraz tańsza. Wkrótce będzie obecna w każdym procesie i każdym narzędziu. W takim świecie rzadkim zasobem jest spójność — żywe powiązanie między tym, co każdy system robi samodzielnie, a tym, co przedsiębiorstwo chce osiągnąć. Spójność to tkanka łączna, która utrzymuje rozproszoną inteligencję w służbie jednego celu.

Mam za sobą lata badań nad tym, jak mózg sprawia, że jego liczne części działają jako całość. Era agentów stawia przed przedsiębiorstwem to samo pytanie. Cel nie zmienił się od 2020 roku. Nadal jest nudny, ale przydatny. Teraz nudną, przydatną rzeczą do zbudowania jest sama spójność.