Gdyby Twój pracownik zachowywał się jak AI, już byś go zwolnił

Wyobraź sobie, że właśnie zatrudniłeś kogoś nowego i przez większość dni jest wydajny, kompetentny, elokwentny i pewny siebie. To wszystko, czego się spodziewałeś, wykazując wiele cech świetnego pracownika.

Teraz wyobraź sobie, że od czasu do czasu, gdy napotykają pytanie, na które nie znają odpowiedzi, po prostu coś wymyślają. To brzmi płynnie i przekonująco, więc początkowo przyjmujesz to za prawdę. Jednak gdy ma to konsekwencje dla firmy, wracasz do tego pracownika, kwestionujesz go – a on nie potrafi wyjaśnić swojego procesu myślowego ani przedstawić swojego rozumowania. Możesz nawet wyjaśnić mu, że się myli, a on odpowie uparcie sprzecznie i wymyśli kolejne fabrykacje, by to poprzeć. Po drugim lub trzecim takim incydencie, czy prawdopodobnie zwolniłbyś go, a przynajmniej dał ostrzeżenie? Odpowiedź większości pracodawców brzmi prawie z całą pewnością tak.

Uważam za zdumiewające, że firmy teraz powierają krytyczne przepływy pracy i podejmowanie decyzji pracownikowi, o którym wiadomo, że wykazuje takie zachowanie. Jedynym powodem, dla którego pozostaje to niekontrolowane, jest fakt, że ten „pracownik” jest oprogramowaniem, a nie osobą.

Dlaczego AI nie popełnia błędów tak jak ludzie

Wśród firm wdrażających AI panuje powszechne, błędne założenie, że jeśli technologia ma wskaźnik błędów, to jest to w zasadzie ten sam problem co błąd ludzki i można go zarządzać w ten sam sposób. Jednak kontrole, przeglądy i eskalacje nie zawsze działają w przypadku dużych modeli językowych (LLM). Są one tworzone, by brzmieć jak ludzie, ale patrząc pod maskę, zobaczysz, że wcale nie działają tak jak my.

Jeśli gwiazdor‑pracownik popełni błąd, zakładamy, że był on niezamierzony – robił wszystko, co w jego mocy, i po prostu się pomylił. To się zdarza. Jeśli jednak celowo wymyślił odpowiedź, aby ukryć brak wiedzy, i robił to wielokrotnie, uznalibyśmy to za wykroczenie. Menedżerowie wiedzą, na co skierować nadzór, ponieważ trudność i marginesy błędów pokrywają się. Mogą poprosić pracownika o wyjaśnienie swojego rozumowania i zapytać go o nie. Pracownik zazwyczaj wie, kiedy przekracza swoje kompetencje, i przyznaje się do tego. Po jednym błędzie uczą się, więc to samo nie powtarza się w nieustannym cyklu.

Systemy AI odwracają wszystkie te założenia. Ich domyślną reakcją na porażkę jest płynna, pewna wymyślanka. Produkują wiarygodną odpowiedź, która jest po prostu nieprawdziwa, co jest dokładnym zachowaniem, które zakończyłoby karierę człowieka. LLM są tworzone, aby generować najbardziej statystycznie prawdopodobne dokończenie fragmentu tekstu i kiedy nie znają odpowiedzi, często tworzą coś, co brzmi, jakby mogło być prawidłowe. Badacze z OpenAI przyznali, że pewien poziom błędów faktograficznych jest statystyczną nieuchronnością działania tych modeli i że trening nagradza pewne zgadywanie zamiast szczerego przyznania się do niepewności.

Gdzie wchodzą podejścia neurosymboliczne

To właśnie to podejścia neurosymboliczne mają naprawić. Łączą one sieci neuronowe, które doskonale radzą sobie ze zrozumieniem nieuporządkowanego, rzeczywistego języka i danych, z deterministycznym, opartym na regułach rozumowaniem. Oznacza to, że wnioski systemu wynikają z jawnej logiki, którą można sprawdzić, a nie z procesu, którego nikt nie widzi od wewnątrz.

Bez tej dodatkowej warstwy logiki, którą zapewnia technologia neurosymboliczna, błędy AI nie korelują z trudnością pracy tak, jak ma to miejsce w przypadku ludzi – są nieprzewidywalne. Mogą pojawiać się przy trywialnych zadaniach, podczas gdy trudniejsze przechodzą bez problemu, co utrudnia określenie, na czym skoncentrować nadzór ludzki. Ich wyjaśnienia, gdy są podawane, są generowane po fakcie, a nie stanowią prawdziwego opisu, jak doszli do wniosku. Ten sam błąd może powtarzać się w nieskończoność, ponieważ w systemie nie ma nikogo, kto mógłby się z niego uczyć lub ponosić za niego odpowiedzialność.

Zaufanie bez zrozumienia

Badacze udokumentowali, że gdy ludzie są nowi w systemie, mają tendencję do porzucenia go po jednym widocznym błędzie; ale gdy jest im znany, przechodzą do drugiego skrajnego zachowania – akceptowanie jego wyników po prostu dlatego, że przyzwyczaili się do nich, a nie dlatego, że stały się bardziej wiarygodne. Rzadko spotyka się właściwy poziom zaufania, ponieważ zależy on od tego, czy ludzie rozumieją, kiedy system AI może się pomylić i potrafią to rozpoznać.

To nie oznacza, że AI nie powinno być zaufane przy ważnych zadaniach. Oznacza to, że byliśmy skłonni przyznać mu rodzaj zaufania, którego nie przyznalibyśmy człowiekowi, częściowo dlatego, że nie ma wyraźnej osoby, którą można pociągnąć do odpowiedzialności w razie niepowodzenia.

Jeśli AI ma przejąć pracę wymagającą osądu w sposób, w jaki zrobiłby to ceniony współpracownik, musi spełniać te same podstawowe standardy. Odpowiedzi muszą być weryfikowalne, z widocznym rozumowaniem, i zaakceptować fakt, że czasami najlepszym, co może zrobić, jest powiedzieć „Nie wiem”.