AI nie jest gotowe do prawdziwej pracy: Dlaczego modele zawodzą w złożonych zadaniach

Inwestorzy w bańce AI błagają profesjonalistów z sektora umysłowego, by przekazali im najtrudniejsze problemy, i obiecują pracownikom, że odzyskają popołudnia, jeśli po prostu oddadzą nieco więcej swoich danych. Złożona analiza, decyzje wymagające oceny oraz procesy robocze, które wymagały lat rozwoju, są wchłaniane przez model, rzekomo uwalniając ludzi do czegoś lepszego. To dominująca narracja w amerykańskich korporacjach w tej chwili i jest pułapką. 

Mit o zdolnościach: Dlaczego modele zawodzą w złożonych zadaniach

Nowe badanie z UC Berkeley przetestowało wiodące agenty AI w rzeczywistych zadaniach zawodowych w 55 branżach, od opieki zdrowotnej po finanse i prawo. Ogólna wydajność wyniosła poniżej 25 procent. Następnie badacze wyodrębnili najtrudniejsze zadanie w każdej dziedzinie – rodzaj pracy, który odróżnia starszego specjalistę od młodszego – i każdy model poniósł porażkę. Wyniki nie były jedynie niskie. Były zerowe. 

Można by sądzić, że taki wynik samodzielnie zmieni narrację, ale tak się nie stało.  W różnych branżach inwestorzy AI mają zbyt wiele do stracenia, starając się przekonać profesjonalistów, że większość obecnych modeli AI jest bardziej zaawansowana niż jest w rzeczywistości. Jednak najciekawsze pytanie nie brzmi, czy AI może dziś wykonać najtrudniejsze części pracy, ponieważ my i wszyscy sprzedający AI już znamy odpowiedź na to. 

Zatem prowadzi to kolejne pytanie. Co się dzieje z osądem młodego profesjonalisty, gdy przyjmuje tę wymianę danych, zanim jego własne rozumowanie w pełni się ukształtuje? 

Wyniki z Minnesoty: Jak AI spłaszcza umiejętności w kierunku środka

Nowe empiryczne badanie z University of Minnesota Law School oferuje prawdziwą odpowiedź, wykorzystując prawo jako przypadek testowy. Badacze przeprowadzili około stu studentów prawa wyższego stopnia przez ciąg realistycznych zadań: syntezowanie prawa z surowych materiałów źródłowych, odpowiadanie na pytania zamknięte, aby sprawdzić, co przyswoili, zastosowanie tego prawa do scenariusza faktograficznego, a następnie korektę własnej pracy. Jedna grupa miała dostęp do AI tylko w pierwszym i ostatnim kroku. Druga nie miała AI aż do końca.

Studenci, którzy użyli AI do stworzenia pierwszego szkicu, wyprodukowali lepszą pracę i zrobili to szybciej, co nie jest całkowicie niezwykłe. Co jednak jest niezwykłe, to to, co nastąpiło później. Badacze spodziewali się, że wczesne użycie AI pozostawi lukę w zrozumieniu, która ujawni się później, gdy narzędzie zostanie odebrane. Jednak tak się nie stało. Studenci, którzy użyli AI do syntezy prawa, faktycznie zrozumieli je lepiej niż ci, którzy pracowali bez niego, po zimnym teście. Niezależne rozumowanie nie uległo erozji. Utrzymało się, a w niektórych przypadkach nawet się poprawiło.

Zaskoczenie pojawiło się na ostatnim etapie, gdy każdy student miał dostęp do AI, aby poprawić swoją pracę. Studenci, którzy zaczęli od słabszego memorandum, wykorzystali ten dostęp, aby naprawdę je udoskonalić. Studenci, którzy zaczęli od mocniejszego memorandum, pogorszyli się. Pozostawieni sami z potężnym narzędziem i bez dalszej struktury dotyczącej jego użycia, umiejętności nie rosły, lecz spłaszczały się w kierunku środka.

Te dwa badania razem dostarczają surowej prawdy: AI nie jest zastępstwem profesjonalnego osądu, a wyniki z Berkeley powinny definitywnie zakończyć tę dyskusję. Jednak AI nie jest także jakąś korozyjną siłą, która niszczy rozumowanie przy kontakcie. Jej wpływ zależy całkowicie od tego, w którym miejscu procesu się pojawia.

Sekwencjonowanie zamiast substytucji: Utrzymanie osądu w centrum

Ma to zastosowanie poza praktyką prawniczą. Każdy zawód oparty na wiedzy prowadzi obecnie własną wersję tego eksperymentu: lekarz decydujący, czy pozwolić modelowi przygotować rozpoznanie różnicowe, analityk rozważający, czy pozwolić modelowi wykonać pierwszą wersję modelu, oraz współpracownik zastanawiający się, czy pozwolić modelowi zbudować argumentację, zanim sam ją opracuje. Wyniki z Minnesoty sugerują, że odpowiedź nie jest jednolitym tak lub nie dla wszystkich form AI. To kwestia sekwencjonowania. AI powinno znajdować się na początkowym etapie żmudnej pracy i części zadania, które generują tarcia, ale nie w obszarze osądu. Nie powinno znajdować się w centrum zadania, za które klient faktycznie płaci, a obecnie nie jest w stanie tam dotrzeć, nawet gdyby próbował.

Firmy wciąż obiecujące coś innego sprzedają wersję AI, której dane mówią, że nie istnieje. Ci, którzy budują swoje produkty i relacje z klientami wokół linii, którą faktycznie wyznacza badanie, będą tymi, którym profesjonaliści będą ufać za pięć lat. Reszta będzie spędzać ten czas na wyjaśnianiu bardzo kosztownego nieporozumienia.