AI není připraveno na skutečnou práci: Proč modely selhávají u složitých úkolů

Investoři v AI bublině prosí bílý límečkové profesionály, aby předali své nejnáročnější problémy, a slibují zaměstnancům, že si získají odpoledne zpět, pokud jen odevzdají o něco více svých dat. Složitou analýzu, rozhodovací úkony a pracovní postupy, na jejichž vybudování let trvalo, pohlcuje model, údajně uvolňujíc tak lidi pro něco lepšího. Toto je v současnosti dominantní narativ v korporátní Americe a je to past. 

Mýtus o schopnostech: Proč modely selhávají u složitých úkolů

Nová studie z UC Berkeley testovala špičkové AI agenty na reálných profesionálních úkolech napříč 55 odvětvími, od zdravotnictví po finance a právo. Celkový výkon byl pod 25 procent. Pak výzkumníci izolovali nejnáročnější úkol v každém oboru – typ práce, který odlišuje seniorního profesionála od juniora – a každý model selhal. Výsledky nebyly jen nízké. Byly nulové. 

Mysleli byste, že takový výsledek by sám změnil narativ, ale nestalo se to.  V různých odvětvích mají investoři do AI příliš mnoho na tom, aby přesvědčili profesionály, že většina současných AI modelů je pokročilejší, než ve skutečnosti je. Ale nejzajímavější otázkou není, zda AI dokáže dnes zvládnout nejnáročnější části práce, protože my i všichni prodávající AI už na to známe odpověď. 

Takže to vede k další otázce. Co se stane s úsudkem mladého profesionála, když se zapojí do této výměny dat, dříve než se jeho vlastní myšlení plně rozvine? 

Zjištění z Minnesoty: Jak AI vyrovnává dovednosti směrem ke středu

Nová empirická studie z Právnické fakulty University of Minnesota přináší skutečnou odpověď, používá právo jako testovací případ. Výzkumníci nechali přibližně sto studentů vyšších ročníků práva projít sérií realistických úkolů: syntetizovat právo z původního materiálu, odpovídat na uzavřené otázky k ověření, co si osvojili, aplikovat toto právo na konkrétní situaci a následně revidovat svou práci. Jedna skupina měla přístup k AI jen v úplně prvním a posledním kroku. Druhá neměla AI až do konce.

Studenti, kteří použili AI k vytvoření svého prvního návrhu, vytvořili silnější práci a udělali to rychleji, což není zcela pozoruhodné. Pozoruhodné však je, co následovalo. Výzkumníci očekávali, že rané použití AI zanechá mezeru v porozumění, která se projeví později, když bude nástroj odebrán. To se nestalo. Studenti, kteří použili AI k syntéze práva, ho ve skutečnosti pochopili lépe než studenti, kteří pracovali bez ní, po studiu v chladném testu. Nezávislé myšlení neublíželo. Zůstalo a v některých případech se dokonce zlepšilo.

Zvrat nastal v závěrečné fázi, kdy všichni studenti měli k dispozici AI k revizi své práce. Studenti, kteří začali se slabším memorandem, využili tento přístup k jeho skutečnému vylepšení. Studenti, kteří začali se silnějším memorandem, se zhoršili. Pouze s výkonným nástrojem a bez další struktury, jak jej používat, se dovednost neakumulovala, ale vyrovnala se směrem ke středu.

Tyto dvě studie dohromady poskytují tvrdou pravdu: AI není náhradou profesionálního úsudku a čísla z Berkeley by měly tuto diskusi definitivně ukončit. AI však také není nějaká korozivní síla, která při kontaktu rozkládá myšlení. Jejich dopad zcela závisí na tom, kde se v procesu objeví.

Sekvenování před substitucí: Udržení úsudku v jádru

Toto platí i mimo právní praxi. Každá znalostní profese právě nyní provádí svou verzi tohoto experimentu: lékař rozhodující, zda nechat model vytvořit diferenciální diagnózu, analytik rozhodující, zda nechat model vytvořit první návrh modelu, a asistent rozhodující, zda nechat model strukturovat argument, než si jej sám projde. Výsledky z Minnesoty naznačují, že odpověď není plošné ano či ne ke všem formám AI. Jde o otázku sekvence. AI patří na úvod rutinní práce a částí úkolu, které generují tření, ale ne k úsudku. Není vhodná do středu úkolu, za který klient skutečně platí, a v současnosti se tam nedostane, i kdyby se snažila.

Společnosti, které stále slibují opak, prodávají verzi AI, o níž data říkají, že neexistuje. Ti, kteří staví své produkty a vztahy se zákazníky kolem linie, kterou výzkum skutečně vykresluje, budou těmi, kterým profesionálové budou i za pět let důvěřovat. Všichni ostatní budou tento čas věnovat vysvětlování velmi drahého nedorozumění.