AI er ikke klar til det virkelige arbejde: Hvorfor modeller fejler på komplekse opgaver

Investorer i AI-boblen beder hvide krave‑professionelle om at aflevere deres sværeste problemer og lover medarbejderne, at de får deres eftermiddage tilbage, hvis de blot giver lidt mere af deres data. Kompleks analyse, dømmekraft og de arbejdsgange, der har taget år at udvikle, absorberes af en model, som angiveligt frigør mennesker til noget bedre. Dette er den dominerende fortælling i det amerikanske erhvervsliv lige nu, og det er en fælde. 

Kapabilitetsmyten: Hvorfor modeller fejler på komplekse opgaver

En ny undersøgelse fra UC Berkeley testede førende AI‑agenter på virkelige professionelle opgaver inden for 55 brancher, fra sundhedssektoren til finans til jura. Den samlede præstation lå under 25 procent. Derefter isolerede forskerne den sværeste opgave i hvert felt – den type arbejde, der adskiller en seniorprofessionel fra en junior – og hver eneste model fejlede. Resultaterne var ikke kun lave. De var nul. 

Man kunne tro, at et sådant resultat ville have ændret fortællingen af sig selv, men det har det ikke gjort. På tværs af brancher har AI‑investorer for meget på spil ved at overbevise professionelle om, at de fleste nuværende AI‑modeller er længere fremme, end de er. Men det mest interessante spørgsmål er ikke, om AI kan udføre de sværeste dele af et job i dag, for vi og alle, der sælger AI, ved allerede svaret på det. 

Så fører dette til et andet spørgsmål. Hvad sker der med en ung professionss dømmekraft, når de køber ind i denne dataudveksling, før deres egen ræsonnement er fuldt dannet? 

Minnesota‑resultaterne: Hvordan AI flader færdigheder ud mod midten

En ny empirisk undersøgelse fra University of Minnesota Law School giver et reelt svar, idet jura anvendes som testcase. Forskerne lod omkring hundrede avancerede jurastuderende gennemgå en række realistiske opgaver: at syntetisere loven ud fra rå kilde materiale, besvare lukkede‑bog‑spørgsmål for at teste, hvad de havde absorberet, anvende den lov på et faktamønster og derefter revidere deres eget arbejde. En gruppe havde AI‑adgang kun i de allerførste og allersidste trin. Den anden havde ingen AI før slutningen.

Studerende, der brugte AI til at udarbejde deres første udkast, leverede stærkere arbejde, og gjorde det hurtigere, hvilket ikke er helt bemærkelsesværdigt. Det bemærkelsesværdige er dog, hvad der skete bagefter. Forskerne forventede, at tidlig AI‑brug ville efterlade et forståelsesgab, som ville vise sig senere, når værktøjet blev fjernet. Men det skete ikke. Studerende, der havde brugt AI til at syntetisere loven, forstod den faktisk bedre end de studerende, der arbejdede uden den, når de blev testet koldt. Uafhængig ræsonnement blev ikke udhultet. Det holdt, og i nogle tilfælde forbedredes det.

Twisten kom i den sidste fase, da alle studerende havde AI til rådighed til at revidere deres arbejde. Studerende, der startede med et svagere notat, brugte den adgang til virkelig at forbedre det. Studerende, der startede med et stærkere notat, blev dårligere. Når de stod alene med et kompetent værktøj uden yderligere struktur for, hvordan det skulle bruges, voksede færdigheden ikke, men fladede ud mod midten.

Disse to undersøgelser sammen giver en skarp sandhed: AI er ikke en erstatning for professionel dømmekraft, og Berkeley‑tallene bør afslutte den samtale for altid. Men AI er heller ikke en korroderende kraft, der nedbryder ræsonnement ved kontakt. Dens effekt afhænger fuldstændigt af, hvor den indtræder i processen.

Sekventering frem for substitution: Bevare dømmekraften i kernen

Dette gælder uden for juridisk praksis. Hver vidensprofession kører sin egen version af dette eksperiment lige nu: lægen, der beslutter, om en model skal udarbejde en differentiel diagnose, analytikeren, der beslutter, om en model skal bygge første udkast til en model, og medarbejderen, der beslutter, om en model skal strukturere et argument, før de selv har arbejdet det igennem. Minnesota‑resultaterne antyder, at svaret ikke er et entydigt ja eller nej til alle former for AI. Det er et spørgsmål om sekventering. AI hører til i frontenden af det kedelige arbejde og de dele af et job, der skaber friktion, men ikke til dømmekraften. Det hører ikke til i centrum af den opgave, som klienten faktisk betaler for, og lige nu kan det ikke komme dertil, selv hvis det prøvede.

De virksomheder, der stadig lover andet, sælger en version af AI, som dataene siger, ikke findes. De, der bygger deres produkter og deres kundeforhold omkring den linje, som forskningen faktisk tegner, vil være dem, som professionelle stadig vil have tillid til om fem år. Alle andre vil bruge den tid på at forklare en meget dyr misforståelse.