AI er ikke klar for det virkelige arbeidet: Hvorfor modeller feiler på komplekse oppgaver

Investorer i AI-boblen ber hvite krage‑profesjonelle om å overlate sine vanskeligste problemer og lover arbeidstakere at de vil få tilbake ettermiddagen hvis de bare gir fra seg litt mer av dataene sine. Kompleks analyse, skjønnsvurderinger og arbeidsflyter som tok år å utvikle, absorberes av en modell, som angivelig frigjør mennesker til noe bedre. Dette er den dominerende fortellingen i bedrifts‑America akkurat nå, og den er en felle. 

Myten om evne: Hvorfor modeller feiler på komplekse oppgaver

En ny study fra UC Berkeley testet ledende AI‑agenter mot virkelige profesjonelle oppgaver på tvers av 55 bransjer, fra helsevesen til finans til jus. Den samlede ytelsen lå under 25 prosent. Deretter isolerte forskerne den vanskeligste oppgaven i hvert felt – den typen arbeid som skiller en senior‑profesjonell fra en junior – og hver eneste modell feilet. Poengene var ikke bare lave. De var null. 

Man skulle tro at et slikt resultat ville ha endret fortellingen av seg selv, men det har det ikke. På tvers av bransjer har AI‑investorer for mye å vinne på å overbevise profesjonelle om at de fleste nåværende AI‑modeller er lenger fremme enn de faktisk er. Men det mest interessante spørsmålet er ikke om AI kan utføre de vanskeligste delene av en jobb i dag, for vi, og alle som selger AI, vet allerede svaret på det. 

Så fører dette til et annet spørsmål. Hva skjer med en ung profesjonells skjønn når de går inn for denne datautvekslingen, før deres egen resonnering er fullt utviklet? 

Minnesota‑funnene: Hvordan AI flater ut ferdigheter mot midten

En ny empirisk study fra University of Minnesota Law School gir et reelt svar, ved å bruke jus som testtilfelle. Forskerne lot omtrent hundre avanserte jusstudenter gjennom en sekvens av realistiske oppgaver: syntetisere jus fra råkilder, svare på lukkede‑bok‑spørsmål for å teste hva de hadde absorbert, anvende den jussen på et faktamønster, og deretter revidere sitt eget arbeid. En gruppe hadde AI‑tilgang kun i de aller første og aller siste trinnene. Den andre hadde ingen AI før slutten.

Studenter som brukte AI til å lage sitt første utkast produserte sterkere arbeid, og gjorde det raskere, noe som ikke er helt bemerkelsesverdig. Det bemerkelsesverdige er imidlertid hva som skjedde etterpå. Forskerne forventet at tidlig AI‑bruk ville skape et forståelsesgap som ville vise seg senere når verktøyet ble fjernet. Men dette skjedde ikke. Studenter som hadde brukt AI til å syntetisere loven forsto den faktisk bedre enn studentene som jobbet uten den, når de ble testet kaldt. Uavhengig resonnering ble ikke erodert. Den holdt stand, og i noen tilfeller ble den forbedret.

Vendepunktet kom i den siste fasen, da alle studenter hadde AI tilgjengelig for å revidere arbeidet sitt. Studenter som startet med et svakere notat brukte den tilgangen til å forbedre det reelt. Studenter som startet med et sterkere notat ble dårligere. Når de ble overlatt til seg selv med et kapabelt verktøy og ingen struktur for hvordan det skulle brukes, vokste ikke ferdigheten, men flater ut mot midten.

Disse to studiene sammen gir en klar sannhet: AI er ikke en erstatning for profesjonell skjønn, og Berkeley‑tallene bør avslutte den samtalen for godt. Men AI er heller ikke en korroderende kraft som spiser bort resonnering ved kontakt. Dens effekt avhenger helt av hvor den dukker opp i prosessen.

Sekvensering fremfor substitusjon: Å holde skjønn i kjernen

Dette gjelder også utenfor juridisk praksis. Hver kunnskapsprofesjon kjører sin egen versjon av dette eksperimentet akkurat nå: legen som vurderer om en modell skal utarbeide en differensiell diagnose, analytikeren som vurderer om en modell skal lage første utkast av en modell, og medarbeideren som vurderer om en modell skal strukturere et argument før de selv har arbeidet seg gjennom det. Minnesota‑resultatene antyder at svaret ikke er et entydig ja eller nei til alle former for AI. Det er et spørsmål om sekvensering. AI hører hjemme i frontenden av det kjedelige arbeidet og de delene av en jobb som skaper friksjon, men ikke i skjønn. Den hører ikke til i kjernen av oppgaven kunden faktisk betaler for, og akkurat nå kan den ikke komme dit selv om den prøvde.

De selskapene som fortsatt lover noe annet selger en versjon av AI som dataene sier ikke eksisterer. De som bygger sine produkter, og sine kundeforhold, rundt den linjen forskningen faktisk trekker, vil være de som profesjonelle fortsatt stoler på om fem år. Alle andre vil bruke den tiden på å forklare en svært kostbar misforståelse.