AI är inte redo för det verkliga arbetet: Varför modeller misslyckas med komplexa uppgifter

Investerare i AI-bubblan ber vita krage‑proffs att överlämna sina svåraste problem och lovar arbetstagare att de får tillbaka sina eftermiddagar om de bara ger upp lite mer av sin data. Komplex analys, bedömningsbeslut och de arbetsflöden som tog år att utveckla absorberas av en modell, som påstås frigöra människor för något bättre. Detta är den dominerande berättelsen i det amerikanska företagslivet just nu, och det är en fälla. 

Kapabilitetsmyten: Varför modeller misslyckas med komplexa uppgifter

En ny studie från UC Berkeley testade ledande AI‑agenter mot verkliga professionella uppgifter inom 55 branscher, från sjukvård till finans till juridik. Den totala prestationen låg under 25 procent. Sedan isolerade forskarna den svåraste uppgiften i varje område – den typ av arbete som skiljer en senior professionell från en junior – och varje enskild modell misslyckades. Poängen var inte bara låga. De var noll. 

Man skulle tro att ett sådant resultat skulle ha förändrat berättelsen på egen hand, men det har det inte. På tvären över branscher har AI‑investerare för mycket att vinna på att övertyga proffs om att de flesta nuvarande AI‑modeller är längre fram än de faktiskt är. Men den mest intressanta frågan är inte om AI kan utföra dagens svåraste delar av ett jobb, för vi, och alla som säljer AI, vet redan svaret på det. 

Så leder detta till en annan fråga. Vad händer med en ung professionals omdöme när de köper in sig i detta datautbyte, innan deras eget resonemang är fullt utvecklat? 

Minnesota‑resultaten: Hur AI jämnar ut färdigheter mot mitten

En ny empirisk studie från University of Minnesota Law School ger ett riktigt svar, med juridik som testfall. Forskarna lät omkring hundra avancerade juriststudenter gå igenom en sekvens av realistiska uppgifter: syntetisera lag från råkällmaterial, svara på slutna frågor för att testa vad de tagit till sig, tillämpa lagen på ett faktamönster och sedan revidera sitt eget arbete. En grupp hade AI‑åtkomst endast i de allra första och sista stegen. Den andra hade ingen AI förrän i slutet.

Studenter som använde AI för att skapa sitt första utkast producerade starkare arbete, och gjorde det snabbare, vilket inte är helt anmärkningsvärt. Det anmärkningsvärda är dock vad som kom efteråt. Forskarna förväntade sig att tidig AI‑användning skulle skapa ett förståelsegap som skulle visa sig senare när verktyget togs bort. Men så hände det inte. Studenter som hade använt AI för att syntetisera lagen förstod den faktiskt bättre än de som arbetade utan den, när de testades kallt. Oberoende resonemang eroderade inte. Det höll, och i vissa fall förbättrades det.

Vändpunkten kom i det sista steget, när alla studenter hade AI tillgängligt för att revidera sitt arbete. Studenter som började med ett svagare memorandum använde den åtkomsten för att på riktigt förbättra det. Studenter som började med ett starkare memorandum blev sämre. Lämnade ensamma med ett kapabelt verktyg och utan någon struktur för hur det skulle användas, ökade inte färdigheten utan jämnades ut mot mitten.

Dessa två studier tillsammans ger en skarp sanning: AI är ingen ersättning för professionellt omdöme, och Berkeley‑siffrorna bör avsluta den diskussionen för gott. Men AI är inte heller en frätande kraft som äter upp resonemang vid kontakt. Dess effekt beror helt på var den dyker upp i processen.

Sekvensering framför substitution: Att hålla omdömet i centrum

Detta gäller även utanför juridikens praktik. Varje kunskapsyrke genomför sin egen version av detta experiment just nu: läkaren som beslutar om en modell ska skriva ett differentialdiagnos, analytikern som avgör om en modell ska bygga första utkastet av en modell, och medarbetaren som funderar på om en modell ska strukturera ett argument innan de själva har bearbetat det. Minnesota‑resultaten tyder på att svaret inte är ett generellt ja eller nej till alla former av AI. Det handlar om sekvensering. AI hör hemma i början av det tunga arbetet och de delar av ett jobb som skapar friktion, men inte i bedömning. Det hör inte hemma i centrum av den uppgift som kunden faktiskt betalar för, och just nu kan det inte nå dit även om det försökte.

De företag som fortfarande lovar annat säljer en version av AI som data visar inte existerar. De som bygger sina produkter och sina kundrelationer kring den linje forskningen faktiskt drar kommer att vara de som proffs fortfarande litar på om fem år. Alla andra kommer att spendera den tiden på att förklara ett mycket dyrt missförstånd.