AI nu este pregătit pentru munca reală: De ce modelele eșuează la sarcini complexe

Investitorii din bula AI imploră profesioniștii din sectorul alb să predea cele mai dificile probleme și promit angajaților că își vor recâștiga după‑amiezele dacă renunță puțin mai mult la datele lor. Analize complexe, decizii de judecată și fluxurile de lucru care au necesitat ani de dezvoltare sunt absorbite de un model, pretinzând că eliberează oamenii pentru ceva mai bun. Acesta este narativul dominant în America corporatistă în prezent și este o capcană. 

Mitul capacității: De ce modelele eșuează la sarcini complexe

Un nou studiu al UC Berkeley a testat agenți AI de vârf pe sarcini profesionale din viața reală, în 55 de industrii, de la sănătate la finanțe și drept. Performanța generală a fost sub 25 %. Apoi cercetătorii au izolat cea mai dificilă sarcină din fiecare domeniu – tipul de muncă care diferențiază un profesionist senior de unul junior – și fiecare model a eșuat. Scorurile nu au fost doar scăzute; au fost zero. 

Ai crede că un rezultat de acest fel ar fi schimbat narativul de la sine, dar nu a fost așa. În toate industriile, investitorii în AI au prea mult de câștigat din convingerea profesioniștilor că majoritatea modelelor AI actuale sunt mai avansate decât sunt în realitate. Dar întrebarea cea mai interesantă nu este dacă AI poate face astăzi cele mai dificile părți ale unui job, pentru că noi și toți cei care vând AI știm deja răspunsul. 

Așadar, aceasta duce la o altă întrebare. Ce se întâmplă cu judecata unui tânăr profesionist când aderă la acest schimb de date, înainte ca propriul său raționament să fie complet format? 

Descoperirile din Minnesota: Cum AI aplatizează abilitățile spre mijloc

Un nou studiu empiric al studiu al Școlii de Drept a Universității din Minnesota oferă un răspuns real, utilizând dreptul ca caz de testare. Cercetătorii au supus aproximativ o sută de studenți avansați de drept unei serii de sarcini realiste: sintetizarea dreptului din material sursă brut, răspunsuri la întrebări fără carte pentru a testa ce au absorbit, aplicarea acelui drept la un scenariu factual și apoi revizuirea propriei lucrări. Un grup a avut acces la AI doar la primele și ultimele etape. Celălalt nu a avut AI până la sfârșit.

Studenții care au folosit AI pentru a-și construi primul draft au produs lucrări mai solide și le-au realizat mai repede, ceea ce nu este deloc remarcabil. Ceea ce este remarcabil, totuși, este ceea ce a urmat. Cercetătorii se așteptau ca utilizarea timpurie a AI să lase un gol de înțelegere care să apară mai târziu, când instrumentul ar fi fost îndepărtat. Dar acest lucru nu s‑a întâmplat. Studenții care au folosit AI pentru a sintetiza dreptul l-au înțeles de fapt mai bine decât cei care au lucrat fără el, odată testați în condiții de rece. Raționamentul independent nu s‑a erodat. S‑a menținut și, în unele cazuri, s‑a îmbunătățit.

Întorsătura a apărut în etapa finală, când fiecărui student i s‑a pus la dispoziție AI pentru a-și revizui lucrarea. Studenții care au început cu un memorandum mai slab au folosit acel acces pentru a-l îmbunătăți cu adevărat. Cei care au început cu un memorandum mai puternic au înregistrat o scădere. Lăsați singuri cu un instrument capabil și fără o structură suplimentară privind utilizarea acestuia, abilitățile nu s‑au acumulat, ci s‑au aplatizat spre mijloc.

Aceste două studii împreună oferă un adevăr dur: AI nu este un înlocuitor al judecății profesionale, iar cifrele de la Berkeley ar trebui să încheie această discuție definitiv. Dar AI nu este nici o forță corozivă care să erodeze raționamentul la contact. Efectul său depinde în totalitate de locul în care apare în proces.

Secvențiere în loc de substituție: Menținerea judecății în nucleu

Acest lucru se aplică și în afara practicii juridice. Fiecare profesie bazată pe cunoaștere desfășoară în prezent propria versiune a acestui experiment: medicul care decide dacă să permită unui model să redacteze un diagnostic diferențial, analistul care decide dacă să lase un model să construiască prima versiune a unui model, și asociatul care decide dacă să permită unui model să structureze un argument înainte să îl parcurgă singur. Rezultatele din Minnesota sugerează că răspunsul nu este un da sau nu universal la toate formele de AI. Este o chestiune de secvențiere. AI aparține fazei inițiale a muncii repetitive și părților unui job care generează frecări, dar nu judecății. Nu aparține centrului sarcinii pentru care clientul plătește efectiv și, în prezent, nu poate ajunge acolo chiar dacă ar încerca.

Companiile care încă promit altceva vând o versiune de AI pe care datele spun că nu există. Cei care își construiesc produsele și relațiile cu clienții în jurul liniei trasate de cercetare vor fi cei în care profesioniștii vor avea în continuare încredere peste cinci ani. Toți ceilalți vor petrece acel timp explicând o neînțelegere foarte costisitoare.