L’IA non è pronta per il lavoro reale: perché i modelli falliscono nei compiti complessi

Gli investitori nella bolla dell’IA implorano i professionisti d'ufficio di consegnare i loro problemi più difficili e promettono ai lavoratori che riavranno i pomeriggi liberi se rinunceranno a un po' più dei loro dati. Analisi complesse, decisioni di giudizio e i flussi di lavoro che hanno richiesto anni per essere sviluppati vengono assorbiti da un modello, presumibilmente liberando gli esseri umani per qualcosa di migliore. Questa è la narrazione dominante nella corporate America attuale, ed è una trappola.

Il mito della capacità: perché i modelli falliscono nei compiti complessi

Uno studio della UC Berkeley ha testato i principali agenti di IA su compiti professionali reali in 55 settori, dalla sanità alla finanza al diritto. La performance complessiva è stata inferiore al 25 percento. Poi i ricercatori hanno isolato il compito più difficile in ogni campo – il tipo di lavoro che distingue un professionista senior da uno junior – e ogni singolo modello è fallito. I punteggi non erano solo bassi. Erano a zero.

Si potrebbe pensare che un risultato del genere avrebbe cambiato la narrazione da solo, ma non è così. In tutti i settori, gli investitori dell'IA hanno troppo in gioco nel convincere i professionisti che la maggior parte dei modelli di IA attuali sia più avanzata di quanto non sia. Ma la domanda più interessante non è se l'IA possa fare oggi le parti più difficili di un lavoro, perché noi, e tutti coloro che vendono IA, conosciamo già la risposta.

Quindi, questo porta a un'altra domanda. Cosa succede al giudizio di un giovane professionista quando aderisce a questo scambio di dati, prima che il proprio ragionamento sia pienamente formato?

I risultati del Minnesota: come l'IA appiattisce le competenze verso la media

Uno studio empirico della University of Minnesota Law School offre una risposta reale, usando il diritto come caso di prova. I ricercatori hanno fatto affrontare a circa cento studenti di giurisprudenza avanzata una sequenza di compiti realistici: sintetizzare il diritto da materiale sorgente grezzo, rispondere a domande a libro chiuso per testare ciò che avevano assimilato, applicare quel diritto a uno schema fattuale, e poi rivedere il proprio lavoro. Un gruppo ha avuto accesso all'IA solo nei primi e negli ultimi passaggi. L'altro non ha avuto IA fino alla fine.

Gli studenti che hanno usato l'IA per costruire la prima bozza hanno prodotto un lavoro più solido e più veloce, il che non è del tutto sorprendente. Ciò che è sorprendente, però, è ciò che è seguito. I ricercatori si aspettavano che l'uso precoce dell'IA lasciasse un divario di comprensione che si sarebbe manifestato più tardi quando lo strumento fosse stato rimosso. Ma ciò non è avvenuto. Gli studenti che avevano usato l'IA per sintetizzare il diritto lo hanno compreso meglio rispetto a quelli che hanno lavorato senza di essa, una volta testati a freddo. Il ragionamento indipendente non si è eroso. È rimasto intatto e, in alcuni casi, è migliorato.

La svolta è arrivata nella fase finale, quando ogni studente aveva a disposizione l'IA per rivedere il proprio lavoro. Gli studenti che partivano da un memo più debole hanno usato quell'accesso per migliorarlo realmente. Gli studenti che partivano da un memo più forte sono peggiorati. Lasciati soli con uno strumento capace e senza ulteriori indicazioni su come usarlo, le competenze non si sono accumulate ma si sono appiattite verso la media.

Questi due studi insieme forniscono una verità netta: l'IA non è una sostituzione del giudizio professionale, e i numeri di Berkeley dovrebbero chiudere definitivamente questa discussione. Ma l'IA non è nemmeno una forza corrosiva che erode il ragionamento al contatto. Il suo effetto dipende interamente da dove appare nel processo.

Sequenziare invece di sostituire: mantenere il giudizio al centro

Questo vale anche al di fuori della pratica legale. Ogni professione basata sulla conoscenza sta conducendo la propria versione di questo esperimento proprio ora: il medico che decide se lasciare a un modello la redazione di una diagnosi differenziale, l'analista che decide se far costruire a un modello la prima bozza di un modello, e l'associato che decide se far strutturare a un modello un argomento prima di averlo elaborato autonomamente. I risultati del Minnesota suggeriscono che la risposta non è un sì o un no assoluto a tutte le forme di IA. È una questione di sequenziamento. L'IA appartiene alla fase iniziale del lavoro di routine e alle parti di un compito che generano attrito, ma non al giudizio. Non appartiene al centro del compito per cui il cliente paga realmente, e al momento non può arrivarci nemmeno se provasse.

Le aziende che continuano a promettere il contrario stanno vendendo una versione di IA che i dati dicono non esiste. Quelle che costruiscono i loro prodotti e le loro relazioni con i clienti attorno alla linea che la ricerca traccia saranno quelle di cui i professionisti si fideranno ancora tra cinque anni. Tutti gli altri spenderanno quel tempo a spiegare un fraintendimento molto costoso.