Che cosa significa realmente Human-in-the-loop?

Nel primo ventesimo secolo, il filosofo britannico Gilbert Ryle coniò il termine “ghost in the machine”. Scrivendo in The Concept of Mind, Ryle utilizzò la metafora per contrastare il dualismo mente-corpo che sostiene che mente e corpo esistono come sostanze separate. Per Ryle, questa divisione era un errore poiché la cognizione e l’azione fisica erano inseparabili, parte di un unico sistema piuttosto che due parti interagenti.

Con l’avvento dell’intelligenza artificiale, una metafora simile emerge quando si parla di utenti di strumenti di intelligenza artificiale per aumentare la produttività: il frequentemente utilizzato “human-in-the-loop”. Se gli esseri umani e i sistemi intelligenti sono ora più fusi che mai, stiamo costruendo una fusione senza soluzione di continuità o creando un’illusione conveniente di controllo?

Le startup si affidano fortemente a questo concetto per parlare dei loro strumenti. Mentre promette sia innovazione che rassicurazione, la realtà è spesso più complessa. La responsabilità può facilmente diventare diffusa e l’accountabilità più difficile da rintracciare.

Man mano che i sistemi di intelligenza artificiale si addentrano in domini sensibili – dall’istruzione alla guerra – le poste in gioco non sono più astratte. Che cosa significa realmente human-in-the-loop e si tratta solo di un eufemismo per quando scompaiono del tutto?

1. Human-in-the-loop come scudo per la responsabilità

Utilizzato in modo superficiale, il termine human-in-the-loop può essere un modo facile per spostare la responsabilità senza realmente impegnarsi con essa. Come molti hanno notato, una firma umana alla fine di un processo non garantisce l’integrità etica, specialmente se il sistema sottostante è mal progettato o insufficientemente compreso.

Maysa Hawwash, fondatrice e amministratrice delegata di Scale X, ha scritto sulla deriva della responsabilità e è franca sul modo in cui il concetto viene spesso utilizzato. “In realtà non è dissimile da altri modi di spostare il carico.” Hawwash ha detto a Startup Beat, utilizzando l’esempio di come i responsabili delle risorse umane utilizzano una politica di firma per spostare la responsabilità della società. “Se hai questa politica e le persone la leggono e la firmano, allora, come società, tecnicamente non sei responsabile, giusto?” ha detto.

Quello che emerge è un modello familiare in tutti i sistemi aziendali in cui la responsabilità viene spostata piuttosto che eliminata. Hawwash vede questo come il modo pigro per evitare il pensiero critico o la comprensione delle aree in cui può influire sulle persone o sulle comunità. “Quindi stai spostando il carico e poi non importa se le persone capiscono la politica, non importa se la politica ha senso.”

In questo quadro, “human-in-the-loop” rischia di diventare meno un intervento significativo e più una copertura procedurale. Il pericolo qui non è solo semantico. Quando la supervisione si riduce a una firma, il ruolo umano diventa simbolico piuttosto che sostanziale.

Hawwash ha fatto riferimento a un recente atto di atrocità militare – la scuola di Minab, in Iran – dove gli esseri umani hanno approvato un attacco, ma la presenza di un decisore umano non ha necessariamente equivalso a chiarezza etica o deliberazione adeguata. “Quando sei in guerra o stai conducendo una complessa operazione chirurgica, non hai il lusso di utilizzare human-in-the-loop come scudo.”

2. Progettare per la responsabilità, non solo la supervisione

L’alternativa non è abbandonare i sistemi human-in-the-loop, ma prenderli seriamente come impegni di progettazione. Ciò significa andare oltre la supervisione simbolica verso strutture di responsabilità deliberate.

“C’è questa grande corsa per portare più intelligenza artificiale sul mercato. Non c’è molto pensiero attraverso da una prospettiva di progettazione, come ad esempio quale sarà l’impatto a valle sulle comunità, sulle persone o sugli utenti finali”, ha detto Hawwash.

La velocità è diventata la variabile competitiva dominante. In quella corsa, la responsabilità è spesso rinviata piuttosto che incorporata. Il risultato è un modello reattivo di etica in cui la risoluzione dei problemi si verifica dopo il deploy invece di anticiparli durante lo sviluppo.

L’accessibilità può accelerare l’adozione, ma porta anche a conseguenze più amplificate. I sistemi non sono più confinati agli utenti tecnici in quanto possono plasmare le decisioni per le persone con livelli di comprensione e contesto variabili. In un tale ambiente, la responsabilità non può essere esternalizzata all’utente finale.

3. Human-in-the-loop come accuratezza e responsabilità

Abhay Gupta, co-fondatore di Frizzle, offre una prospettiva più operativa – una basata sulla costruzione di un sistema in cui la supervisione umana è sia pratica che necessaria.

La sua azienda è emersa da un problema specifico: gli insegnanti sovraccarichi di lavoro. “Nella città si sente parlare di banchieri e consulenti che lavorano 70 ore a settimana, ma non si sente parlare di insegnanti che lavorano così tanto. Quindi, per curiosità, abbiamo intervistato centinaia di insegnanti e in tutta la città la valutazione era il loro più grande problema di tempo.”

L’automazione della valutazione potrebbe sembrare semplice, ma la complessità della matematica scritta a mano introduce limiti reali per l’intelligenza artificiale. “C’è il problema di accuratezza. L’intelligenza artificiale non è perfetta, quindi abbiamo costruito un sistema human-in-the-loop. Se l’intelligenza artificiale non è sicura – come con la scrittura a mano confusa – lo segnala all’insegnante per la revisione e l’approvazione o il rifiuto.”

Qui, il ruolo umano non è solo ornamentale. Il sistema identifica esplicitamente la propria incertezza e indirizza quei casi a un essere umano. “Per noi si tratta di accuratezza. Ci saranno sempre casi limite – forse l’1-3% – in cui l’intelligenza artificiale fatica, quindi un essere umano deve intervenire.”

Questo approccio ridefinisce human-in-the-loop come meccanismo di controllo della qualità. Ma Gupta spinge oltre: “Alla sua base, l’intelligenza artificiale non è 100% accurata – può produrre output errati o allucinazioni. Human-in-the-loop agisce come controllo di qualità finale prima che i risultati raggiungano l’utente finale. È anche una questione di responsabilità. Qualcuno deve essere responsabile dell’output, e al momento quello deve ancora essere un essere umano.”

È anche importante che il ruolo umano preservi qualcosa di meno quantificabile: l’aspetto relazionale dell’insegnamento. “È anche una questione di preservare il lato umano dell’insegnamento. Gli insegnanti hanno stili diversi, quindi li lasciamo personalizzare come viene consegnata la feedback”

Ridefinire Human-in-the-loop

La frase “human in the loop” porta una semplicità rassicurante. Suggerisce che non importa quanto avanzati diventino i nostri sistemi, un essere umano rimane in controllo e non siamo semplicemente “fantasmi nella macchina”. Ma mentre le startup utilizzano sempre più l’intelligenza artificiale in ambienti ad alto rischio, quella rassicurazione richiede un esame critico.

Il problema più profondo è la progettazione. Se i rischi di un sistema sono male compresi o intenzionalmente minimizzati, inserire un essere umano alla fine non fa molto per correggere le carenze fondamentali. È anche importante definire il ruolo dell’essere umano non come un’alternativa, ma come parte integrante del funzionamento del sistema. Un essere umano nel loop non dovrebbe semplicemente approvare il risultato. Le startup dovrebbero cercare di autorizzare il loro personale a plasmare i risultati, sfidarli e, quando necessario, annullarli con autorità.