Google Research porta la deliberazione umana nei classificatori di IA soggettivi

Il 4 novembre 2026, Google Research ha presentato Agile Deliberation, un framework interattivo per creare classificatori di immagini basati su categorie soggettive, corredato da codice open source e da una demo in un notebook. In uno studio con utenti articolato in 18 sessioni, i ricercatori hanno riportato risultati migliori per i classificatori e un minore impegno rispetto al perfezionamento manuale dei prompt.

Il framework affronta categorie i cui confini dipendono dal giudizio personale, dal contesto culturale o dalle policy operative: cibo salutare, opere d’arte che ispirano e immagini clickbait che promettono ricompense ingannevoli. L’idea centrale è che spesso gli utenti scoprono i propri criteri decisionali mentre esaminano esempi difficili. Un flusso di lavoro convenzionale per l’etichettatura considera quei criteri già definiti prima che inizi l’annotazione; eventuali cambiamenti di opinione emergono quindi sotto forma di etichette incoerenti o decisioni arbitrarie del modello.

Agile Deliberation trasforma la definizione in evoluzione sia in una specifica leggibile dalle persone sia nel prompt che guida un classificatore basato su un modello visione-linguaggio. Il progetto si basa su interviste con cinque esperti di moderazione dei contenuti e sull’analisi qualitativa di 20 definizioni tratte dai loro flussi di lavoro professionali, da cui è emerso che gli esperti delimitano prima i concetti e poi li perfezionano esaminando immagini al limite.

Due fasi di deliberazione sui concetti

La delimitazione dei concetti scompone un’idea iniziale in possibili sottoconcetti positivi e negativi. Per esempio, chi crea un classificatore di cibo salutare può includere insalate e ciotole di cereali, escludendo invece gli alimenti trasformati o gli ingredienti crudi e non preparati. Immagini rappresentative supportano ogni scelta; i sottoconcetti che non descrivono schemi visivi significativi possono essere scartati prima di creare il primo classificatore.

L’iterazione sui concetti cerca quindi immagini semanticamente al limite, anziché limitarsi a selezionare i casi in cui la sicurezza del modello si avvicina a 0,5. Secondo i ricercatori, la sicurezza dei modelli visione-linguaggio può essere scarsamente calibrata rispetto all’ambiguità percepita dalle persone: il modello potrebbe essere sicuro della propria valutazione di un’immagine che una persona trova difficile da interpretare. Gli esempi recuperati vengono deduplicati e raggruppati; una regola basata sui banditi multi-braccio privilegia i gruppi che in precedenza hanno corretto errori o prodotto riscontri utili.

Una fase di individuazione delle ambiguità organizza un gruppo di immagini attorno a un problema interpretabile, come la cremosità delle salse, il contenuto di zucchero o la dimensione delle porzioni, e genera una breve spiegazione dell’ambiguità di ciascuna immagine. Gli utenti indicano se le immagini rientrano o meno nell’ambito considerato e possono aggiungere motivazioni in linguaggio naturale. Il sistema genera definizioni alternative, le verifica rispetto a tutte le etichette raccolte fino a quel momento, seleziona la candidata con il punteggio F1 migliore e consente modifiche manuali.

Il prototipo utilizza Gemini 2.5 Pro per la scomposizione e Gemini 2.5 Flash per la classificazione, la generazione di query relative a immagini al limite e l’individuazione delle ambiguità. Questi modelli sono stati utilizzati senza ulteriore addestramento né messa a punto, e l’interfaccia funziona tramite un notebook Colab interattivo.

I risultati dello studio sul campo

Nove partecipanti senza esperienza professionale nella moderazione dei contenuti hanno completato ciascuno due sessioni di circa 90 minuti: una con Agile Deliberation e una con la deliberazione manuale, in un ordine dei sistemi randomizzato. I due concetti esaminati erano il cibo salutare e la moderazione del clickbait pay-to-play. Ogni sessione comprendeva circa 45 minuti di lavoro sulla definizione, l’annotazione di 200 immagini di test tenute da parte, un sondaggio e un’intervista di 15 minuti. I confronti includevano anche la classificazione zero-shot e Modeling Collaborator, un sistema di riferimento per la scomposizione automatizzata; i partecipanti che lavoravano manualmente potevano consultare i prompt dettagliati di quel sistema.

L’articolo riferisce che, per il pay-to-play, Agile Deliberation ha migliorato il punteggio F1 dell’11% rispetto alla propria baseline zero-shot, mentre la deliberazione manuale ha registrato un aumento dell’8% rispetto alla propria baseline. Per il cibo salutare, Agile Deliberation ha migliorato il risultato del 10%, mentre la deliberazione manuale ha registrato un calo del 3%. I miglioramenti sono dovuti principalmente a una maggiore precisione, accompagnata da riduzioni più contenute della copertura. Non è stata utilizzata l’accuratezza, perché le definizioni personalizzate dei partecipanti hanno prodotto distribuzioni sbilanciate delle etichette di test.

Tutti i partecipanti hanno preferito Agile Deliberation alla deliberazione manuale. L’impegno medio riferito dai partecipanti è stato di 3,11 con Agile Deliberation, contro 4,67 con il lavoro manuale; i punteggi medi relativi alla sensazione di insicurezza, stress o irritazione sono stati rispettivamente 1,67 e 3,00. Entrambe le differenze sono state indicate come statisticamente significative a p<.05. Le interviste hanno fornito una spiegazione pratica: chi lavorava manualmente doveva escogitare ricerche per trovare controesempi e alcuni temevano che una modifica al prompt, correggendo un errore, compromettesse il comportamento del sistema in altri casi.

Limiti dello studio e disponibilità del codice

La valutazione presenta anche limiti rilevanti. Gli autori avvertono che il numero ridotto di partecipanti, pari a nove, limita la potenza statistica e la possibilità di generalizzare i risultati; inoltre, ogni persona ha utilizzato i due sistemi su concetti diversi, per evitare che una definizione già elaborata influenzasse la seconda sessione. È stato quindi possibile confrontare l’esperienza soggettiva all’interno dello stesso gruppo di partecipanti, ma le prestazioni dei classificatori solo tra gruppi diversi. Lo studio non ha isolato i singoli componenti né valutato l’intera pipeline con altri modelli generativi.

Il repository open source contiene il codice e il set di dati di accompagnamento, oltre a un notebook Demo.ipynb con istruzioni passo passo per Jupyter o Google Colab. La demo crea un indice di recupero basato sui vicini più prossimi per LAION400M. La configurazione predefinita scarica due partizioni, per un totale di circa 260 MB, per verificare la pipeline; la configurazione documentata con 100 partizioni ammonta a circa 13 GB. Le operazioni di recupero, il download di immagini esterne e le chiamate ai modelli possono richiedere da pochi secondi a diversi minuti; una singola chiave API può essere soggetta a limiti di frequenza e diverse fasi supportano la memorizzazione nella cache su disco. L’avvertenza del repository specifica che non si tratta di un prodotto Google ufficialmente supportato.

Il contributo pratico di Agile Deliberation consiste nel rendere l’intento soggettivo una componente esplicita e modificabile dello sviluppo dei classificatori. Gli utenti possono esaminare le regole positive e negative, analizzare i casi limite che hanno rivelato le lacune e fornire motivazioni per le revisioni. Per i team che si occupano di moderazione e selezione dei contenuti, questo significa che la definizione della categoria e i giudizi umani che la determinano entrano a far parte del processo di sviluppo del classificatore, rendendolo ispezionabile.