Che cosa sono gli agenti che usano il computer? Come l’IA vede, fa clic, digita e naviga nei software

Gli agenti che usano il computer sono sistemi di IA in grado di percepire un’interfaccia software e di interagire con essa tramite azioni come fare clic, digitare, scorrere, trascinare e usare scorciatoie da tastiera. Invece di richiedere un’API dedicata per ogni applicazione, operano attraverso molte delle stesse interfacce visive usate dalle persone.

Questa capacità consente agli agenti di interagire con un’ampia gamma di software legacy, siti web e applicazioni desktop. Introduce però anche rischi insoliti. Un piccolo errore nell’interpretazione visiva può deviare un’attività articolata, e l’accesso all’interfaccia può esporre tutto ciò che l’utente che ha effettuato l’accesso può vedere o modificare.

Perché è importante l’uso del computer

Gran parte dei software più importanti al mondo è stata progettata per le persone, non per gli agenti. Un’applicazione potrebbe non avere un’API pubblica, esporre solo parte delle proprie funzionalità a livello programmatico oppure richiedere di operare su più interfacce.

L’automazione robotica dei processi tradizionale può interagire con le interfacce utente, ma di solito dipende da selettori e flussi di lavoro predefiniti. Un agente che usa il computer aggiunge un modello capace di interpretare schermate sconosciute, decidere quale passaggio sia necessario e adattarsi quando l’interfaccia cambia o compare una finestra di dialogo imprevista.

Questo rende l’uso del computer uno strumento di uso generale. Lo stesso ciclo di percezione e azione può potenzialmente consentire di navigare in un foglio di calcolo, un sistema di gestione delle relazioni con i clienti, un’applicazione di progettazione, un browser o un portale interno.

Come funziona un agente che usa il computer

L’ancoraggio è il passaggio intermedio più difficile. L’agente deve collegare un’istruzione concettuale come «aprire la fattura più recente» a una specifica riga o a un controllo visibile. Le etichette testuali e i metadati di accessibilità possono essere d’aiuto, ma layout dinamici, interfacce basate su canvas, elementi sovrapposti e icone ambigue possono costringere il modello a ragionare a partire dai pixel.

Il ciclo di base ricorda il modo in cui una persona interagisce con il software.

1. Osservare: acquisire una schermata, l’albero di accessibilità, la struttura del documento, la posizione del cursore e altri dati sullo stato dell’ambiente.
2. Interpretare: individuare i controlli visibili, i contenuti, gli avvisi e il rapporto tra la schermata corrente e l’attività da svolgere.
3. Scegliere un’azione: decidere se fare clic, digitare, scorrere, premere un tasto, attendere o chiedere aiuto.
4. Eseguire: l’ambiente di esecuzione compie l’azione tramite un’interfaccia del sistema operativo, del browser o della macchina virtuale.
5. Verificare: acquisire la schermata aggiornata e determinare se l’azione ha prodotto l’effetto desiderato.
6. Ripetere o fermarsi: proseguire verso l’obiettivo, recuperare da un errore o fermarsi davanti a un limite protetto.

La descrizione di OpenAI di un agente che usa il computer presenta questa capacità come una combinazione di percezione visiva, ragionamento e azioni tramite mouse e tastiera. Il punto non è prevedere un singolo clic, ma creare un ciclo chiuso tra percezione, azione e osservazione di un nuovo stato.

Che cosa può «vedere» l’agente

I sistemi che usano il computer possono ricevere diverse rappresentazioni di un’interfaccia.

Le schermate forniscono una vista generale a livello di pixel e funzionano anche quando non sono disponibili metadati strutturati dell’interfaccia. Possono acquisire grafici, immagini, applicazioni basate su canvas e layout visivi. Tuttavia, può essere difficile interpretare obiettivi di piccole dimensioni, stati nascosti e icone ambigue.

Gli alberi di accessibilità o la struttura del documento espongono i controlli e il testo in una forma più strutturata. Possono rendere più precisa la selezione degli elementi, ma potrebbero omettere informazioni visive o comportarsi in modo incoerente tra le applicazioni.

I sistemi ibridi combinano pixel, elementi strutturati, stato dell’applicazione e, talvolta, API dirette. Spesso sono più efficaci che trattare ogni problema come una semplice imitazione visiva.

Uso del computer e automazione del browser a confronto

L’automazione convenzionale del browser usa codice e selettori stabili per eseguire una sequenza nota. È rapida e prevedibile quando la struttura della pagina è controllata. Un agente che usa il computer interpreta dinamicamente l’interfaccia e può decidere quale sequenza seguire.

I due approcci sono complementari. Un sistema robusto può lasciare che sia l’agente a decidere che cosa occorre fare, per poi eseguire le operazioni note tramite automazione deterministica o API. L’interazione a livello di pixel è particolarmente utile quando non è disponibile un’interfaccia strutturata o quando non è possibile specificare in anticipo il percorso.

Uso del computer vs. API e chiamate agli strumenti

Questo approccio ibrido riduce sia gli errori sia i costi. L’agente può recuperare dati tramite un’API, aprire un’applicazione desktop solo per compilare un modulo legacy e poi verificare il record finale con un’altra interrogazione strutturata. Considerare il controllo visivo come uno dei vari strumenti evita di costringere ogni passaggio a svolgersi tramite l’interfaccia meno affidabile.

Un’API offre un’interfaccia orientata alle macchine, con operazioni e tipi di dati espliciti. In genere è più veloce, precisa e facile da convalidare rispetto all’interazione con una schermata tramite clic. L’uso del computer offre una compatibilità più ampia, ma comporta una maggiore ambiguità.

Per esempio, un agente potrebbe interrogare l’inventario tramite un’API, ma usare il portale web del fornitore per gestire un’eccezione non supportata dall’API. Le chiamate agli strumenti possono esporre entrambe le funzionalità al modello, mentre l’ambiente di esecuzione privilegia il percorso più affidabile.

Casi d’uso comuni

• Operazioni di back office: trasferimento di dati tra portali, gestione di moduli di routine e preparazione di record per l’approvazione.
• Ricerca: navigazione nei siti web, applicazione di filtri ai risultati, raccolta di prove e aggiornamento di un documento di lavoro.
• Test del software: esecuzione dei percorsi utente, registrazione dei malfunzionamenti e verifica delle modifiche visive.
• Supporto informatico: controllo delle impostazioni, raccolta di dati diagnostici e assistenza nell’applicazione di correzioni approvate, oppure loro esecuzione.
• Produttività personale: coordinamento di file, applicazioni web, calendari e documenti.
• Accessibilità: assistenza agli utenti nell’uso di interfacce altrimenti difficili da navigare, nel rispetto di rigorosi controlli sulla privacy.

Perché le attività svolte al computer restano difficili

Le interfacce utente includono menu dinamici, caricamenti ritardati, finestre pop-up, aree scorrevoli, elementi interattivi di piccole dimensioni e stati che sembrano simili ma comportano conseguenze diverse. Un’attività può richiedere decine di passaggi corretti, perciò anche un tasso di errore modesto per singolo passaggio tende ad accumularsi.

Benchmark come OSWorld valutano gli agenti in ambienti informatici reali, anziché limitarsi a clic isolati. OSWorld 2.0 estende questa idea a flussi di lavoro più lunghi, con cambiamenti di stato e maggiore variabilità. Il capitolo sulle prestazioni tecniche dell’AI Index 2026 di Stanford riferisce rapidi progressi, ma mostra anche che le prestazioni su OSWorld restano inferiori a quelle umane, a conferma del fatto che dimostrazioni impressionanti non equivalgono a un’affidabilità universale.

Principali modalità di errore

• Errori di ancoraggio visivo: clic su un controllo vicino o dall’aspetto simile.
• Confusione sullo stato: presumere che una pagina sia stata caricata, che un salvataggio sia riuscito o che sia cambiata la finestra attiva, quando non è così.
• Deriva nelle attività prolungate: perdere di vista l’obiettivo dell’attività dopo molte piccole azioni.
• Effetti collaterali nascosti: inviare un modulo o effettuare un acquisto quando l’agente intendeva soltanto visualizzarne un’anteprima.
• Prompt injection: seguire istruzioni dannose incorporate in una pagina web, in un documento o in un messaggio.
• Esposizione delle credenziali: rivelare o usare in modo improprio informazioni disponibili in una sessione connessa.
• Errori irreversibili: eliminare, pubblicare, inviare o acquistare senza un’adeguata verifica.

Principi di sicurezza e controllo

I contenuti dell’interfaccia non sono attendibili. Una pagina web, un’e-mail o un documento possono contenere istruzioni concepite per sviare l’agente, e una finestra di dialogo malevola può imitare una richiesta di conferma familiare. Il sistema dovrebbe isolare i contenuti della pagina dalle istruzioni di policy, limitare le destinazioni e le credenziali e fermarsi quando compare una richiesta di autorizzazione inattesa o una conferma con conseguenze rilevanti.

L’uso del computer dovrebbe avvenire nell’ambiente più circoscritto che consenta di completare l’attività. Un profilo browser dedicato, una macchina virtuale o una sandbox limitano l’accesso ad account e file non pertinenti. Le sessioni dovrebbero utilizzare credenziali specifiche per l’attività e autorizzazioni con privilegi minimi, anziché ereditare tutti i privilegi dell’utente sul desktop.

Le azioni ad alto impatto richiedono un passaggio di conferma ben definito. Il sistema dovrebbe fermarsi subito prima di inviare, spedire, acquistare, eliminare, pubblicare o modificare impostazioni sensibili e mostrare all’utente la destinazione esatta e l’effetto dell’azione.

Gli agenti dovrebbero inoltre trattare i contenuti visualizzati sullo schermo come dati non attendibili. Le istruzioni trovate all’interno di una pagina web non devono prevalere sulle policy di sistema o sull’attività richiesta dall’utente. I download, i comandi copiati e le comunicazioni esterne richiedono una convalida separata.

Come valutare un agente che usa il computer

Il completamento dell’attività è necessario, ma non sufficiente. I team dovrebbero misurare la precisione dei passaggi, la capacità di recupero da situazioni impreviste, le azioni superflue, il tempo, i costi, l’esposizione di dati sensibili, il rispetto delle approvazioni e la coerenza tra esecuzioni ripetute.

Gli ambienti di valutazione dovrebbero variare la risoluzione dello schermo, il layout, i dati, le tempistiche e lo stato dell’applicazione. In caso contrario, un agente potrebbe adattarsi eccessivamente a un benchmark con passaggi prestabiliti e non riuscire a gestire le variazioni tipiche del software di uso quotidiano.

Come leggere gli schemi sull’uso del computer

Leggi gli schemi sull’uso del computer partendo dall’input numerato e procedendo verso il risultato osservabile. Il confronto mette in evidenza il confine che distingue l’uso del computer dalla scorciatoia più simile, mentre il percorso di controllo indica dove verificare l’autorità o l’incertezza prima che si produca una conseguenza nel mondo reale. Le etichette restano normale testo della pagina, adattabile ai diversi schermi, così da poter essere tradotte, andare a capo e ridisporre il contenuto su un telefono.

Per «Che cosa sono gli agenti che usano il computer? Come l’IA vede, fa clic, digita e naviga nei software», l’elemento visivo è una mappa, non una garanzia. Un’implementazione reale può combinare più fasi, ripetere un passaggio o aggiungere un punto di approvazione umana. Ciò che conta è che il team sappia individuare le stesse funzioni nel sistema distribuito, assegnare un responsabile a ciascun punto di controllo e verificare il passaggio dall’uno all’altro. Se una fase non può essere osservata o misurata, sarà difficile diagnosticare i problemi che si verificano al suo interno.

Cosa ricordare sugli agenti che usano il computer

Gli agenti che usano il computer rendono l’interfaccia software per gli esseri umani disponibile come strumento generico. Possono accedere a sistemi privi di API adeguate e adattarsi a diverse attività che l’automazione rigida non è in grado di prevedere facilmente.

Questa versatilità comporta ambiguità e un potenziale impatto esteso. I progetti più solidi privilegiano le API strutturate quando disponibili, isolano l’ambiente informatico, verificano ogni cambiamento di stato e lasciano alle persone il controllo delle azioni con conseguenze rilevanti.